文本匹配技术

概述 本篇博文是智能问答系列的第一篇,纠结半天不知道从何开始,又因文本匹配技术是QA中最核心的技术之一,于是从此开始。 在NLP中,文本匹配技术在各个应用系统中起核心支撑的作用,比如搜索引擎、智能问答、知识检索、信息流推荐等。本篇将纵览文本匹配的技术发展,并重点介绍文本语义相似度计算技术。 文本匹配任务 在真实场景中,如搜索引擎、智能问答、知识检索、信息流推荐等系统中的召回、排序环节,通常面临的是如下任务:从大量存储的 doc 中,选取与用户输入 query 最匹配的那个 doc。 在搜索引擎中,“doc”对应索引网页的相关信息,如 title、content 等,“query”对应用户的检索