翻译 BERT for Joint Intent Classification and Slot Filling.pdf

意图分类和插槽填充是自然语言理解的两个基本任务。他们经常受到小规模的人工标签训练数据的影响，导致泛化能力差，尤其是对于低频单词。最近，一种新的语言表示模型BERT(BidirectionalEncoderRepresentationsfromTransformers)，有助于在大型未标记的语料库上进行预训练深层的双向表示，并在经过简单的微调之后为各种自然语言处理任务创建了最新的模型。但是，并没有太多的工作探索Bert在自然语言理解中的使用。在这项工作中，我们提出了一种基于BERT的联合意图分类和插槽填充模型。实验结果表明，与基于注意力的递归神经网络模型和插槽门控模型相比，我们提出的