deeplearning_class4:机器翻译、注意力机制与seq2seq模型

1 机器翻译 这一部分由于资源包不全,笔者没有进行过多学习,借助腾讯AI平台 2 注意力机制 注意力机制模仿了生物观察行为的内部过程,即一种将内部经验和外部感觉对齐从而增加部分区域的观察精细度的机制。注意力机制可以快速提取稀疏数据的重要特征,因而被广泛用于自然语言处理任务,特别是机器翻译。而自注意力机制是注意力机制的改进,其减少了对外部信息的依赖,更擅长捕捉数据或特征的内部相关性。本文通过文本情感分析的案例,解释了自注意力机制如何应用于稀疏文本的单词对表征加权,并有效提高模型效率。 2.1 注意力机制框架 Attention是一种通用的带权池化方法,输入有两部分构成: 询问(query) 键值