structural attention 源码

结构注意 新颖的神经网络体系结构设计用于对结构规则进行建模,而不是在变压器中发现规则的自我关注,这可以改善对不同长度序列的外推,这反过来又可以改善整体性能。 开发该项目是为了更好地关注模型的概念证明。 怎么运行的 红色箭头代表关注 实验 两种体系结构都接受了16节点长的语句训练,然后联合接受了16和24节点长的语句训练,以鼓励外推。 训练了16个节点数据 Val16精度 Val64精度 变压器 0.99359 0.66106 结构体 0.99900 0.92218 训练有16 + 24个节点数据 Val16精度 Val64精度 变压器 0.99750 0.70062 结构体 0.99990 0.92999 训练了64个节点数据 Val16精度 Val64精度 Val128精度 变压器 0.79978 0.92979 0.55038 结构体 0.97817 0.97