基于分布式深度网络的网络舆情分析方法研究与实现

针对网络舆情监督系统中快速识别分析的需求,文中基于分布式计算、深度神经网络等技术,实现深度置信神经网络(DBN)的分布式部署与并行化训练。在训练数据的存储上,设计基于Hadoop的HDFS文件存储系统。在模型训练时,依据DBN网络中玻尔兹曼机(RBN)节点的独立性,设计模型的并行化训练结构。文中搭建7个计算节点的分布式计算环境进行仿真试验,仿真结果表明,在该环境下相同参数的DBN网络训练时间可以优化至单计算节点环境的1/6。此外,训练时间的降低与计算节点数的增加并非正相关,在实际的分布式计算环境搭建时需要考虑节点增加引入的节点间通信开销。