MatchModels:2019中国高校计算机大赛 大数据挑战赛第15名WriteUp 源码

2019中国高校计算机大赛-大数据挑战赛WriteUp 赛题: 我们是最终排名第15名的改革春风吹满地队伍,对方法和模型进行了简单的整理。 传统模型 查询和标题去重 训练词向量以及词频统计是query和title需做去重处理 图特征 计划生成无向图以及权重图。无向图规模最大建立一亿三千万数据量的图,生成图的过程把query和title都转换成一个Int32的ID值,减少内存消耗。 技巧:利用Pickle保存,读取图是加速的,文件的体积也是最小的。 无向图特征-最大完全子图max_clique :最大完全子图的大小(特征效果提升不明显,舍弃!)。 无向图特征-边连接数max_degrees :统计每个字节的边连接数 无向图特征-最大连通子图规模max_components :统计每个实例最大连通子图规模 无向图特征——pagerank值:根据Google的pagerank算法计算每个节点