ProQA:渐进式预训练密集语料库索引用于开放域质量检查和信息检索 源码

质量保证 为开放域QA和IR预训练密集语料库索引的资源有效方法。 给定问题,您可以使用此代码从Wikipedia检索相关段落并提取答案。 1.设置环境 conda create -n proqa -y python=3.6.9 && conda activate proqa pip install -r requirements.txt 如果要使用混合精度训练,如果您的GPU支持fp16,则需要遵循来安装Apex。 2.下载数据(包括语料库,与生成的问题配对的段落等) gdown https://drive.google.com/uc?id=17IMQ5zzfkCNsTZNJqZI5KveoIsaG2ZDt && unzip data.zip cd data && gdown https://drive.google.com/uc?id=1T1SntmAZxJ6QfNBN39KbAHcM