wp2txt:WP2TXT从Wikipedia转储文件中提取纯文本数据(以Bzip2压缩为XML编码)剥离所有MediaWiki标记和其他元数据 源码

WP2TXT 维基百科转储文件到文本转换器 重要提示:这是一个仍在进行中的项目,可能会很慢,不稳定甚至具有破坏性! 应谨慎使用。 关于 WP2TXT从Wikipedia转储文件(以XML编码/使用Bzip2压缩)中提取纯文本数据,剥离所有MediaWiki标记和其他元数据。 它最初旨在对寻求获取开源多语言语料库的简便方法的研究人员有用,但对于其他目的可能是方便的。 更新: 0.9.1版添加了新的num-threads选项,从而显着提高了性能。 另请注意,-- --category选项默认情况下--category启用状态,其输出格式与以前的版本略有不同。 在继续转换巨大的Wikipedia