torchtext summary:torchtext摘要:torchtext使用总结从零开始逐步实现了torchtext文本预处理包括截断补长词表排列使用预训

torchtext的使用总结,并结合Pytorch实现LSTM 版本说明 PyTorch版本:0.4.1 火炬文字:0.2.3 python:3.6 文件说明 Test-Dataset.ipynb Test-Dataset.py使用torchtext进行文本预处理的笔记本和py版。 Test-Dataset2.ipynb使用Keras和PyTorch进行数据集进行文本预处理。 Language-Model.ipynb使用gensim加载预训练的词向量,并使用PyTorch实现语言模型。 使用说明 分别提供了笔记本版本和标准py文件版本。 从零开始逐步实现了torchtext文本预处理,