MachineTranslationTutorial icon indicating copy to clipboard operation
MachineTranslationTutorial copied to clipboard

机器翻译Jupyter Notebook教程

机器翻译教程

本项目受到pytorch-seq2seq项目启发,包含了机器翻译从数据预处理、模型、评测到部署的一整套教程,风格类似于pytorch官方的Tutorial。借本项目对自己开发机器翻译项目的经验进行总结,也帮助刚入门的小伙伴少走一些弯路,网上的一些文章教程总是空洞的介绍一些模型、算法或是论文里的一些tricks,非常的晦涩难懂,理论+代码的方式是最容易理解的了。

Chapter1:实验准备

  • 实验环境准备
  • 数据集下载

Chapter2:数据准备与预处理篇

  • 规范化
  • 中文分词
  • 英文分词
  • Truecase
  • BPE
  • Wordpiece
  • SentencePiece
  • 数据预处理示例

Chapter3:模型篇

TODO

Chapter4:推断与评测篇

TODO

Chapter5:模型部署篇

TODO

Chapter6:进阶技术

TODO

Chapter7:参加WMT

TODO

Chapter8:学习资料及相关资源

TODO

Reference