PaddleRec
PaddleRec copied to clipboard
benchmark文件夹中小word2vec 模型,最少需要训练几个epoches可以观察收敛曲线
首先,我们发现PaddleRec中存在两个word2vec模型。官方word2vec模型(大模型),benchmark word2vec模型(小模型,少一些op)
第一季度以来,Intel在帮助实现word2vec BF16训练版本,以benchmark word2vec模型做POC, 目前大部分功能已实现,正在精度测试。但是由于在官网只看到了大模型的精度参考值,如下PaddleRec/models/recall/word2vec readme:
官网文档没有提供 benchmark 小模型精度日志或者所需epoch及精度参考。
问题:
- 如果想获得 benchmark 小模型 FP32的精度值,作为BF16训练的精度调整的参考,最少需要训练几个epoch可以?我们发现yaml 中默认值是15 epoches, 但是15个epoch 太久了,5个 epoches能说明收敛吗。
- 如果百度已经有 benchmark 小模型的训练日志或者精度记录,请发给我们,我们就不重新训练了,谢谢!
- 如果训练的话,能否可以多线程训练,设置CPU_NUM=12 可行吗?
Reproduction steps:
pip install paddlepaddle==2.1.0
git clone https://github.com/PaddlePaddle/PaddleRec.git
cd models/recall/word2vec/benchmark
# Download the test data
./benchmark_data.sh
# Run FP32 training
python -u ../../../../tools/static_ps_trainer.py -m benchmark.yaml
@wzzju 麻烦看下这个,问下PaddleRec的同学,谢谢!
https://github.com/PaddlePaddle/Perf/tree/master/Word2Vec 可以参考这里
根据wangzhen 的消息,QA 他们之前提测也只训练了5个。所以我们也只要5个就够了
Close it because it's well answered. Thanks