Zhong Hui

Thanks for you advice. For my case copy mmap is reasonable for load weight to MEM. The core problem is memcpy for mmap memory is very slow. see: https://stackoverflow.com/questions/52845387/improving-mmap-memcpy-file-read-performance for...

@DrownFish19 一起review一下

抱歉，这个 Tensor Parallel 的模型没有适配 resize_token_embeddings。您可以使用单卡训练

这个的话是 最新的脚本 修改了代码。需要用dev的paddlenlp。按照如下方式安装。 ``` pip install --pre --upgrade paddlenlp -f https://www.paddlepaddle.org.cn/whl/paddlenlp.html ``` 或者 您将您的训练代码 使用 release/2.7分支，也是可以的。

我们考虑一下看看要不 出一个网页版的地址目录。 aistudio 上有一些模型库，可以直接下载观看。 https://aistudio.baidu.com/modelsdetail/696?modelId=696

好的，我们检查一下

https://github.com/PaddlePaddle/PaddleNLP/pull/8371 已提pr

你看一下 collate_fn 出来的数据应该是 tensor，不应该是 numpy

@ZeyuChen 可能有两点需要讨论下： - IPU这部分代码，可能通用性一般。是否合适到paddlenlp目录下 - trainer相关配置参数的命名统一。目前的trainer和HF一致，但与这里trainer_ipu 还有example下面一些模型的配置，名称都可能存在微小差别。

建议使用cpu多线程处理。