BAAI-OpenPlatform

Sorry that currently in Flagai, self-defined optimizer is not supported with Deepspeeed

你用的是什么optimizer

HF模型还在准备，代码也在PR中。敬请期待，谢谢

HF模型还在准备，代码也在PR中。敬请期待，谢谢

我们将关闭此issue。如果您仍有疑问，可以重新打开此issue。

We will close this issue. You can reopen this issue if you still have questions.

> 支持torch的版本是？貌似用2.0会报错  这个问题可以安装最新的flagai来解决（需要安装pull下来的代码），也可以把torch版本改到2.0以下

> > running install > > /home/asus/.local/lib/python3.10/site-packages/setuptools/command/install.py:34: SetuptoolsDeprecationWarning: setup.py install is deprecated. Use build and pip and other standards-based tools. > > warnings.warn( > > /home/asus/.local/lib/python3.10/site-packages/setuptools/command/easy_install.py:144: EasyInstallDeprecationWarning: easy_install command is...

> 按照步骤操作，运行generate.py报错： ModuleNotFoundError: No module named 'bminf' > > 删除 generate.py 中的 import bminf 行，继续报错： ModuleNotFoundError: No module named 'torch._six' > > 运行generate_code.py报错 ModuleNotFoundError: No module named 'torch._six' > >...

> 您好，想问一下关于最后一个QA的问题。您提到“可以直接基于 AquilaChat 进行大量领域数据的预训练”，也就是说经过了回答-提问这种数据格式做sft微调的模型，还可以继续再做next token predict预训练吗？ 是可以这样的，不过我觉得最好直接基于Aquila基础模型继续预训练