Li Yudong (李煜东)

修改 utils/constants.py 文件L4，将 special_tokens_map.json 改为 llama_special_tokens_map.json

其他的问题呢，也答非所问吗

感谢分享！ 使用时可以给prompt加一个换行符，例如 中文分词：无线电法国别研究 \n 现在展示的结果可能是由于模型将这句话续写了，没有当成指令。

换成generate_lm.py推理脚本试一下？ ________________________________ 发件人: louisxavier123 ***@***.***> 发送时间: Thursday, March 30, 2023 3:35:45 PM 收件人: ydli-ai/Chinese-ChatLLaMA ***@***.***> 抄送: Subscribed ***@***.***> 主题: Re: [ydli-ai/Chinese-ChatLLaMA] 直接加载ChatLLaMA-zh-7B模型失败 (Issue #1) 我也遇到这个问题了 ― Reply to this email...

有的，之后会开放哈

保存模型的路径里有一个转换脚本 ________________________________ 发件人: acadaiaca ***@***.***> 发送时间: Sunday, April 23, 2023 7:10:14 PM 收件人: ydli-ai/Chinese-ChatLLaMA ***@***.***> 抄送: Subscribed ***@***.***> 主题: [ydli-ai/Chinese-ChatLLaMA] 分布式训练之后的多个模型pt文件如何转化为可推理的bin模型文件？ (Issue #41) 分布式训练之后的模型格式是： zero_pp_rank_0_mp_rank_00_model_states.pt zero_pp_rank_0_mp_rank_00_optim_states.pt zero_pp_rank_1_mp_rank_00_model_states.pt zero_pp_rank_1_mp_rank_00_optim_states.pt 请问如何转化成适用于https://github.com/fengyh3/llama_inference推理的模型格式？ ―...

hf转换脚本还在构建中

我们近两天会更新推理方法，大幅度提升速度及降低开销，请关注首页更新 ________________________________ 发件人: hepj987 ***@***.***> 发送时间: Monday, April 17, 2023 8:10:33 PM 收件人: ydli-ai/Chinese-ChatLLaMA ***@***.***> 抄送: Subscribed ***@***.***> 主题: [ydli-ai/Chinese-ChatLLaMA] 使用zero3以后的模型加载问题 (Issue #30) * 结合此项目的示例方法成功进行预训练、增量训练，推理（generate_chatllama.py放不下，使用的generate_lm_deepspeed.py）环境应该是没有问题的。 * 由于保存的模型都是zero_pp_rank_XX_mp_rank_XX_optim_states.pt和zero_pp_rank_XX_mp_rank_XX_model_states.pt这种格式的，无法利用训练后的模型进行 推理 、增量训练。利用保存模型路径下的脚本zero_to_fp32.py进行转换python zero_to_fp32.py...

目前版本训练大概用了2天

32 ________________________________ 发件人: Knihht ***@***.***> 发送时间: Friday, March 31, 2023 2:45:35 PM 收件人: ydli-ai/Chinese-ChatLLaMA ***@***.***> 抄送: Li Yudong ***@***.***>; Comment ***@***.***> 主题: Re: [ydli-ai/Chinese-ChatLLaMA] 训练时 gpu的耗时能透露一下吗 (Issue #7) 是8张A100吗 ―...