Sean Young

[BUG/Help] 在尝试运行8bit量化下的模型的时候，程序载入显存使用GPU十分缓慢；但我FP16精度加载时可以较为快速成功载入显存

3

### Is there an existing issue for this? - [X] I have searched the existing issues ### Current Behavior 在尝试运行8bit量化下的模型的时候，程序载入显存使用GPU十分缓慢；但我FP16精度加载时可以较为快速成功载入显存 ### Expected Behavior 当在运行8bit量化下的模型的时候，程序载入显存并使用GPU运行 ### Steps To Reproduce 我首先使用全精度模型运行： ...

[Feature] 是否可以开发一个平台用于分享微调ChatGLM-6B的各种lora?

2

### Is your feature request related to a problem? Please describe. 最新的更新提到了ChatGLM-6B的一个微调项目，最新的进展似乎对硬件性能要求降低了很多，软件实现也并不困难。考虑到Stable diffusion这类绘图AI已经实现了civital这样的lora分享平台，如果ChatGLM-6B这样便利的语言模型可以提供一个平台并允许标准化的Lora在平台中分享可能非常有前景。 ### Solutions 通过一个类似于Civital平台的项目实现针对较小的语言模型的Lora的分享。可能会遇到审核、法律及运营等的要求，但仍然不失为一个不错的idea。 ### Additional context 感谢大佬的阅读和参考。

优化建议：未来是否可以构建一个多时段初始场模型？

4

现在盘古模型是使用一个初始场直接推理后几个小时的结果，所以可能无法理解初始场的在一年中的具体时间（有反馈可能出现一些七月寒潮的bug）。愚见如果是几个连续时段（比如-72h,-48h,-24h,-0h）共同作为模型的初始场可能可以避免一些预料之外的结果，同时输出的准确度可能也会更好些。