ChatGLM-6B
ChatGLM-6B copied to clipboard
[Feature] 是否可以开发一个平台用于分享微调ChatGLM-6B的各种lora?
Is your feature request related to a problem? Please describe.
最新的更新提到了ChatGLM-6B的一个微调项目,最新的进展似乎对硬件性能要求降低了很多,软件实现也并不困难。考虑到Stable diffusion这类绘图AI已经实现了civital这样的lora分享平台,如果ChatGLM-6B这样便利的语言模型可以提供一个平台并允许标准化的Lora在平台中分享可能非常有前景。
Solutions
通过一个类似于Civital平台的项目实现针对较小的语言模型的Lora的分享。可能会遇到审核、法律及运营等的要求,但仍然不失为一个不错的idea。
Additional context
感谢大佬的阅读和参考。
感觉目前他们的注意力在模型本身,因为这一块目前还没有达到Stable diffusion的成熟程度吧,等成熟了再去考虑也不晚
- 多个lora能融合吗?
- lora的模型效果对base模型无损益吗,当前看p-tuning的模型会造成LLM的灾难遗忘,lora不会吗?