ChatGLM-6B icon indicating copy to clipboard operation
ChatGLM-6B copied to clipboard

[Feature] 是否可以开发一个平台用于分享微调ChatGLM-6B的各种lora?

Open youngforblbl opened this issue 1 year ago • 2 comments

Is your feature request related to a problem? Please describe.

最新的更新提到了ChatGLM-6B的一个微调项目,最新的进展似乎对硬件性能要求降低了很多,软件实现也并不困难。考虑到Stable diffusion这类绘图AI已经实现了civital这样的lora分享平台,如果ChatGLM-6B这样便利的语言模型可以提供一个平台并允许标准化的Lora在平台中分享可能非常有前景。

Solutions

通过一个类似于Civital平台的项目实现针对较小的语言模型的Lora的分享。可能会遇到审核、法律及运营等的要求,但仍然不失为一个不错的idea。

Additional context

感谢大佬的阅读和参考。

youngforblbl avatar Apr 02 '23 05:04 youngforblbl

感觉目前他们的注意力在模型本身,因为这一块目前还没有达到Stable diffusion的成熟程度吧,等成熟了再去考虑也不晚

JulyFinal avatar Apr 03 '23 02:04 JulyFinal

  1. 多个lora能融合吗?
  2. lora的模型效果对base模型无损益吗,当前看p-tuning的模型会造成LLM的灾难遗忘,lora不会吗?

shibing624 avatar Apr 06 '23 08:04 shibing624