BELLE

BELLE copied to clipboard

multipe_choice_qa -> multiple_choice_qa

eltociear

请问模型运行时的内存和显存需要多少？

6

我这边60G的内存在AutoModelForCausalLM.from_pretrained过程溢出了

MingJiaAn

多大的gpu 能跑起这个模型，4个12g的gpu能跑起这个模型么？

4

zhuchangjiang

谁有量化后的版本？

3

https://github.com/cocktailpeanut/dalai，的Alpaca 7B 量化的版本在我的Mac OS M1上可以跑起来。

pangguoqing

generate_instruction.py生成的数据集与Belle.train.json的格式不一致么

3

使用generate_instruction.py生成的regen.json文件的格式，与Belle.train.json的格式完全不一样，regen.json的字段更多，且包含了instruction、input、output字段，但是Belle.train.json文件中只有input与target字段。【Stanford Alpaca】做微调的数据格式与regen.json格式相似，Belle.train.json还得再重新调整下格式才能做模型微调吗

lihuicong

BELLE 7B-2M的安全性评测

3

hi，感谢你们的开源工作！我们做了BELLE 7B-2M的安全评测，结果在http://115.182.62.166:18000/public 

TissueC

请问有尝试过bloom其他参数规模的模型进行finetune吗？效果如何？

4

研发者你好，我们对这个工作非常感兴趣，想要进行复现，但受限于算力和显存问题，bloom-7b可能train不动，所以想请教下你们是否有尝试过bloom小参数规模的模型进行finetune吗？效果如何？ 不确定更小的模型是否会有拟合能力不足的问题导致复现失败。

ZhonghaoWang

能用llama.cpp 4位量化 出来跑跑嘛

1

没GPU T_T

cgisky1980

feature-request: publish half-precision models

1

The original [bigscience/bloomz-7b1-mt](https://huggingface.co/bigscience/bloomz-7b1-mt) model was released in half-precision (`torch.HalfStorage`), so its weight file is only 14.1 GB in size. I noticed that the current Belle weights are released in`torch.FloatStorage`, so...

peakji

有对比过llama-7B和Bloom-7B在中文上的finetune后的效果吗

2

Morxrc