PULSE

PULSE copied to clipboard

运行 conda env create -f llm.yml报错：

1

运行 conda env create -f llm.yml报错： An unexpected error has occurred. Conda has prepared the above report. Traceback (most recent call last): File "/home/ubuntu/miniconda3/lib/python3.8/site-packages/conda/exceptions.py", line 1079, in __call__ return func(*args,...

puallee

你好，我运行7b模型，cli_demo和web_demo都报同样的错误，克隆下来的代码我只修改了模型地址，所以我不知道是什么原因报错，还请指教。 运行参数：  依赖如下：    由于huggingface限制，我的模型是在modelscope下载的，请问是否是这原因？

22zhangqian

有没有7b版本的Elo评测结果？

1

Cualacin0

PULSE-Pro发布了吗？

1

请问现在PULSE-Pro能否试用，能否通过api调用呢？

Cualacin0

PULSE-7b模型，GPTQ-for-PULSE量化

5

按照文档，对PULSE-7b模型，使用GPTQ-for-PULSE进行模型量化： CUDA_VISIBLE_DEVICES=0 python bloom.py ${MODEL_DIR} custom --wbits 4 --act-order --groupsize 128 --save pulse7b-4bit-128g.bin --calib_data ${CALIB_DATA_PATH} 命令参数${MODEL_DIR}指的应该是PULSE-7bv5的模型文件夹路径吧？ --calib_data ${CALIB_DATA_PATH}是什么意思？要设置什么路径呢？ @hanrui1sensetime 求解答 另外，生成的pulse7b-4bit-128g.bin要怎么使用？在设置的地方替换原来的PULSE-7bv5的模型文件夹路径就可以了么？

zhaofeng3012

LmDeploy 部署

1

请问 Pulse 可以使用 LmDeploy进行部署吗？

lynnroyal

给模型批量喂数据

1

你好，请问怎么批量给模型喂数据？

dongziyu1016

输出胡言乱语

7

您好，我启动模型之后，输出是这样的。请问我该怎么办

dongziyu1016

tokenizer是否是BloomTokenizerFast

1

在加载tokenizer的时候，报错autotokenizer没有BloomTokenizer，是否需要在tokenizer_config.json中修改成BloomTokenizerFast

MelodyChenjun

请问能否支持llama.cpp量化版本以轻量化部署？

1

1-2-3