TigerBot

TigerBot copied to clipboard

train_sft.py的process_supervised函数，对输入数据没有加prompt  infer.py推理时反而增加了prompt,两边不一致？ 

baibaiw5

量化模型单卡推理报错

2

CUDA_VISIBLE_DEVICES=0 python tigerbot_infer.py ${MODEL_DIR} --wbits 4 --groupsize 128 --load ${MODEL_DIR}/tigerbot-7b-4bit-128g.pt  系统信息： torch 1.13.1+cu117 cuda 11.4 triton 2.0.0.post1 Python 3.10.9 显卡型号： gp104gl tesla p4 请问可以在cpu下进行量化模型的推理吗？需要如何修改执行命令呢？

hanyc0914

Hi thanks for the great work, when I browse through the website and find this dataset [tigerbot-wiki-plugin](https://huggingface.co/datasets/TigerResearch/tigerbot-wiki-plugin), the keys contain ["content", "wiki_id", "url"] which I believe the only valuable content...

twotwoiscute

windos安装报错

22

请问安装到最后一步报错如下： d:\TigerBot>.\python310\python.exe infer.py --model_path d:\TigerBot\model\ loading model: d:\TigerBot\model\... Traceback (most recent call last): File "d:\TigerBot\infer.py", line 101, in fire.Fire(main) File "d:\TigerBot\python310\lib\site-packages\fire\core.py", line 141, in Fire component_trace = _Fire(component, args, parsed_flag_args,...

gitlihua

全量训练大概有多少张A800呢？

3

zhuchangjiang

关于研报数据的整理

2

想请教一个问题，我看金融研报数据的内容，经常是一个小段落，甚至一句话就被划分为一条数据。 这样，模型很难理解到上下文的关联，对文章的全局做到较好的理解，而且好像其他语料数据，大部分都是较长的完成文本数据。 研报数据这么处理有什么意义吗。

yonghanzhuce

关于项目requirements文件中组件版本问题

1

 当我使用pip3 install -r requirements.txt安装依赖环境时出现图中错误，查看requirements发现版本低于了项目实际需要的版本，请问是否需要更新？ requires numpy>=1.21.6 requires torch==2.0.1

tanglu86

180b多机多卡怎么推理？

2

如题

tangjianbing23

是否有国内的镜像地址？

11

由于连接huggingface的网络太差，是否有国内下载的地址？谢谢

luckywonky

180B 测试结果

6

中文处理能力尚可，文本摘要比较稳定。 数理逻辑比较欠缺（相当于没有） 指令遵循能力尚可，存在听不懂的情况。 总结下：任重道远，相当于chatGLM 6B类似的水平。

znsoftm