John

tanks

是的 可以看下这个demo Parameters: inline: whether to display in the interface inline in an iframe. Defaults to True in python notebooks; False otherwise. inbrowser: whether to automatically launch the interface in...

请问下 你运行了 $ python webui.py吗 能在本地打开网页吗

> 不能直接加载 int4 模型，需要使用原版 fp16 模型和量化参数 是这样写吗？ --quantization_bit=4 此外 --fp16这个要不要写上呢？ CUDA_VISIBLE_DEVICES=0,1,2,3,4,5 python ../src/train_sft.py \ --model_name_or_path "THUDM/chatglm2-6b" \ --use_v2 \ --quantization_bit=4 \ --do_train \ --dataset electric \ --dataset_dir ../data \ --finetuning_type...

好的

(demo .queue(concurrency_count=3) .launch(server_name='0.0.0.0', server_port=7860, show_api=False, share=True, inbrowser=False)) 我的配置是这个 然后运行后在网页中输入了localhost:7860 还是打不开。能问下怎么回事吗？

> 你的保存目录里面有 adapter_config.json 文件吗？ 路径错了 CUDA_VISIBLE_DEVICES=3 python src/cli_demo.py --checkpoint_dir examples/path_to_sft_checkpoint这样就可以了

> 数据量太少了 1，不过看训练的时候 loss下降的很快到0.01了 但是验证集上loss是一直从0.41上升到0.51了。 2，最少需要多少呢

1，先进行了训练微调 如下所示 CUDA_VISIBLE_DEVICES=4,5 accelerate launch train_sft.py --model_name_or_path "THUDM/chatglm2-6b" --use_v2 --do_train --dataset electric --dataset_dir ../data --finetuning_type lora --output_dir path_to_sft_checkpoint --overwrite_cache --per_device_train_batch_size 1 --gradient_accumulation_steps 4 --per_device_eval_batch_size 1 --evaluation_strategy steps --lr_scheduler_type cosine --logging_steps...

> 更新到最新代码，并且试试训练集的问题是否能正确回答。 今天下午6点更新的代码 还是没学到，我直接用的是训练集数据。