Black
Black
我也遇到了这个问题，请问该如何解决呢？
好像是gradio版本不对，更新gradio版本可以解决这个问题
更新gradio版本到最新版本可以解决这个问题，但是又会报新的错误hh
请问每次使用模型生成instruction都出现这种问题是怎么回事呢？ 使用的是llama3.1-70b-instruct模型，参数为device="0,1,2,3,4,5,6,7"，tensor_parallel=8，total_prompts=${2:-50000}其他都是默认值，总是跑到一半就报错了。报错信息如下： ``` Processed prompts: 100%|██████████| 1/1 [00:37
单卡可以运行8b的，但是当同时把device和tensor_parallel调大的话就有问题了，例如device="0,1"tensor_parallel=2的时候,生成instruction没问题，但是生成response就有问题，报错如下： ``` Stop token ids: [128009, 128001, 128006, 128007] Processed prompts: 100%|██████████| 1/1 [00:19
卸载了仍然有问题，您没遇到过这个问题吗，好像设置tp=4或者=8的时候经常会有这种问题