Fangget
Results
21
comments of
Fangget
HF上提供了一个[qwen_generation_utils.py](https://huggingface.co/Qwen/Qwen-VL-Chat-Int4/blob/main/qwen_generation_utils.py)，循环调用里面make_context函数，组batch，然后调用generate函数和他提供的decode_token函数就好了