White-Friday

The front page cannot be pulled down

6

When the front-end page is full, the complete information cannot be displayed through the pull-down

quant转换模型出现的问题

1

在执行 ./quant -p chatglm-6b-fp32.flm -o chatglm-6b-fp16.flm -b 16出现以下问题 FastLLM Error: Unkown model type: unknown terminate called after throwing an instance of 'std::string' Aborted (core dumped)

请教 batchResponse接口每次接口都一样的问题，如下

9

config = pyfastllm.GenerationConfig() config.temperature = 1.0 config.max_length = 32000 config.top_p = 0.8 修改了temperature依然一样， prompts = ["如何创建oracle的表空间", "如何创建oracle的表空间", "如何创建oracle的表空间", "如何创建oracle的表空间", "如何创建oracle的表空间", "如何创建oracle的表空间"] 回答的结果都是一样，一个字都不差

使用qwen-72b-chat模型中英文翻译出现的问题💡

5

### 起始日期 | Start Date _No response_ ### 实现PR | Implementation PR _No response_ ### 相关Issues | Reference Issues _No response_ ### 摘要 | Summary 中译英时不时出现中文，怎么修改prompt都不行，出现频率较高 ### 基本示例 | Basic...

'FieldInfo' object has no attribute 'required'

1

```tex RuntimeError: Failed to import transformers.models.llama.modeling_llama because of the following error (look up to see its traceback): Failed to import transformers.generation.utils because of the following error (look up to see...

关于72b不同量化类型的问题💡 [REQUEST] - <title>

2

### 起始日期 | Start Date _No response_ ### 实现PR | Implementation PR _No response_ ### 相关Issues | Reference Issues _No response_ ### 摘要 | Summary 请问Qwen1.5-72B-Chat-GPTQ-Int4、Qwen1.5-72B-Chat-GPTQ-Int8、Qwen1.5-72B-Chat这三个版本之间的准确度差距有多大 ### 基本示例 | Basic...

请教关于python调用demo的时候，识别的结果很差

2

回答的结果是['百必苦之说苦是苦苦之之苦是苦之之之此苦之苦之之之此此之之苦苦之谷谷此之谷此苦之之谷此谷苦谷之之谷苦之谷此是苦之谷此是苦之之苦三之谷此谷苦之之谷此之果苦之之谷故苦之谷此苦],但是实际语音并不是这个 谢谢！