duanshengliu

某些情况下，模型会重复最后的一两句话

6

6B和33B都存在类似问题，6B在某些情况下，也会出现类似现象 可以复现的环境：https://huggingface.co/spaces/deepseek-ai/deepseek-coder-33b-instruct 问：计算机科学知识范围很大哎 答：是的，计算机科学是一个非常广泛的领域，涵盖了许多不同的主题。以下是一些主要的计算机科学领域： 计算理论：研究计算机和计算过程的性质和行为。 计算机系统：研究计算机硬件和软件的设计、实现和应用。 网络和通信：研究计算机网络和通信系统的设计、实现和应用。 数据科学：研究如何从数据中提取有用的信息和知识。 人工智能：研究如何使计算机系统能够理解、学习和适应环境。 计算机图形学：研究计算机图形和图像的生成和处理。 软件工程：研究如何设计、实现和维护软件系统。 信息安全：研究如何保护计算机系统和网络免受攻击。 数据库：研究如何存储、检索和管理数据。 计算机视觉：研究如何使计算机系统能够理解和 interpret visual information。 计算机图形学：研究如何创建和处理图形和图像。 人机交互：研究如何使计算机系统和用户交互。 计算机网络：研究如何连接和管理计算机和网络。 计算机架构：研究计算机硬件和软件的设计和实现。 计算机语言：研究如何创建和理解计算机程序。 计算机图形学：研究如何创建和处理图形和图像。 计算机视觉：研究如何使计算机系统理解和解释视觉信息。 自然语言处理：研究如何使计算机系统理解和生成自然语言。 计算机图形学：研究如何创建和处理图形和图像。 计算机视觉：研究如何使计算机系统理解和解释视觉信息。 计算机图形学：研究如何创建和处理图形和图像。 计算机视觉：研究如何使计算机系统理解和解释视觉信息。 计算机图形学：研究如何创建和处理图形和图像。...

Fix the TypeError issue in quantize.py

12

### Description Fix related bug as described in https://github.com/microsoft/onnxruntime/issues/19430

[Bug]: RuntimeError: There is no current event loop in thread 'Thread-5'

1

### 这个bug是否已存在现有issue了？ - [X] 我确认没有已有issue，且已阅读**常见问题**。 ### 错误表现 运行 python ChuanhuChatbot.py 后报错： RuntimeError: There is no current event loop in thread 'Thread-5' [gradio](https://github.com/gradio-app/gradio/issues/3904) 也有类似的问题 ### 复现操作 按照Readme 快速上手执行报错 ### 错误日志 _No...

[Performance] The unpack_int4 function has a low efficiency.

5

# Bug Report ### Is the issue related to model conversion? No ### Describe the bug The current efficiency of the `unpack_int4` function is very low and the speed is...

[Performance] The 16-bit quantization QDQ model cannot be accelerated by CUDA

2

### Describe the issue **My GPU is V100 CUDA Version: 12.0 or 11.8 CPU is Intel(R) Xeon(R) Gold 6271C CPU @ 2.60GHz** I tested the performance of `A8W8` and `A16W16`...