[BUG] 使用Qwen-14B模型后，出现问题质量变差，回答格式错乱，泛化能力丢失的情况

[fredfany]

是否已有关于该错误的issue或讨论？ | Is there an existing issue / discussion for this?

• [X] 我已经搜索过已有的issues和讨论 | I have searched the existing issues / discussions

该问题是否在FAQ中有解答？ | Is there an existing answer for this in FAQ?

• [X] 我已经搜索过FAQ | I have searched FAQ

当前行为 | Current Behavior

下载Qwen-14B模型，启动该模型 bash ./run.sh -c local -i 2,3 -b hf -m Qwen-14B -t qwen-7b-qanything

期望行为 | Expected Behavior

较之默认的7B模型，使用14B模型后，应该出现文档解析度变更，回答质量提高，泛化能力更强

运行环境 | Environment

- OS:CentOS Linux release 8.5.2111
- NVIDIA Driver: 545.23.08 
- CUDA:12.3 
- Docker Compose:1.29.2
- NVIDIA GPU Memory:80G * 8

QAnything日志 | QAnything logs

我的问题或指令： 用C语言写一段冒泡排序代码

请根据上述参考信息回答我的问题或回复我的指令。前面的参考信息可能有用，也可能没用，你需要从我给出的参考信息中选出与我的问题最相关的那些，来为你的回答提供依据。回答一定要忠于原文，简洁但>不丢信息，不要胡乱编造。我的问题或指令是什么语种，你就用什么语种回复, 你的回复： INFO:root:prompt tokens: 2207 INFO:root:streaming: True INFO:root:[{'role': 'user', 'content': '参考信息：\n快照存储在磁盘上，可以快速直接存取，从快照恢复比从磁带恢复速度快得多。 多个恢复点 基于磁盘的快照使存储设备有灵活和频繁的恢复点（或称>恢复点目标：RPO），可以快速通过不同时间点的快照尽快恢复数据。需要注意快照增多的代价是提高成本。 重新定义数据用途 用户经常需要执行对数据的辅助操作，如归档之前的审计、报告或升级测试、数据 挖掘等等，这些操作在生产系统上进行容易影响业务系统或代价太高。快照为这些操作提供一份接近实况数据的拷贝，用以提供给辅助操作的系统使用，即保护生产系统又重新定义了备份数据的用途。 快照工作 原理分类 快照 全拷贝快照 分离镜像（“Splitting”a mirror） 差分快照 写即拷贝（CoW:Copy On Write) 写即重定向(RoW:Redirect On Write) 随机写(WA:Write Anywhere) 全拷贝快照 分离镜像（Splitting a mirror） 写操作 写操作 镜像子系统 （阵列，逻辑卷管理器，存储网络） 镜像子系统 （阵列，逻辑卷管理器，存储网络） 镜像关系终止 源 镜像 源 镜像 分离镜像的生命周期 原始数据 写操作 分离镜>像 1.分离镜像 2.从分离镜像备份 3.再同步 写操作 读和备份 源 镜像 写操作 记录写操作 镜像卷 源 镜像 分离镜像 源 镜像 镜像再同步 p d i e a f g b c h 差分快照实现：CoW SAN访问 阵列 源卷 0 快 照前写块1 1 p 源盘 2 3 4 5 6 7 1.写操作（‘p’写入块1） 8 快照索引和日志 6 6 g 快照后写块6 d i e a f g z p c h z 快照 地址 数据 g 差分快照实现：CoW SAN访问 阵列 源卷 0 快照前写块1 1 p 源>盘 2 3 4 5 6 7 1.写操作（‘p’写入块1） 2.产生快照 3.快照后写入‘z’到块6： 不一次性写入 先将块6内容移入日志 ‘z’写入源卷 8 d i e a f z p c h 差分快照实现：CoW SAN访问 阵列 快照索引和日志 源 卷 地址 数据 0 6 g 快照前写块1 1 p 源盘 2 快照后写块6 z 3 读块6 4 g 5 快照 读块1 p 6 7 1.写操作（‘p’写入块1） 2.产生快照 3.快照后写入‘z’到块6： 不一次性写入 先将块6内容移入日志 ‘z’写入>源卷 4.从快照读时组合索引/日志和源卷 8 1.如果快照是可读/写，快照盘上的写操作直接更新索引和日志； 2.更新操作属于覆盖写入。 CoW特点 源盘保持最新状态 当一个新的写操作执行时： 首先读出写操>作将要覆盖地址的当前数据 将读出数据保存至专用空间并建立索引 新的写操作执行（写入目标地址） 当前盘的读路径继续保持最优路径 当前盘的写路径受拷贝影响 对快照（卷）的读写路径都有影响 RoW 源>盘状态冻结 到源盘的新的写操作被存入日志（并索引）： 读源盘时，先检索日志 读快照时，源盘需要引用 当快照取消时，写日志必须全部执行以与源盘保证数据状态同步更新 快照的读路径保持最优化 源盘>的写路径最优化（无拷贝） 源盘的读路径潜在受影响 p d i e a f g b c h 差分快照实现：RoW SAN访问 阵列 源卷 0 快照前写块1 1 p 源盘 2 3 4 5 6 7 1.写操作（‘p’写入块1） 8 快照索引和日志 6 z 快 照后写块6 d i e a f g p c h z 快照 地址 数据 差分快照实现：RoW SAN访问 阵列 源卷 0 快照前写块1 1 p 源盘 2 3 4 5 6 7 1.写操作（‘p’写入块1） 2.产生快照 3.快照后写入‘z’到块6： 源卷块6内容>不变 ‘z’写入日志 8 d i e a f g p c h 检索 差分快照实现：RoW SAN访问 阵列 快照索引和日志 源卷 地址 数据 0 6 z 快照前写块1 1 p 源盘 2 快照后写块6 z 3 读块6 4 g 5 快照 读块1 p 6 7 1.写操作 （‘p’写入块1） 2.产生快照 3.快照后写入‘z’到块6： 源卷块6内容不变 ‘z’写入日志 4.从快照读时组合索引/日志和源卷 8 6 6 读块6 z d i e a f g p c h g 快照 读块1 p z 差分快照实现：RoW SAN访问 >阵列 快照索引和日志 源卷 地址 数据 0 6 z 快照前写块1 1 p 源盘 2 快照后写块6 z 3 4 5 6 7 1.写操作（‘p’写入块1） 2.产生快照 3.快照后写入‘z’到块6： 源卷块6内容不变 ‘z’写入日志 4.从快照读时 组合索引/日志和源卷 8 1.如果快照取消，快照日志必需全部执行，以保证源卷的状态更新到最新。 6 6 读块6 z 快照索引和日志 d i e a f g p c h g 快照 地址 数据 读块1 p 6 z z 差分快照实现：RoW SAN访问 阵列 源卷 0 快照前写块1 1 p 源盘 2 快照后写块6 z 3 4 5 6 7 1.写操作（‘p’写入块1） 2.产生快照 3.快照后写入‘z’到块6： 源卷块6内容不变 ‘z’写入日志 4.从快照读时组合索引/日志和源卷 5.>快照取消 8 WA 所有磁盘块被虚拟化 源盘使用真实块的映射重定向－非直接映射 磁盘存储空间大于映射表现空间 新写操作定向到空闲块，而不是直接覆盖块 映射反应当前状态和潜在维护多个“快照” 使用计数 器来标识在用块 性能通常不因源盘/快照改变 性能受碎片影响 文件：教材.ppt 文件：教材.ppt 文件系统 快照 C B C’ A 数据块 基于文件系统的WA实现举例 快照比较 全拷贝快照 差分>拷贝快照\n优势 快照过程无开销 耗费较少存储空间：典型的需要10－20％\n 属于独立拷贝－可用于灾难恢复 可以利用廉价磁盘\n劣势 巨大存储开销 做快照时影响性能\n 每恢复点需要1倍存储空间 源数据和快照紧耦合\n 昂贵\n 通常采用同等存储架构\n 灾难恢复组件缺失\n 需要考虑计划内再同步 时间\n应用领域 灾难恢复 备份源\n 接近0备份窗口 接近0备份窗口\n 快速恢复 快速恢复\n 有助于数据再利用 有助于数据再利用 快照选择 用户选择快照时要考虑的问题 创建快照是否对性能产生影响？ 每个快照需要多少存储空间？ 每个卷能够最多产生多少快照？\n---\n我的问题或指令：\n用C语言写 一段冒泡排序代码\n---\n请根据上述参考信息回答我的问题或回复我的指令。前面的参考信息可能有用，也可能没用，你需要从我给出的参考信息中选出与我的问题最相关的那些，来为你的回答提供依据。回答 一定要忠于原文，简洁但不丢信息，不要胡乱编造。我的问题或指令是什么语种，你就用什么语种回复,\n你的回复：'}]

INFO:debug_logger:question: 以“春天”为题创作一首诗 INFO:debug_logger:kb_ids: ['KB5b72ff22213b42a7a6a1a9683b08baa5'] INFO:debug_logger:user_id: zzp INFO:debug_logger:check_kb_exist [('KB5b72ff22213b42a7a6a1a9683b08baa5',)] INFO:debug_logger:match milvus_client: <qanything_kernel.connector.database.milvus.milvus_client.MilvusClient object at 0x7f56856422f0> INFO:debug_logger:streaming: True INFO:debug_logger:start generate answer INFO:debug_logger:start generate... INFO:debug_logger:milvus group number: 9 INFO:debug_logger:milvus search time: 0.1449892520904541 INFO:debug_logger:use rerank, rerank docs num: 9 INFO:debug_logger:limited token nums: 3051 INFO:debug_logger:template token nums: 99 INFO:debug_logger:query token nums: 9 INFO:debug_logger:history token nums: 375 INFO:debug_logger:new_source_docs token nums: 3023 INFO:root:history_len: 2 INFO:root:prompt: 参考信息： 学校概况 学校简介 学校章程 学校标志 现任领导 校情统计 历史沿革 历任领导 校园导游 学校单位 教师队伍 中国科学院院士 中国工程院院士 教学名师 教授研究员 人才培养 科学研究 国际交流 社会服务 科技示范 科技产业 出版社 校园文化 校友总会 教育基金会 服务指南 常用电话 办公电话 后勤服务 乘车路线 旅游景点 餐饮住宿 常用链接 在校生 教职工 校友 考生与访客 旧版网站 ENGLISH 更多 新闻焦>点 News 西北农林科技大学90周年校庆一号公告 2023-09-11 中共中央印发《党史学习教育工作条例》 2024-02-20 我校教师荣获第三届全国高校思政课教学展示竞赛特等奖 2024-02-20 吴普特校长走访慰问春>节坚守工作岗位教职工并与留校学生共度除夕 2024-02-09 学校2024年最美龙年贺岁照活动圆满举行 2024-02-10 黄思光、吴普特看望慰问教师代表 2024-02-02 西农专家热议2024年中央一号文件 2024-02-07 >更多 学术活动 Academic 关于举办2024年国家自然科学基金项目申请辅导报告会的通知 学术活动2024-01-16 关于举办“旱地农业生态研究的几个关键问题”学术报告会的通知 学术活动2024-01-16 关于举办2024年植保论坛系列学术报告会（一）的通知 学术活动2024-01-11 关于举办“西北农林科技大学领军人才--凤岗论坛（十四）”的通知 学术活动2024-01-10 更多 学术成果 Achievements 【科研新进展】（499）草>业学院刘金隆课题组揭示结瘤信号通路. .. 2024-01-19 【科研新进展】（498）园艺学院徐凌飞教授团队揭示转录因子P. .. 2024-01-17 【科研新进展】（497）资源环境学院郭学涛教授团队首次揭示微. .. 2024-01-17 【科研新进展】（496）园林学院洪波教授课题组揭示建成环境亲. .. 2024-01-17 校园看点 View 【经济半小时】惠民生聚民心：科技小院点亮“希望的田野” 【农林卫视】在大漠枣乡点亮别样青春 学校召开第四届党委第三次全体（扩大）会议 学校召开2023年教育教学工作会议 【人文学院】师生“返乡观察”文章在网络媒体平台持续爆火 【动医学院】“五育”假期有收获，“龙行龘龘”启新程 【食品学院】>海外食品学子的别样春节 【新农院】全国农业技术推广服务中心向我校致信感谢 【园艺学院】为新的一年再增一份年味 【生命学院】与校友共谋生物产业创新发展 更多 通知公告 Announcement 2023-03-02 >关于开展“感念师恩”主题征文活动的通知 2023-03-02 关于征集校史资料和实物的公告 2024-02-20 关于南校区降压供水的通知 2024-01-24 关于南校区降压供水的通知 2024-01-20 关于体育馆停电的通知 2024@@@

复现方法 | Steps To Reproduce

通过界面提问：“用C语言写一段冒泡排序代码”“以春天问题作一首诗”之类的问题，可以看到泛化能力全失

备注 | Anything else?

使用14B模型后，部分语料确实能学的更加精准相识，但是泛化能力几乎完全丧失，是否14B模型，包括其他第三方大模型还需要与QAnyting进行微调，无法直接使用？