Lyu Shuhang
Lyu Shuhang
**Describe the bug** A clear and concise description of what the bug is. After the version is updated, the system will flash back after starting, and an error will be...
### 请提出你的问题 系统：Ubuntu22.04 python:3.8 Error: Can not import avx core while this file exists: /home/hang/anaconda3/envs/paddle/lib/python3.8/site-packages/paddle/fluid/core_avx.so Traceback (most recent call last): File "train.py", line 25, in import paddle File "/home/hang/anaconda3/envs/paddle/lib/python3.8/site-packages/paddle/__init__.py", line...
Hello, when I use LSSVR for regression prediction, I will get a multiple regression coefficient equation. How can I get regression coefficients when using your code? When i use the...
----- py小脚本，串行合并训练好的pt权重形成pth，pth会输出在`ckpt_dir`同级目录下，最终调用pth_to_hf转化成hf格式。 ------ · 暂且放在了tools里面。 · 存放项目位置和命名觉得不妥可能要修改一下。
# TODO LIST - [x] Class Packer update - [x] 构造测例验证可行性 - [ ] 打印细节进行检查 - [ ] intern repo、check custom data模块同步修改 - [ ] confige 添加启用配置项 - [ ]...
需要实现几种对齐算法 1.PPO 这个没的说，比较传统和通用，但是训练的开销会大一点 2. RAFT LMFLOW社区有做 `https://optimalscale.github.io/LMFlow/examples/raft.html` 3.pangu-coder2 RRTF (Rank Responses to align Test&Teacher Feedback) 总结一下是说，他们是用了代码单元测试，然后把单元测试的结果作为标签合并Loss微调LLM `https://arxiv.org/abs/2307.14936`   RRTF华为他们这部分没有开源。RAFT是开源了，RRTF可以的话可以一起讨论一起实现一下。
有三个问题，1.现在xtuner 支持lora训练msagent这种数据集，然后我已经复现了，请问能全量微调吗？ 2.如何用xtuner来构建训练的数据集呢？把如下部分位置加入然后模拟input和output是不是就行？ 3.下面这个例子是不是写了一条三轮对话的类似msaget的训练语料？ ``` :你是一个可以调用外部工具的助手，可以使用的工具包括： {'GoogleSearch': '一个可以从谷歌搜索结果的API。当你需要对于一个特定问题找到简短明了的回答时，可以使用它。输入应该是一个搜索查询。','PythonInterpreter': "用来执行Python代码。代码必须是一个函数，函数名必须得是'solution'，代码对应你的思考过程。"} 如果使用工具请遵循以下格式回复： Thought:思考你当前步骤需要解决什么问题，是否需要使用工具 Action:工具名称，你的工具必须从 ['GoogleSearch', 'PythonInterpreter'] 中选择 Action Input:工具输入参数 工具返回按照以下格式回复： Response:调用工具后的结果 如果你已经知道了答案，或者你不需要工具，请遵循以下格式回复 Thought:给出最终答案的思考过程 Final Answer:最终答案 开始! 用户:上海明天天气怎么样？ 助手:Thought:为了回答这个问题，我需要查找最新的天气预报数据。 Action:GoogleSearch Action Input:上海明天的天气预报 Response:根据最新的天气预报，上海明天的天气是晴转多云，气温介于20到28度之间。...
感觉是baicihuan2的tokenizer做了更新，可能需要适配一下 报了个这样的错误： Tokenizer class BaichuanTokenizer does not exist or is not currently imported. 版本的话是用的最新的代码，v0.05。 感觉改一下tokenizer应该就可以。
是这样的，我的数据集是中文+代码的，不知道能不能用您这个微调呢，感觉可以试试看