Southpika

How I manage my own domain knowledge articles?

1

I want to know the format of my documents if I want to fine-tune a model on my domain knowledge. If my documents are many complete articles should I split...

Can you show some specific examples of ipynb documentation reference in fine-tune?

1

I think the explanation of train and fine-tune process is much few, can Can you show some specific examples of ipynb documentation reference? Many thanks!

[Tokenizer]Convert fast_tokenizer to hf-tokenizers

3

迁移应用hf-tokenizers作为fast-tokenizer 除了tokenizer相关添加以外修复了一些小问题 1. `name_or_path`属性没有正确赋值 2. 修复`from_slow`参数没有被使用的问题 注：目前ERNIE-M slow与fast版本的结果存在diff，待确定使用版本

[Encode Fix]fix ernie-m encode

1

修正ernie-m系列编码解码结果不一致的问题（异常合并不该合并的token），在原有逻辑中，修改部分为 1. 保留原有方案中跳过SPIECE_UNDERLINE的操作，实际上应该保留 2. 如果句首为SPIECE_UNDERLINE，则不应该被加入 3. 更新相关SPIECE_UNDERLINE的处理逻辑

### 请在提交 bug 之前先搜索 - [X] 我已经搜索过 [issues](https://github.com/labuladong/fucking-algorithm/issues)，没有发现相同的 bug。 ### 出错的题目链接 https://leetcode.cn/problems/open-the-lock/ ### 报错信息 无法AC 需要去掉 ```python if cur in deads: continue ``` ### 你是否愿意提交 PR 修复这个 bug？ - [X]...

添加到develop分支 @sijunhe

1. 增加带分支的类pipeline manual agent

[RPG GAME]FunctionAgent Version

1

1.添加通过FunctionAgent实现的版本 待tool_choice以及文生图工具ready TODO： 1. 文生图工具暂时为模拟本地固定路径图片 2. FunctionAgent目前触发不稳定，以及有自生成现象，基本只有第一轮能正常触发文生图 

Link "hallucination checker" Do Not Exist

1

Hi, there is a missing link in the introduction: "[hallucination checker](https://github.com/amazon-science/RefChecker/tree/main/RefChecker/checker)"