no

[Feature Request]: <title> The model may generate a json string in markdown format

4

### Is your feature request related to a problem? Please describe. The model may generate a json string in markdown format ### Describe the solution you'd like Solution: Replace markdown...

http://localhost:3002/api/core/dataset/collection/create/fileId 经常超时，我设置了超时时间无效

1

**例行检查** [//]: # '方框内填 x 表示打钩' - [ x] 我已确认目前没有类似 issue - [ x] 我已完整查看过项目 README，以及[项目文档](https://doc.fastgpt.in/docs/intro/) - [ x] 我使用了自己的 key，并确认我的 key 是可正常使用的 - [ x] 我理解并愿意跟进此 issue，协助测试和提供反馈 - [x]...

英文分词有重复的，chunkSplitter是默认的，可以确认原文中是没有重复部分的

1

**例行检查** [//]: # '方框内填 x 表示打钩' - [ x] 我已确认目前没有类似 issue - [x ] 我已完整查看过项目 README，以及[项目文档](https://doc.fastgpt.in/docs/intro/) - [x ] 我使用了自己的 key，并确认我的 key 是可正常使用的 - [ x] 我理解并愿意跟进此 issue，协助测试和提供反馈 - [x]...

[Bug] new problem , when crawl https://qiankunli.github.io/2024/08/17/llm_pre_training.html , error

1

error info:The text contains a special token that is not allowed: 

你好,我是在4090+qwen2.5-14b-awq测试的, 共有500个请求,每个请求是串行执行的,每个请求内部又有并发执行到llm的请求, 以下是一些运行时候截图  我的问题是:为什么串行执行的时候,大模型差异也可以这么大呢?是否有优化的手段?能否告知我,谢谢! 以下是lmdeploy check_env 的结果 ``` sys.platform: linux Python: 3.12.3 | packaged by Anaconda, Inc. | (main, May 6 2024, 19:46:43) [GCC 11.2.0] CUDA available: True MUSA...

Now I use lm-format-forcer+vllm and it takes 10 seconds to generate a json. This speed is not feasible in my current business. Is there any accelerated solution, such as a paper, plan or pr?

2

Now I use lm-format-forcer+vllm and it takes 10 seconds to generate a json. This speed is not feasible in my current business. Is there any accelerated solution, such as a...

作者你好，我想请问一下，为什么minimind的效果这么好呢？

3

你好！ 我最近在预训练模型，用的是0.1B参数的模型， 用的就是minimind的代码，相同数据集的情况下，我想请问，为什么minimind的效果这么好呢？因为作者多次测试，对参数进行了优化吗？ 我自己训练了有十几次，没有一次的效果比得上minimind的。