jinec
jinec
> 你这是在linux中的版本吧，windows中这个版本可以吗？被整怕了都
我用的是 qwen模型来微调 qwen1.5的大模型，验证集的rouge同样很低，最高才10几分。可是等我训练好后，再次单独去推理，rouge是80分以上。。。很理解不了到底是为啥。。肯定是哪里发生了重大的变化。
@5102a 你好，我看了您的计算embeddings的方式，那么问题来了，在使用embedding进行搜索的时候，是用加法计算距离好、还是用乘法计算算法好呢
@init-neok 我和你的感受一样，一脸懵
@foxmale007 @sjq19960802 @aluminumbox 您们好，请问 vllm 推理代码可以跑通了吗？ 我用了 https://github.com/qi-hua/async_cosyvoice 也跑不通。。报错： Traceback (most recent call last): File "/root/miniconda3/envs/cosyvoice2/lib/python3.10/runpy.py", line 196, in _run_module_as_main return _run_code(code, main_globals, None, File "/root/miniconda3/envs/cosyvoice2/lib/python3.10/runpy.py", line 86, in _run_code...
batch_size_s=300, 这里好像只支持batch_size_s。不然的话，确实报错。
@LQ645218172 Have you solved this problem now? I also encountered this problem, it's too distressing
哥，我这里也是 0.2.1 版本。一直报错如下，都不知道怎么回事。 Building wheels for collected packages: ktransformers Building wheel for ktransformers (pyproject.toml) ... done Created wheel for ktransformers: filename=ktransformers-0.2.1-cp310-cp310-linux_x86_64.whl size=28304186 sha256=464a7862e6d69804b26bb40cd8681e2fc3883513a2db026d01c3e0b147b0d430 Stored in directory: /root/.cache/pip/wheels/ed/7a/7a/f8905ab90c6c356c64ba6284fa2ce0cf84c5610639299afa81 WARNING: Built wheel...
@JeffyLapter 哥，我安装 https://github.com/kvcache-ai/ktransformers/blob/main/doc/en/install.md 差不多解决了，感谢
大家好。 放的是 deepseek-ai/DeepSeek-R1. 放到是 gguf的 DeepSeek-R1-Q4_K_M 对吗？我没搞懂放什么。如果放原版的 deepseek-ai/DeepSeek-R1，那真的很难下载