ye7love7
ye7love7
目前是否支持多GPU，服务器部署，目前其他项目没有成功调用过两张卡。
RT，纯离线环境安装，依赖安装的十分艰难，最后碰到pycocotools，始终无法安装上，求教方法！
本地有约1万份综合执法类的法律文书，质量不高，但是希望能够使用这些数据再次lora微调，请教思路？
官方似乎只提供了在线npm
(flowise) tskj@tskj:~$ npm install -g flowise npm WARN ERESOLVE overriding peer dependency npm WARN deprecated @babel/[email protected]: This proposal has been merged to the ECMAScript standard and thus this plugin is...
临时增加一个LLM温度参数折叠栏，日常频繁使用
版本：2024/1/22最新 使用chat上传两篇pdf到历史，长度分别为13859和20905，使用editor开始写作后，后台信息如图：  remaining slots: 2000，始终未变，测试继续放入一篇小的，发现remaining slots变化了，对同一份pdf不同反应，如下图：  查看源代码后，仍然不明白，jieba分词后都是词语，如何重新组成一段话，manul参数=2，是否可以调？谢谢大佬！ 注：server_config.json使用默认，内容如下： { "path": { "work_space_root": "workspace/", "database_root": "workspace/database/", "download_root": "workspace/download/", "code_interpreter_ws": "workspace/ci_workspace/" }, "server": { "server_host": "0.0.0.0", "fast_api_port": 7866, "app_in_browser_port": 7863,...
从市场上的例子来看，似乎都是由后台直接配置哪些文件，那么前台是否可以提供任何功能，直接进行一次性问答以及知识库管理？谢谢！ Looking at market's examples, it seems to be all about which files are configured directly by the backend, is there any functionality that can be provided to the frontend...
(infer) tskj@tskj:~/project$ python -m vllm.entrypoints.openai.api_server --model /home/tskj/MOD/MiniCPM-V-2 --trust-remote-code --host 0.0.0.0 --port 9998 --gpu-memory-utilization 0.45 INFO 05-09 07:46:56 api_server.py:149] vLLM API server version 0.4.0.post1 INFO 05-09 07:46:56 api_server.py:150] args: Namespace(host='0.0.0.0', port=9998,...
已经使用xformers，3张T4显卡环境测试13b模型，短文本输入，输出还是非常快的，但是长文本输入，输出就非常慢，使用一张3090 24G进行13b模型的8bit量化进行测试，也是一样的情况，是否位置编码问题？急需长文本版。