JittorLLMs
JittorLLMs copied to clipboard
Jittor
计图大模型推理库，具有高性能、配置要求低、中文支持好、可移植等特点
运行 `python api.py chatglm` 报错 系统：Windows 10 python 版本: Python 3.10.6 ``` D:\ai\JittorLLMs> python api.py chatglm [i 0606 21:44:59.561000 32 compiler.py:955] Jittor(1.3.7.16) src: d:\python\lib\site-packages\jittor [i 0606 21:44:59.588000 32 compiler.py:956] cl...
在主页Readme中，有以下内容： _**下面是在不同硬件配置条件下的资源消耗与速度对比。**可以发现，JittorLLMs在显存充足的情况下，性能优于同类框架，而显存不足甚至没有显卡，JittorLLMs都能以一定速度运行。_ 但实际未看到对比数据：还是想参考一下的
  上面是我的启动参数和启动之后的界面，每次输入一个问题之后要等几分钟才会得到结果
先说一下我的环境,win10,conda环境安装的python 3.10.11,根据requirements安装的包如下 pip list Package Version ------------------ -------- astunparse 1.6.3 certifi 2023.5.7 charset-normalizer 3.1.0 colorama 0.4.6 cpm-kernels 1.0.11 filelock 3.12.2 fsspec 2023.6.0 huggingface-hub 0.15.1 icetk 0.0.4 idna 3.4 jittor 1.3.8.4...
用网页版的demo显示 GPU memory is overflow, please reduce your batch_size or data size! Total: 4GB Used: 10.25GB 用命令行的话，可以生成，语句也通顺，有两个问题，一是速度慢，二是会重复输出已经生成的内容
不能生成网页版的，输入这个网址没用 Running on local URL: http://0.0.0.0:51234 To create a public link, set `share=True` in `launch()`.
 
**如果项目环境在C盘, 程序在给文件创建软连接时会报错, 改成如下这样就不会报错了(在不给编译器提权的情况下):** 更改的文件:`JittorLLMs\models\util.py` ``` import os import subprocess ......省略未更改代码 # os.symlink(new_path[-1], os.path.join(ln_dir, f)) source = new_path[-1] target = os.path.join(ln_dir, f) cmd = f'powershell -Command "Start-Process -FilePath \'python\' -ArgumentList \'create_symlink.py...
web_demo执行时会重复对第一个问题生成回答，针对这个bug，对__init__.py的run_web_demo方法进行了修改，同时将调用self.model.chat改为调用self.model.stream_chat，实现了打字机效果。
