Lucien

之前因为 API 无鉴权，被 DDOS 了。 预计等鉴权上线之后会重新开放，造成困扰，十分不好意思。Orz

非常感谢，更推荐直接发 pr 喔～

> 如果有需要，我可以提供一个http镜像站。还是不要用国内网盘了吧 表示有需要，腾讯微云下的太慢了 Orz

> > > 如果有需要，我可以提供一个http镜像站。还是不要用国内网盘了吧 > > > > > > 表示有需要，腾讯微云下的太慢了 Orz > > https://dl.recolic.net/autojs > > 因为使用了cloudflare CDN, 可能需要翻墙才能获得较好的访问速度。如果不想用在中国效果不好的cloudflare CDN，请访问 https://cnm.cool/autojs > > 有新文件需要更新，请发送邮件到 [[email protected]](mailto:[email protected]) > > 请自行验证SHA校验和。 十分感谢

请参考此代码，推荐参考文档使用 vllm、llama.cpp、ollama 等方式起一个 OpenAI API 格式的服务，再使用此代码。 非 OpenAI API 格式的代码同理。 ```python from openai import OpenAI client = OpenAI(base_url="http://your-qwen-api-server:8000/v1", api_key="test") # 必须填一个 api_key，否则报错 def main(): messages = [] while True: messages.append({"role":...

推荐使用 vllm、llama.cpp 等框架，比直接用 huggingface 加载性能会强非常多。 对于你的这个 issue： ```shell python -m vllm.entrypoints.openai.api_server \ --model /path/to/your/qwen-1.5-7b-chat \ --max-model-len 32768 \ --tensor-parallel-size 4 \ --served-model-name qwen-1.5-7b-chat ``` 然后使用 openai 的库去调用就好，`base_url` 设定为你的服务器地址，如：`http://192.168.1.2:8000/v1`。 此外，4 张...

PasteMe 的本意是分享，图片水印之类的也有大量的工具可用，所以不会考虑这个特性，不好意思。

使用 `finetune/ds_config_zero2.json` 依然会报错。 ```log root@gpu-3:/pwd# bash finetune_ds.sh [2023-12-26 01:51:54,726] torch.distributed.run: [WARNING] ***************************************** Setting OMP_NUM_THREADS environment variable for each process to be 1 in default, to avoid your system being overloaded,...

前端在未来计划要用 vue 3.0 重构的，考虑到目前 bootstrap 不支持 vue 3.0，除非是功能需要，暂时不对前端做额外的改动。

> 如果用的是conda管理环境： 首先用`conda list | grep cuda`确定该环境cuda运行时版本，如`11.7`。 然后从nvidia源安装`cudatoolkit`： > > ``` > conda install cudatoolkit=11.7 -c nvidia > ``` 实测可以解决问题，环境 ```plain Windows 11 + WSL2 Debian pytorch==2.0.0 transformers==4.26.1 ```