Ming Xu (徐明)
Ming Xu (徐明)
1. compute text similarity score. 2. compute image similarity score.
I have 1 V100 32G, the llama-33B need 24G in int4, but my gpu error with load_in_int4... what can i do?
实现了 ChatGLM2-6B 的lora微调，可以用来做领域微调，它的SFT微调方法跟chatglm基本一致，需要改下special tokens, lm_head 和enable_input_require_grads 就可以适配（下面代码改好了的）。 支持THUDM/chatglm2-6b微调项目地址：https://github.com/shibing624/MedicalGPT 该项目还实现了GPT模型训练，包括二次预训练、有监督微调、奖励建模、强化学习训练。 运行以下指令即可实现 belle 数据集指令微调（instruction-tuning）： ``` CUDA_VISIBLE_DEVICES=0 python3 supervised_finetuning.py \ --model_type chatglm \ --model_name_or_path THUDM/chatglm2-6b \ --train_file_dir ./data/finetune \ --validation_file_dir ./data/finetune \ --per_device_train_batch_size...
### Is there an existing issue for this? - [X] I have searched the existing issues ### Current Behavior eos token is none ### Expected Behavior _No response_ ### Steps...
Finetuned WizardCoder with LoRA, repo: https://github.com/shibing624/CodeAssist ## Train WizardCoder model example: [examples/training_wizardcoder_mydata.py](https://github.com/shibing624/CodeAssist/blob/main/examples/training_wizardcoder_mydata.py) ``` cd examples python training_wizardcoder_mydata.py --do_train --do_predict --num_epochs 1 --output_dir outputs-wizard --model_name WizardLM/WizardCoder-15B-V1.0 ```
后台图是：http://syd.lab99.org/vocab-coverage/coverage/bert-base-multilingual-cased.coverage.jpg 可以用我的网站免费帮你挂图片。www.mulanai.com
PIL 画图报错
PIL image draw 画图报错，原因是本地无中文字体，可以写英文到图片里面，不用安装中文字体了。 加几个建议： 1. `charset.json`集成到pip里，默认指定就可以，一般不会变； 2. 图片太大，可以压缩到几kb再上传； 3. PIL image draw 文字全改为英文，不依赖中文字体，日志打中文就行。 报错信息： ``` Traceback (most recent call last): File "/apdcephfs_cq3/share_2973545/flemingxu/nlp/vocab-coverage/vocab_coverage/main.py", line 50, in main() File "/apdcephfs_cq3/share_2973545/flemingxu/nlp/vocab-coverage/vocab_coverage/main.py", line...
可以加下tool calls功能，agent现在都需要function call相关的能力