zhangfan-algo

可以建一个官方的微信交流群吗

2

博主,隔壁ChatGLM有官方的交流群,一些技术问题和模型使用中的问题大家可以讨论交流,咱们方便建一个不

预训练是否支持pretrain中文数据,扩充词表

4

想问下博主 pt代码是否支持pretrain中文数据集,以及如果预训练中文的时候是否支持扩充词表呢,因为原生llama对中文不是很友好,中文几乎找到在原有词表中

AttributeError: can't set attribute 'eos_token' 在跑评估代码出现了报错

5


InternVL可以支持一下微调不

4

https://github.com/OpenGVLab/InternVL 最新的模型效果接近qianwen-vl-max 可以支持一下微调不

qwen1.5-4B-chat 多卡推理报错

13

 使用的是8卡A800 运行脚本 RAY_memory_monitor_refresh_ms=0 CUDA_VISIBLE_DEVICES=0 python examples/pytorch/llm/llm_infer.py \ --infer_backend vllm \ --ckpt_dir /mnt/pfs/zhangfan/study_info/LLaMA-Factory_0308/output/merge_sft_prompt_0319_qwen1half_4B_sft_0319/checkpoint-5890 \ --custom_val_dataset_path data/merge_sft_prompt_0319_test.jsonl \ --max_length -1 \ --use_flash_attn true \ --max_new_tokens 2300 \ --temperature 0.01 \ --top_p...

可以支持一下SPIN自我博弈微调的方法不

2

https://arxiv.org/pdf/2401.01335.pdf 在文本的领域中 这种方式微调比DPO好一些，文生图也很好。我们可以支持一下这种方式的微调不 代码也都开源了

单张80G卡编辑7B模型 报显存不足 想请教一下如何单机多卡去run

2