codingma

可以先自主尝试一下不使用本项目，是否可以部署 gradio 自身的简单demo， 排查一下网络问题。

请参考 https://zhuanlan.zhihu.com/p/695287607 批量推理和eval部分

历史版本不确定是什么问题，请升级新版本，按readme相关进行安装使用

跟这个参数没有必然关系，跟你的batch_size 和cut off you关系。

group_by_length 会从大到小排序 被训练，这个有什么文档可以支撑这个说法吗？

你好，感谢高一同学对项目的支持。 1. 建议先学习一下 大模型相关的知识，比如openai 的官方解读 https://www.bilibili.com/video/BV1ts4y1T7UH， 介绍了预训练和监督训练，强化学习的作用和区别 2. 预训练是无结构的长文本即可，就像直接看课本一样。而监督训练是指令相关，让大模型进一步掌握针对特定问题的回答方式，所以instruction 是用户的问题或者诉求，output是回答，这样的格式，类似习题册。 3. instruction和input 使用 string concat 进行拼接，可能中间会加一个 \n 4. 预训练可以参考 c4数据集和 wiki数据集

这个没有明确的定论， 不过一般是一些动态会变化的数据会使用RAG， 而一些行业里长期稳定的知识，或者特殊的输入输出格式和风格需求使用微调来处理。 这个问题的讨论已经超出了本项目需要支持的范围，请更多自行探索和学习。

目前暂时不支持过程中输入图片。

请参考新的readme重新安装项目，参考examples下的说明

please refer https://github.com/hiyouga/LLaMA-Factory?tab=readme-ov-file#fine-tuning-with-llama-board-gui-powered-by-gradio , alibaba special config is included. And refer https://github.com/hiyouga/LLaMA-Factory?tab=readme-ov-file#fine-tuning-with-llama-board-gui-powered-by-gradio to install this pakcage to get llamafactory-cli installed