yaoxiaoyuan

你可以参考https://github.com/yaoxiaoyuan/mimix/blob/main/example_train_image_caption.py

原理可以参考如下论文： 1. Attention Is All You Need 2. Language Models are Unsupervised Multitask Learners 3. An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale 训练数据来自于一些开源数据以及自己爬取的数据，因为版权和隐私问题无法完全公布。你可以自行搜索一些相关论文开源的数据资源。

什么格式都可以，只要是合理的输入输出，并且开发好解析数据的代码就可以。可以参考例子example_train_seq2seq.py，这个例子里所用的数据格式为每条数据对应一条json，输入为src字段，输出为trg字段。

你好，你需要输入多长的文本？模型是有最长长度限制的，因此不能超过模型的最长长度，现在下载链接里的这个模型长度限制在512以内。

你可能没有明白，这个没有办法修改，每个模型都有自己的最长长度限制，不是改一句代码可以解决的。这个模型的输入长度限制在512字以内。只有重新训练一个可以支持更长长度的才可以。

简单添加了需要的库。应该基本上把torch相关的装好就可以了，如果想更好的交互测试需要装streamlit。

这个模型训练的时候没有考虑数量，因此没有办法直接控制数量。

参考最新的代码。增加了训练的简单示例。