af-74413592

主要是processor(Image.open(item['img']).convert('RGB'))预处理图片这一步，先得把图片Blip embedding加载出来，可以在for item in data这一行加一个tqdm，用啥数据格式读取倒不是关键。

> 主要是processor(Image.open(item['img']).convert('RGB'))预处理图片这一步，先得把图片Blip embedding加载出来，可以在for item in data这一行加一个tqdm，用啥数据格式读取倒不是关键。 这个dataset就是简单粗暴的把所有图片矩阵加载到内存中，数据量大了确实会爆掉。

尝试改了一下，load_dataset(streaming=True)的形式，改是改出来了，但是这个sat.training_main还不支持流式dataset。。。

> 改一下dataset的方法，先把索引读进去，然后每个batch再读图片 原来给的方法一口气把数据集全读到内存里了，直接oom > > ``` > class FewShotDataset(Dataset): > def __init__(self, path, processor, tokenizer, args): > self.max_seq_length = args.max_source_length + args.max_target_length > with open(path, 'r', encoding='utf-8') as f: >...

you can simplely delete the args.negative_prompt

use default command line

> Please provide more context. finetune or inference? precise command launched? gpus type and count? clean py env or some other one from alpaca serve? Also see the debug hint...

没懂，patch的self attention不是做了吗。

 和原版dit一模一样的写法啊

>  和原版dit一模一样的写法啊 还真是不一样。。。