nth2000

I am in the process of reproducing the evaluation of the seed-llama-8b-sft model on SeedBench-Image and COCO-test (text2image). To ensure accuracy and fidelity in my reproduction, I would be grateful...

TinyChart-visual encoder位置编码长度不匹配的错误

3

首先感谢您的精彩工作。 目前我正在基于tinyllava模型利用tinychart数据复现训练流程，但是我发现bczhou/TinyLLaVA-3.1B-SigLIP中的visual encoder的image_size是384，vit_add_tome.py会将config中的image_size改成768。 因此在模型初始化时会基于image_size=768初始化sigLIP的position embedding的长度，但是bczhou/TinyLLaVA-3.1B-SigLIP checkpoint中的position embedding长度是基于image_size = 384的。将这个checkpoint中的参数load进来时导致了我在运行时产生了参数形状不匹配的错误。 能否请问下如何解决这个错误呢？非常感谢！