S2-Transformer icon indicating copy to clipboard operation
S2-Transformer copied to clipboard

有没有图像描述生成器代码

Open Dmygithub opened this issue 1 year ago • 1 comments

你好,模型训练好后应该如何应用呢? 例如给一张图片,如何生成图像描述?

Dmygithub avatar Apr 20 '24 10:04 Dmygithub

您好,由于本项目是离线视觉特征训练和测试,如果要实际部署,需要修改成端到端推理。有几点建议包括但不限于:1. 修改dataloader,从而对输入图像进行online的特征抽取,见#12 ,2. 下面的代码包含了模型输出解码和评测,gts如果不需要你可以删除掉,只要模型当前的输出gen_i即可。

https://github.com/zchoi/S2-Transformer/blob/c2f56c5715fc44e4677f546e5bb7c36d57909374/test_transformer.py#L33-L37

zchoi avatar Jul 12 '24 07:07 zchoi