limm

Update main.py

1

solving the problem of "TypeError: sequence item 0: expected str instance, list found"

#### 1.我准备了一些语句，都是返回张数不足50张的语句： 抱着孩子的男人 背包的女人 戴眼镜的男人 骑自行车的孩子 一个走在公园里的女孩 一群走在山里的男人 在河边的金发少女 包饺子 亲子活动 踏青 提行李箱的男人 在清晨跑步的女人 在水里盛开的花 在田野里的狗 #### 2.先是在demo里搜索，参数如下，并利用chrome的插件imageye，把返回的图片都下载下来： 返回图片数：50张，模型：中文CLIP(Base)，返回缩略图：否 因为不同语句搜到的图片存在重复，所以我通过hash值进行了重命名，并用一张表保存每张图对应的语句列表 #### 3.把这些图片都加入一个新的向量库，在本地构建的搜索接口测试搜索： 图片和文本都是用的clip-vit-b-16进行向量化，利用余弦相似度进行降序，阈值0.2，结果是，返回的图片并不完全一样，大部分是差个一两张，但是“踏青”，结果差了9张图。详细见下图 

请问在三个图文检索数据集上微调时，有使用两阶段微调的方式吗？

6

我直接使用最新master提供的muge_finetune_vit-b-16_rbt-base.sh进行训练，freeze_vision=""，1张v100，其他参数没变，微调结束后结果提交到官网，评估结果比zero-shot低。 zero-shot：Recall@1=52.16, Recall@5=76.22, Recall@5=83.97, Mean Recall=70.78 finetune：Recall@1=48.82, Recall@5=75.8, Recall@5=84.59, Mean Recall=69.74 如果微调你们用了两阶段的话，参数有调整吗？像学习率、epoch等这些 另外请问你们最近有预训练其他的图文匹配模型吗，比如ALBEF、BLIP2等

使用默认超参数在COCO-CN上微调，无法收敛

4

你好作者，我使用coco-cn_finetune_vit-b-16_rbt-base.sh在你们提供的处理好的COCO-CN上做微调，查看微调过程发现没有收敛，而MUGE和Flickr使用默认参数微调是收敛的，请问问题可能出在哪里呢？ 仅修改了两个字段 ``` GPUS_PER_NODE=1 export MASTER_ADDR=localhost ``` 下面是三个数据集上的微调折线图    附上我在COCO-CN上微调的log文件 [out_2024-01-11-09-33-24.log](https://github.com/OFA-Sys/Chinese-CLIP/files/14032254/out_2024-01-11-09-33-24.log)

Update settings.zh.mdx

1

原来的： （调小`temperature`）实质上，你是在增加其他可能的 token 的权重。 更改为： （调大`temperature`）实质上，你是在增加其他可能的 token 的权重。

因为默认的5000端口被占用，换成了未被占用的6000，却打不开网址，换成未被占用的9000可以打开网址

1

帖子详见：https://linux.do/t/topic/1009280/425?u=limm2025