gen-vlkt
gen-vlkt copied to clipboard
YueLiao
zero-shot settings
你好，我看到你论文中写道你随机挑选了20个verb，但是我根据你提供的UA_list我一共找到了36种不同的verb，包含no_interaction，这是因为你挑选的verb的图片里不可避免的存在其他verb的HOI，所以把它们也加入到unseen集合中吗？还有你挑选了 很多hold构成的HOI组合，但是我发现有很多hold+object的组合没有被找全，这是什么原因？即使hold本身存在的语义歧义，但是hold dog 和 hold sheep应该都是牵着的含义，但是hold sheep并没有出现在你的UA中。您能否提供一下关于unseen_object和unseen_verb各自的id和类别，不是最终的组合类别。
Hi, you could first take a look at this file. All HOI triplets ids in the unseen set correspond to their indexes in the text label list 'hico_text_label'. The unseen verbs list are [41, 100, 99, 91, 34, 42, 97, 84, 26, 106, 38, 56, 92, 79, 19, 76, 80, 2, 114, 62], where 'hold' is not in the unseen list.
感谢您的回复，我看到'hico_text_label'文件里面提供了unseen verb hoi的list，但是我发现比说4：airplane fly ，其中fly并不在unseen verb list中，这个是什么原因。
The index of the list starts from 0. 'flying airplane' is the 4th element in the list, but its index is 3 not in the unseen verb list.
谢谢，我懂了。这里有几个问题我很疑惑 （1）还有我一直不理解这几行代码，为啥val阶段加载的路径不是val set里面的test.json，而是tranval.json. Correct_mat文件的作用是什么？ if image_set == 'val': dataset.set_rare_hois(PATHS['train'][1]) dataset.load_correct_mat(CORRECT_MAT_PATH) （2）对于unseen settings下，dataset.set_rare_hois(PATHS['train'][1])输出了trian set中，unseen instance和seen instance总数，为啥在Rare_first_UC在你的实验中显示seen instance数量为117526；在hou et al.的vcl论文里面示例数目为92,705 training instances，这二者为什么相差这么大？