Violettttee

如果我需要添加或修改标签的话，需要在哪些地方进行操作？

3

看代码发现好像是专门有写label标签的列表的，这是否意味着数据集的标注需要和标签一致？  如果我有新的标签需要添加的话，我是否只需要修改get_labels这里的代码？

已经训练好了一个模型，请问该如何做预测？文本的格式应该是怎么样的？我看了下datasets文件夹中的test.char.bmes，但是里面的文本的内容还必须要做标注才可以吗？另外用先开始的test.char.bmes文件完成的预测的结果是什么意思？  

about evaluation

2

In addition to constraint **‘example’,** is only gpt4 used for the evaluation of other constraint_type? Or are other models evaluated using both rule_based and gpt? 想请问一下这里面除了example以外的其他constraint_type的评估是只用了gpt4吗？还是说其他模型的评估既要用rule_based还要用gpt，双重打分？

whats normallly configured config?

3

As I understand it, the model should be translated based on the content of the grammar book. If so,does these config must be True?I see the dafult configuration is False,do...

关于cot

6

看代码里如果设置了cot，会请求llm两次，是我理解错了吗？为什么会考虑请求两次呢

关于Claude和gemini的token处理

1

想请问下看代码有看到gpt是用tiktoken来处理的，那对于claude和gemini也是使用4o的tiktoken吗？（代码里好像没有看到这部分）

AI2d gpt和claude3.5官方分数非常高

3

您好～ 想请问下你们对于openai和claude3.5在ai2d上特别高的分数有任何建议和想法吗？我这边修改姿势和prompt（添加cot）评测了gpt多次，都无法复现出0.942的超高分数。（加了cot后的最高分也就0.83），想请问你们对于这个gap有什么想法？（我看你们这边的ai2d的评测分数也没有任何高于0.9以上的，很好奇claude和gpt是怎么测出来将近满分的

[Bug]:Question about logprobs output being 0.0 when using `vllm` sampling params

2

### Your current environment The output of `python collect_env.py` ```text [pip3] numpy==1.26.4 [pip3] nvidia-cublas-cu12==12.4.5.8 [pip3] nvidia-cuda-cupti-cu12==12.4.127 [pip3] nvidia-cuda-nvrtc-cu12==12.4.127 [pip3] nvidia-cuda-runtime-cu12==12.4.127 [pip3] nvidia-cudnn-cu12==9.1.0.70 [pip3] nvidia-cufft-cu12==11.2.1.3 [pip3] nvidia-curand-cu12==10.3.5.147 [pip3] nvidia-cusolver-cu12==11.6.1.9 [pip3] nvidia-cusparse-cu12==12.3.1.170...

请问如果我想精确到主体和客体的具体类别的话，需要怎么做呢？

1

大佬您好，如果我希望能得到主体和客体的具体类别，而不只是识别出主体和客体，在这个模型的基础上我需要很大幅度的修改吗？