請問模型輸出是否有提供 confidence score 的參數？

[st931630]

Motivation

我是使用 hugging face 方式推論 OpenGVLab/InternVL2-8B 模型，請問模型輸出是否有提供 confidence score 的參數？ 謝謝！

Related resources

No response

Additional context

No response

[czczup]

您好，请问您要想的confidence score 具体是什么，能否提供一个例子

[st931630]

您好，请问您要想的confidence score 具体是什么，能否提供一个例子

@czczup confidence score 這邊我想要的是 LLM 回答的信心度，實際具體例子是想應用在文件解析上，例如某個欄位OCR結果的信心度，謝謝您的回覆。

[czczup]

你好，LLM 本身通常不直接生成信心分数，但可以通过输出的概率分布（如分类任务中的 logits 或 softmax 概率）来间接估算信心。对于生成任务，可以通过采样策略（如 Top-k 或 Top-p）或不确定性估算方法来推测模型的信心水平。

[Lelege0]

你好，LLM 本身通常不直接生成信心分数，但可以通过输出的概率分布（如分类任务中的 logits 或 softmax 概率）来间接估算信心。对于生成任务，可以通过采样策略（如 Top-k 或 Top-p）或不确定性估算方法来推测模型的信心水平。

为什么Internvl在坐标预测这块中，他的输出坐标的概率都很低啊？，这个作为置信度去测coco的detection会很影响精度的，然后正常的文本生成任务中，他的文本token的概率都很平均？