nongfang55

RobertaPromptForSequenceClassification 代码实现问题

3

RobertaPromptForSequenceClassification 中的实现原理，大致是单独把RobertaModel 中的 RobertaEmbeddings 拿出来。然后tokenize 过的输入通过 RobertaEmbeddings 获得输入embedding，再拼上 prompt 的 embedding 过 RobertaEncoder。 不过单独拎出来的输入embedding，之前经过RobertaEmbedding时候，已经经过了word、pos、type的embedding相加和LN、drop的过程。而以inputs_embeds为参数输入 RobertaModel 之后，似乎会**再次**经过上述的操作。 是不是我理解的不对？不然按照我的理解，这么实现好像是有问题的？

Now in the harness, there are metrics called "byte_perplexity" and "word_perplexity". These two metrics normalize the perplexity by the length of characters and words, respectively. If we want to normalize...

求 Code 模型在 SQL benchmark 的评估代码

2

看到贵团队放出了部分评估 benchmark 的逻辑，希望参考在 Spider 和 BIRD-SQL 的评估实现。这两个 benchmark 本身在 opencompass 和 harness 都没有集成