COMET icon indicating copy to clipboard operation
COMET copied to clipboard

[QUESTION] MQM dataset on huggingface

Open aenaliph opened this issue 1 year ago • 0 comments

For the dataset shared here: https://huggingface.co/datasets/RicardoRei/wmt-mqm-human-evaluation

the data summary says the score is: MQM score. Sample row below:

1776 en-de He said: "I know of several other guys over the internet who feel the same way," but added that they are "too cowardly to act on their anger." Er sagte: „Ich weiß ganz genau, dass es noch mehr Typen im Internet gibt, die das Gleiche denken wie ich“, so Minassian, wenngleich er hinzufügte, dass diese „wohl zu feige wären, um ihrem Zorn freien Lauf zu lassen“. Er sagte: „Ich kenne mehrere andere Typen über das Internet, die genauso empfinden“, fügte aber hinzu, dass sie „zu feige sind, um ihre Wut auszuleben“. -0.333333 Human-A.0 3 news 2020

  • Is the score here in bold a z-score already normalized per annotator?
  • If so, does it make sense to combine this MQM dataset with the DA dataset to train a COMET-like model from scratch?

aenaliph avatar Aug 16 '24 07:08 aenaliph