bert_score

bert_score copied to clipboard

I run this line: P, R, F1 = bert_score.score(cands, refs, lang='en', verbose=True, model_type='roberta-large', num_layers=17)

and I got nan of P score, but not for R and F1 score. what does this mean?

python cal_bert_score.py ''' using bert-score version: 0.3.12 calculating scores... computing bert embedding. 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 213/213 [01:18<00:00, 2.72it/s] computing greedy matching. 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 115/115 [00:03<00:00, 36.60it/s] done in 81.80 seconds, 89.50 sentences/sec System level F1 score: 0.731 System level P score: nan System level R score: 0.836 '''