snownlp icon indicating copy to clipboard operation
snownlp copied to clipboard

Published 20 hours ago • verified publisher icon isnowfy

摘要有重复句子

Open Freakwill opened this issue 6 years ago • 2 comments

摘要出现重复句子。

比如在一篇讨论农村发展政策的文章中，提取出三句 坚持农业农村优先发展

Freakwill avatar Feb 22 '19 05:02 Freakwill

我的理解是，文中这句话出现了超过三次。而在计算后这句话的三次分数特别高，因此会重复出现在摘要汇总。

原来的代码没有去重功能，可以自己加一个

xiaoshuwen1995 avatar May 15 '20 02:05 xiaoshuwen1995

我的理解是，文中这句话出现了超过三次。而在计算后这句话的三次分数特别高，因此会重复出现在摘要汇总。

原来的代码没有去重功能，可以自己加一个

还是你改吧👍我觉得除了保证摘要得分高，还要保证摘要之间没有太大关联......

我现在只是利用toolz.unique简单去重复，但是这样就减少了原定的摘要数量。

Freakwill avatar May 15 '20 04:05 Freakwill