[建议] 捕捉到多条相同新闻，同时推送，能不能合并相同标题的新闻

[superwiboy]

🏷️ 建议类别

数据源相关（新增平台、改进抓取等）

💭 详细描述你的想法

能不能合并相同标题的新闻

🎯 什么时候会用到这个功能

推送的太多

🛠️ 实现想法（可选）

No response

📷 功能示意图（推荐）

No response

📎 其他补充说明

No response

[sansan0]

那我来问你，你愿意为筛选这种重复标题付出金钱么？像精细的筛选必然要接入ai, 而ai是需要你自己花钱去买模型的token用量的。

从你的截图中看，实际有问题的只有下面这个重复。

[superwiboy]

我的想法是输出前加个判别式，标题相似度达到阈值就合并

[sansan0]

问题不是在于找到相似度的新闻，而是找到以后的重复新闻你怎么处理？直接扔掉？信息热度会有损失。把这个标题热度合并到其它平台的热度？会影响其它算法的正常运行，很多地方都得调整。所以我还是倾向于ai一劳永逸处理这些问题。

[yimouren]

@sansan0 其实我也有同样的问题, 关于标题相似度合并我倒需求不是特别大, 但是能否做到标题完全一样的就只显示一份? 因为比如我的关键词有 中国 日本 台湾, 经常有好几条一样的新闻分别出现在三个分类里

[sansan0]

@yimouren 你这个一般是某平台转载了其它平台的新闻导致的重复，你可以先把经常转载其它平台的新闻平台去掉。