FastGPT icon indicating copy to clipboard operation
FastGPT copied to clipboard

网页抓取过滤style标签

Open Zhenyi-Wang opened this issue 8 months ago • 2 comments

例行检查

  • [x] 我已确认目前没有类似 features
  • [x] 我已确认我已升级到最新版本
  • [x] 我已完整查看过项目 README,已确定现有版本无法满足需求
  • [x] 我理解并愿意跟进此 features,协助测试和提供反馈
  • [x] 我理解并认可上述内容,并理解项目维护者精力有限,不遵循规则的 features 可能会被无视或直接关闭

功能描述 网页抓取后过滤掉body内的style标签

应用场景 有些网页在body里有style标签,目前没过滤,(使用自定义选择器的时候)会归入正文,对数据造成干扰

相关示例 链接:https://www.intl.zju.edu.cn/zh-hans/about/campus-introduce 选择器:main image image

Zhenyi-Wang avatar Jun 21 '24 07:06 Zhenyi-Wang