PaddleNLP
PaddleNLP copied to clipboard
Add unsupervised-qa pipelines
PR types
New features
PR changes
Models
Description
新增无监督问答pipelines,主要包含以下内容: -无监督问答pipelines说明文档 -pipeline运行示例 examples/unsupervised-question-answering/unsupervised_question_answering_example.py -离线生成问答对脚本 -新增节点QAFilter、AnswerExtractor、QuestionGenerator、AnswerExtractorPreprocessor(用于支持文档操作)、QAFilterPostprocessor(用于支持文档操作) -新增pipeline QAGenerationPipeline -FastAPI后端代码,承接ElasticSearch ANN检索库、QAGenerationPipeline和SemanticSearchPipeline -streamlit无监督问答UI前端方案
WEB可视化系统功能: 问答检索 在线问答对生成 在线更新索引库 文件上传并自动生成和载入问答对 问答对生成可选择过滤 问答检索可选择返回答案数量和最大检索数量
效果展示: