PaddleNLP

PaddleNLP copied to clipboard

### PR types New features ### PR changes APIs ### Description Make BERT support past_key_value_caches. ```python import numpy as np import paddle import paddlenlp from paddlenlp.transformers import AutoModel, AutoTokenizer, AutoModelForTokenClassification,...

guoshengCS

### PR types Function optimization ### PR changes APIs ### Description Update compression API Done： - 根据paddleslim更新，更新了API接口(TODO：试验adaground是否优于round) - 避免patch的冲突，避免import了paddleslim中的nlp_utils.py文件，并且把改文件内容搬至 PaddleNLP，增加ofa_utils.py文件 - compress API 移至 Library - 增加了CompressionArguments，用户可以直接通过``--``的形式传参，或者用Yaml文件传，不需要区分training和compression，直接把要传的参数传进去即可。 - 目前支持dynabert+ptq，dynabert，ptq，三种策略，默认第一个。 TODO：...

LiuChiachi

### PR types + Function optimization ### PR changes + APIs ### Description + Move pipelines to the root dir + Update requirements.txt and README.md

w5688414

ernie3.0量化过程报错：Hint: Expected dtype() == paddle::experimental::CppTypeToDataType<T>::Type()

26

欢迎您反馈PaddleNLP使用问题，非常感谢您对PaddleNLP的贡献！ 在留下您的问题时，辛苦您同步提供如下信息： - 版本、环境信息 1）PaddleNLP和PaddlePaddle版本：PaddleNLP 2.3.4，paddlepaddle-gpu 2.3.1.post116 2）系统环境：Windows10企业版，python38，cuda11.6，cudnn8.4 - 复现信息：ernie3.0模型量化出错，出错处最后调用的应该是c/c++编译的包了，无法继续排查了，错误信息如下图： ```python - Traceback (most recent call last): File "compress_msra_ner.py", line 149, in main() File "compress_msra_ner.py", line 142, in main trainer.compress(output_dir,...

Fmaj7

如何使用PaddleNlp 做些非中、英文语种的任务？比如葡萄牙语，越南等

9

比如我想用paddlenlp的 neural_search，但里面只有中英文的预训练模型。 有写好的完整的例子把huggingface embedding 转换成PaddleNlp 支持的吗？ 或者你们是否已经有了好的解决方案？

jeffzhengye

### PR types Others ### PR changes Others ### Description 在文本分类application中新增analysis模块(已在多分类中实现) - 新增评估脚本 - 新增稀疏数据识别、脏数据清洗、数据增强三种方案 - 新增analysis模块文档 - doccano标注代码和文档适配脏数据和稀疏数据标注

lugimzzz

model_zoo/uie定制训练出现错误AttributeError: 'DataLoader' object has no attribute 'prefetch_factor'

7

环境如下：Ubuntu 180.4 python3.6.10    错误提示如下：  请帮忙看看，谢谢。

1689665417

### PR types Function optimization ### PR changes Others ### Description Enhance ERNIE pretrain with additional chinese char

ZHUI

UIE实体识别评价指标的计算公式

4

UIE实体识别在验证集上每一种实体类别的Precision, Recall, F1值都偏高，但整体的Precision, Recall, F1比较低，想了解一下UIE实体识别评价指标的计算公式，感谢！！！

MachineSheep

paddleNLP 2.3.1 paddlepaddle2.2.2 RuntimeError: (PreconditionNotMet) The third-party dynamic library (libcublas.so) that Paddle depends on is not configured correctly. (error code is libcublas.so: cannot open shared object file: No such file or directory)

14

paddleNLP 2.3.1 paddlepaddle2.2.2 cuda11.0 RuntimeError: (PreconditionNotMet) The third-party dynamic library (libcublas.so) that Paddle depends on is not configured correctly. (error code is libcublas.so: cannot open shared object file: No such...

www-Ye