PaddleNLP icon indicating copy to clipboard operation
PaddleNLP copied to clipboard

Published 20 hours ago • verified publisher icon PaddlePaddle

Static trainer subpackage

Open areikka opened this issue 2 years ago • 5 comments

PR types

Others

PR changes

Models

Description

为 static_ipu 添加trainer支持，并将IPU相关的一些泛用性方法放在paddlenlp的sub-package中，便于后续支持更多模型到IPU上

具体改动如下：

  1. 添加针对静态Paddle能在ipu上运行的trainer，目前可运行Bert pretraining和squad两个任务。
  2. 添加了自动选择模型和相关配置的功能，便于后续模型的支持。
  3. 上述改动代码在repo PaddleNLP-IPU中，作为PaddleNLP的sub-package，可在代码中通过import paddlenlp.IPU进行调用。
  4. 为了使PaddleNLP可扩展sub-package，需要为paddlenlp.__init__.py添加支持扩展的代码__path__ = __import__('pkgutil').extend_path(__path__, __name__)。
  5. 精度目前存在一些损失，会在后续的更新中修复。
Version EM F1
No_trainer 79.90 87.63
Trainer 79.60 87.27

areikka avatar May 29 '22 14:05 areikka

CLA assistant check
All committers have signed the CLA.

CLAassistant avatar May 29 '22 14:05 CLAassistant

这里 的CI docs/readthedocs.org:paddlenlp 失败的原因是 paddle 的 requiremenst.txt 使用的protobuf 版本是 protobuf>=3.1.0, paddle那边已修复 https://github.com/PaddlePaddle/Paddle/pull/43009/files

gglin001 avatar May 30 '22 06:05 gglin001

This Pull Request is stale because it has been open for 60 days with no activity. 当前Pull Request 60天内无活动，被标记为stale。

github-actions[bot] avatar Dec 25 '22 00:12 github-actions[bot]

This Pull Request is stale because it has been open for 60 days with no activity. 当前Pull Request 60天内无活动，被标记为stale。

github-actions[bot] avatar Feb 27 '23 00:02 github-actions[bot]

This Pull Request is stale because it has been open for 60 days with no activity. 当前Pull Request 60天内无活动，被标记为stale。

github-actions[bot] avatar May 05 '24 00:05 github-actions[bot]