PaddleNLP icon indicating copy to clipboard operation
PaddleNLP copied to clipboard

如何使用PaddleNlp 做些非中、英文语种的任务?比如葡萄牙语,越南等

Open jeffzhengye opened this issue 3 years ago • 9 comments

比如我想用paddlenlp的 neural_search,但里面只有中英文的预训练模型。 有写好的完整的例子把huggingface embedding 转换成PaddleNlp 支持的吗? 或者你们是否已经有了好的解决方案?

jeffzhengye avatar Aug 10 '22 04:08 jeffzhengye

可以试试ERNIE-M模型 https://github.com/PaddlePaddle/PaddleNLP/tree/develop/model_zoo/ernie-m

wawltor avatar Aug 10 '22 05:08 wawltor

可以试试ERNIE-M模型 https://github.com/PaddlePaddle/PaddleNLP/tree/develop/model_zoo/ernie-m

这个我看过,很多小语种还是没有啊。

jeffzhengye avatar Aug 10 '22 06:08 jeffzhengye

比如我想用paddlenlp的 neural_search,但里面只有中英文的预训练模型。 有写好的完整的例子把huggingface embedding 转换成PaddleNlp 支持的吗? 或者你们是否已经有了好的解决方案?

这里是说Huggingface有这样的模型是吗?

wawltor avatar Aug 10 '22 06:08 wawltor

有: https://huggingface.co/neuralmind/bert-base-portuguese-cased

paddlenlp 中GPT 有个支持我需要的语言葡萄牙语的。 https://paddlenlp.readthedocs.io/zh/latest/model_zoo/transformers/GPT/contents.html

jeffzhengye avatar Aug 10 '22 06:08 jeffzhengye

有: https://huggingface.co/neuralmind/bert-base-portuguese-cased

paddlenlp 中GPT 有个支持我需要的语言葡萄牙语的。 https://paddlenlp.readthedocs.io/zh/latest/model_zoo/transformers/GPT/contents.html

就是葡萄语是吗? 我记得ERNIE-M模型是支持葡萄语的, GPT模型是生成模型,不是语义模型

wawltor avatar Aug 10 '22 07:08 wawltor

@wawltor 是支持的葡萄牙语的,刚才看漏了。 其它不支持的语言有提供转化工具吗?

jeffzhengye avatar Aug 10 '22 08:08 jeffzhengye

@wawltor 是支持的葡萄牙语的,刚才看漏了。 其它不支持的语言有提供转化工具吗? 语言转化工具是有的,目前还没有开源出来,我问一下进度

wawltor avatar Aug 10 '22 08:08 wawltor

@wawltor 是支持的葡萄牙语的,刚才看漏了。 其它不支持的语言有提供转化工具吗?

转化工具预计下周会有一个开源版本

wawltor avatar Aug 11 '22 12:08 wawltor

@wawltor 已经发布了吗?

jeffzhengye avatar Oct 12 '22 12:10 jeffzhengye

This issue is stale because it has been open for 60 days with no activity. 当前issue 60天内无活动,被标记为stale。

github-actions[bot] avatar Dec 12 '22 00:12 github-actions[bot]

This issue was closed because it has been inactive for 14 days since being marked as stale. 当前issue 被标记为stale已有14天,即将关闭。

github-actions[bot] avatar Dec 26 '22 09:12 github-actions[bot]