Knover

Knover copied to clipboard

请问有PLATO-XL的预训练conf吗

1

Anery

能分享一下24L版本中文模型的一些训练情况吗

1

从配置文件来看，1、2-1和2-2三个阶段的learning rate分别是1e-3、4e-5、和1e-4，warmup steps是4000。三个stage总的训练步数分别是多少呢？阶段1和阶段2-1的NLL loss大概收敛到什么水平？多谢啦

JesseYang

损失函数entropy_loss和bow_loss

9

请问entropy_loss和bow_loss具体评估的是什么？ 我训练过程中entropy_loss变为nan，bow_loss降到5左右就不下降了，这样正常吗？ 什么情况下要使用这两个损失，也就是设置use_entropy，use_bow为true呢？

guijuzhejiang

Convert PLATO-2 model to ONNX format

6

Hello everyone, I'm currently trying to convert PLATO-2 model into ONNX format using Paddle2ONNX. However, when I try to convert the NSP model, I got this error: ``` Traceback (most...

fadelma

Plato-XL inference.sh runs, but output appears to be garbage

1

Greetings, I am attempting to run the Plato-XL 11B model. I have been successful installing PaddlePaddle, Knover, etc and have been able to run the interact.sh demo, but the output...

hyperia-zeus

方便透露一下数据的来源吗？

2

中文数据不开源我可以理解，但透露一下数据的来源没问题吧？ 论文只是简单的提了一下中文数据来自中文的社交媒体，能否具体一点呢？ 微博，豆瓣小组，还是百度贴吧？ 不同的来源上文谈话的内容风格和话题差异还是比较大的，希望可以提供一下。 谢谢

MashiMaroLjc

bow_loss下不去，不知道怎么回事

3

tang-ed

训练数据的组织形式

6

Hi，我想请问下，中文模型训练的时候大部分都是多轮数据吗？还有单轮的比较多呀

zhanghaoie

knover/data/dialog_reader.py里_gen_self_attn_mask函数对unidirecional的情况处理是不是不全

1

正在学习plato-2的代码，发现_gen_self_attn_mask函数对is_unidirecional为真时的操作是不是对input_mask_data不起作用？ 通过这个参数对attention网络实现单边或双边的吧？

wfeagle

Stage2.1训练时报错

1

检查代码时发现未实现_get_feed_dict()

misska1