Knover

Knover copied to clipboard

请问用plato-2跑中文模型，loss一般下降到多少？

8

您好，我用plato-2跑中文模型（目前跑的是第一阶段），我感觉我的学习率是不是设置小了，我设置的为1e-5，跑了1.8M个步长（batch_size=32），loss下降到2.66，尽管loss一直在下降，但是我觉得太慢了。我是不是应该把学习率设置大一点，5e-4或者2e-5。另外，我想咨询一下第一阶段的loss一般下降到多少左右就可以了？ 非常期望得到回复~

cingtiye

各位大佬， 请问如何基于现有的开源英文plato-2模型，搭建一个中文多轮对话机器人？本人看了下面的链接，但还是对如何使用英文的plato-2搭建适用于中文多轮对话任务的plato-2模型表示不太了解。能否请各位大佬提供一些更详细的细节？还能否请各位已经实现的大佬共享一些代码供小弟参考，谢谢。 链接： https://github.com/PaddlePaddle/Knover/issues/25

ZeyuTeng96

plato-mini 可以定制数据进行微调吗

daozhi0921

您好， 对于plato闲聊对话模型，如果在不同机器上部署了uwsgi服务， 同时多人请求闲聊， 那么怎么保证历史对话之间不会交叉呢？

daozhi0921

请问plato2能够运行在CPU服务器上吗？16核，64G内存

1

zhaoyiyong

关于 PLATO-2 和 PLATO 的模型区别

1

除了论文中提到的 pre-norm 和 post-norm 的区别，以及 tokenizer 的区别， 我对比了下 plato 的网络结构 和 plato-2 (stage 2.1 PLATO模型) 的网络结构，发现也有细微区别： 1、在预测 latent variable 的时候，plato 1 中的实现的是 mask token 的 final hidden state 经过 post_network；而plato-2...

kiseliu

For the error of running the command 'bash ./scripts/local/job.sh ./projects/PLATO-2/pretrain/24L_infer.conf'

5

For the following parameters in the config of https://github.com/PaddlePaddle/Knover/blob/develop/projects/PLATO-2/pretrain/24L_infer.conf: ``` 16 init_params="./24L/Plato" 17 nsp_init_params="./24L/NSP" ``` How can I get these two models? Do I need transform from the model https://dialogue.bj.bcebos.com/Knover/projects/PLATO-2/24L.tar...

kiseliu

关于./scripts/single_gpu的训练参数保存问题（paddle-2.2.2）

2

你好，我在使用./scripts/single_gpu/train.sh时，会报出 `Traceback (most recent call last): File "./knover/scripts/train.py", line 250, in train(args) File "./knover/scripts/train.py", line 170, in train save_model(model, args.save_path, "best", args) File "./knover/scripts/train.py", line 242, in save_model model.save(path, is_checkpoint=args.save_checkpoint)...

M-aterialism

分布式训练性能BUG

1

1、python train.py 单卡 训练速度9.0step/s 2、fleetrun train.py 单卡 use_amp = False 训练速度 9.0step/s use_amp=True 训练速度3.9step/s 3、fleetrun train.py 多卡(6卡) use_amp = False 训练速度3.0step/s use_amp=True 训练速度1.8step/s 问题1、使用use_amp后性能下降严重 2、使用fleetrun 分布式训练较单卡性能下降严重，使用3张卡才相当于之前一张卡，没有体现分布式加速训练的效果

leelinglin

关于distinct-1/2的计算，用了多少句子/conversations？

1

is:issue is:open 你好，我想问一下，在计算distinct-1/2的时候，用了多少句子和多少词汇，是全部test 数据吗，还是选择了top 10？ 50？200？我们想知道这个分母是基于多少数据计算的。我们主要是为了做对照实验，想知道这个重要的数据信息。谢谢

ZenzenDatabase