PALM

PALM copied to clipboard

TomorrowIsAnOtherDay

我在执行run.sh遇到问题

1

creating readers... loading mrqa training data... /opt/conda/envs/python35-paddle120-env/lib/python3.7/site-packages/paddle/fluid/layers/io.py:721: DeprecationWarning: The 'warn' function is deprecated, use 'warning' instead 'paddle.fluid.layers.py_reader() may be deprecated in the near future. ' WARNING:root:paddle.fluid.layers.py_reader() may be deprecated in...

wdxwj

一次预加载模型，开多线程对多个预测集进行预测，请问怎么实现

1

我调用trainer.load_ckpt(pred_model_path)之后 然后开多线程预测多个文件的时候会卡死

yeguang1991

我已经在gpu上训练完了基于palm的模型，预测的话可以实现请问可以实现在cpu和gpu上都能运行吗？ 我把palm依赖于paddle关于cuda的代码注释掉是可以在cpu上跑的。但是要实现cpu和gpu同时运行（留一个use_gpu=True/False)的属性，是需要对paddle.fluid.core_avx'的 'get_cuda_device_count进行修改吗

Echo0117

xhsun1997

中文预测结果如下，请问这么怎么抽取词槽，有相关的指导文档吗 

yeguang1991

PALM梯度更新问题

1

有三个问题请教： （1）有关多任务梯度更新的，我对代码理解是这样的：（multi_task/run.py） task1： 产生loss1，更新一次模型参数 task2：产生loss2，在上一次梯度更新基础上再更新一次 不断循环上述两个过程 （2）下面粘贴train.py中build_backward函数部分代码 我理解 param_list中就是存放模型参数值，那么updated_param = param - param_list[param.name] * weight_decay * optimizer.get_cur_learning_rate() 这个表达式，表示这个参数更新是这个参数值减去这个参数值乘以一个系数。这里就没有使用梯度值。参数更新，不是 w = w - alpha * grad_w吗？ > def build_backward(self, optimizer, weight_decay=None,...

gobigrassland

看到分词部分默认是英文的，包括可选项也只有’wordpiece‘，ಥ_ಥ，用起来确实比tf方便，但是定制方面好像没有太多可指导的demo~

yang9112

if len(examples) < batch_size: raise Exception('CLS dataset contains too few samples. Expect more than '+str(batch_size))

yeguang1991

Perhaps the main_program is not set to ParallelExecutor.

2

I0427 14:37:27.545102 21654 parallel_executor.cc:440] The Program will be executed on CUDA using ParallelExecutor, 1 cards are used, so 1 programs are executed in parallel. I0427 14:37:27.635213 21654 build_strategy.cc:365] SeqOnlyAllReduceOps:0, num_trainers:1...

Dabulv