step_into_llm

step_into_llm copied to clipboard

使用如下命令运行BERT预训练 ： python run_pretrain.py --device_target Ascend --amp True --jit True --lr 2e-5 --warmup_steps 10000 --train_batch_size 256 --epochs 15 --save_steps 10000 --do_load_ckpt False --config config/bert_config_small.json Traceback (most recent call last): File...

klmuty

具体报错如下： ( MindSpore) [ma-user work]$ python run_pretrain.py --device_target Ascend --amp True --jit True --lr 2e-5 --warmup_steps 10000 --train_batch_size 256 --epochs 15 --save_steps 10000 --do_load_ckpt False --config config/bert_config_small.json modelarts_true INFO:root:Using MoXing-v2.0.1.rc0.ffd1c0c8-ffd1c0c8...

klmuty

/run_pretrain_ascend.sh: line 20: syntax error: unexpected end of file

klmuty

课程改进建议

1

授课老师都是华为一线开发工程师，非常专业，但是在授课方面个人建议进行如下改进： 1、课程要先调研学生情况，比如看看学生的基础如何，为什么想听此课程？如果不适合听此课程，是不是应该引导到其他适合学生基础情况的群中进行课程推荐。 2、课程的课件可以提前在课前一天或者两天进行下发，以利于学员们预习，提问。 3、课前收集学员有些什么问题？课程好针对性解答。 4、注意课间休息，最好是40分钟一节课。 5、要布置课后作业，比如Transformer翻译就可以留个能否把BLEU再度提升的作业，并以此展开讨论。 6、授课的节奏太快了，BERT、Transformer两三个小时就讲完，感觉代码是代码、PPT是PPT，就是讲解代码要点出此段代码是反映PPT什么内容，要特别强调下。建议参考其它机构是如何培训BERT、TransFormer的。

klmuty

https://openi.pcl.ac.cn/mindspore-courses/step_into_chatgpt/src/branch/master/2.BERT/bert_pretrain.ipynb这个文件中的图片显示不了哟

klmuty

gpt2课程资料更新

2

gpt2 notebook 更新至mindspore 2.2.14 对应issue ：https://gitee.com/mindspore/community/issues/IA5LB2

augety-x

 在这门课中，gpt2的模型代码中出现这个代码，causal_mask = bias[:, :, key_length - query_length: key_length, :key_length].bool()，这个的bias和causal_mask的张量形状都是一样的，为啥还需要截取一下啊，有啥用啊？

victory458537

ldqLDQ

ChatPDF功能存在的问题使用chatglm4运行 chatpdf.py直接报错。如下所示。 (mindspore) root@autodl-container-bff2469f3e-a4796232:~/autodl-tmp/ChatPDF# python chatpdf.py Building prefix dict from the default dictionary ... Loading model from cache /tmp/jieba.cache Loading model cost 0.749 seconds. Prefix dict has been built successfully....

kevinwei1975

ChatPDF功能存在的问题使用chatglm3运行 chatpdf.py直接报错。如下所示。 (mindspore) root@autodl-container-bff2469f3e-a4796232:~/autodl-tmp/ChatPDF# python chatpdf.py Building prefix dict from the default dictionary ... Loading model from cache /tmp/jieba.cache Loading model cost 0.976 seconds. Prefix dict has been built successfully....

kevinwei1975