Jay Ting

@Embedding 非常感谢您的回答

非常感谢您对NLPer-Arsenal项目的支持，我们会在之后的更新中补充相关内容

> 想问一下安装的module都是什么版本呢？我这边tensorflow和transformers都报了一些错误，比如 > AttributeError: module 'tensorflow_core.python.keras.api._v2.keras.activations' has no attribute 'swish'之类的 transformers版本为2.10

> 我对这个医疗事件抽取非常感兴趣，有没有复现的源码，参考学习一下 可以试试这个，文档级事件抽取的一些复现，[DocEE](https://github.com/Spico197/DocEE)

> task2,task3 第二名方案，https://discourse.aicrowd.com/t/ets-lab-our-solution/7961 task2，task3 第一名方案，https://discourse.aicrowd.com/t/my-solution-good-good-study-day-day-up/7965 task1，第五名方案 https://discourse.aicrowd.com/t/solution-zhichunroad-5th-task1-7th-task2-and-8th-task3/8006 > > 其他方案，等待论文放出后，可以对照这个帖子查看。 https://discourse.aicrowd.com/t/final-winners-announcement/7974 已更新2022 Amazon KDD Cup竞赛方案 -> https://github.com/TingFree/NLPer-Arsenal/blob/master/%E5%BE%80%E6%9C%9F%E7%AB%9E%E8%B5%9B/%E6%96%87%E6%9C%AC%E5%88%86%E7%B1%BB/2022%20Amazon%20KDD%20Cup%20(task2%20Multi-class%20Product%20Classification%2C%20task3%20Product%20Substitute%20Identification).md

@rishabhjoshi Hi, Do you solve this problem? I want to improve it base on crqda, but Judging from your description, maybe the code is hard to run, if you solve...

@rishabhjoshi Hi, Have you reproduce CRQDA on Squad2? I mean the same results as paper

> > 你这个应该是数值精度问题. 全量sft所有参数都被更新, 梯度范围会更大, 如果部分参数的梯度值过大, 容易导致训练不稳定, 可能表现为grad_norm为nan. LoRA仅更新低秩插入的权重参数, 梯度空间受限, 训练稳定. 可以先尝试单精度sft, 没问题再半精度并把梯度裁剪到更小的值, 比如1.0试试. > > 请问配置文件如何设置grad_norm值呢，说明文档里没找到 参考transformers中的max_grad_norm