Zhang Shuai
Zhang Shuai
这个错误能够复现么? 错误看起来是创建线程时资源不够导致的,跟你机器当时的运行状态或者配置比较相关,我本地重复调用25w次未复现。 可以考虑修改本地进程允许的最大线程数避免一下。
> 我如果调高本地最大线程数,会不会在更高短句数据量下也崩溃掉? 存在这种可能,因为这涉及到paddle的dataloader内部对资源的调度。 但目前未见过用户报类似的case,paddle下也未见相关issue,建议你先换台空闲机器或者调大最大线程数看是否可以稳定复现。 如果还不行,可以提供下可以复现的数据及脚本。
这个问题会在近期修复。
可以检查下ddparser是否是最新版本以及paddle的版本是否为2.0以上
ddparser1.0.6可以先使用paddle2.1.x版本,paddle2.2.x会在近期兼容。
`https://mail2sysueducn-my.sharepoint.com/personal/xuzn_mail2_sysu_edu_cn/_layouts/15/onedrive.aspx?id=%2Fpersonal%2Fxuzn%5Fmail2%5Fsysu%5Fedu%5Fcn%2FDocuments%2FSyntax%2DEnhanced%20Pre%2Dtraining%20Data&originalPath=aHR0cHM6Ly9tYWlsMnN5c3VlZHVjbi1teS5zaGFyZXBvaW50LmNvbS86ZjovZy9wZXJzb25hbC94dXpuX21haWwyX3N5c3VfZWR1X2NuL0VsckpzaUVieks5S2xSSW5vQmJtcjFvQnVDbVVkUlBWVGREdnlrMDVHTFB0Y3c%5FcnRpbWU9Z3N1WS1YRXkyVWc ` 能帮忙看下这个链接该如何解析么