Rasa_NLU_Chi
Rasa_NLU_Chi copied to clipboard
crownpku
模型训练速度问题
最近在用rasa nlu做中文意图识别和实体抽取，自己按照示例样本构建了少量样本，约1000多条。其中4个意图，10种实体，训练时间达到16小时.....如果大规模的样本训练的话，这个时间成本太高了，想问下如何加速模型训练呢，在官方文档中也没有找到相关的内容
我也有这个问题，rasa里实体提取和意图分类是分开的，实体越多训练时间就会越长，而且会很耗内存。官网只有一个开多线程的配置，试了下作用不大呢。
请问怎样才能够把机器的资源利用起来跑模型呢，我这边跑模型的时候机器的cpu利用率都很低，然后模型跑得很慢诶（有很好的配置，但是不知道怎么让模型跑得快一些）
你好，请问找到原因了吗？我目前遇到的问题也是，50条，训练要4个小时！
这个是MITIE本身的问题，目前么有解决方法。可以看下这个解释： https://github.com/mit-nlp/MITIE/issues/11#issuecomment-76982370,
你好！我也没有找到本质上解决这个问题的办法，最后只是在模型的rasa_nlu/train.py中把默认的线程数 改的很大（管它多少，把threads改成1000就完事了），然后用一个比较不错的机器去跑，最后才勉强比原来的速度快了十倍。 ------------------ 原始邮件 ------------------ 发件人: "libindavis"[email protected]; 发送时间: 2019年8月8日(星期四) 凌晨0:11 收件人: "crownpku/Rasa_NLU_Chi"[email protected]; 抄送: "Loren"[email protected];"Comment"[email protected]; 主题: Re: [crownpku/Rasa_NLU_Chi] 模型训练速度问题 (#71)
你好，请问找到原因了吗？我目前遇到的问题也是，50条，训练要4个小时！
这个是MITIE本身的问题，目前么有解决方法。可以看下这个解释： mit-nlp/MITIE#11 (comment),
— You are receiving this because you commented. Reply to this email directly, view it on GitHub, or mute the thread.
