关于fine-tune的咨询

[whyoneisall]

您好， 我想确认一点的是，您开发的这个模型是暂时没有fine-tune功能的？（亦或者我没有太认真看代码？） 如果没有，那我就在您基础上尝试看能不能写一个出来吧~谢谢大佬！

[Oneplus]

您好，您指的是training elmo；还是在downstream task里tune embedding呢？

如果是在downstream task中tune embedding，您可以使用编程接口中把model.eval()关掉。

[whyoneisall]

您好，是training elmo的时候我们想使用fine-tune功能； 另外麻烦问您一下，我们训练语料的时候，想用多显卡进行训练，然后发现
python -m elmoformanylangs.biLM train --gpu 里只能支持一个显卡，是否有方法支持多个显卡呢？ 谢谢大佬了！

[Oneplus]

training elmo使用fine-tune

这个不是特别懂要做什么，能再解释一下吗？

只能支持一个显卡

多卡用pytorch的torch.nn.DataParallel是可以实现的。你可以尝试改一下代码。

[whyoneisall]

对于第一个，不好意思没解释清楚~ 就是我们自己的语料是医疗方面的语料，而且十分零散，一来，我们是想用您已经训练好了的模型上再加上自己的语料进行训练（因为我们自己训练出来的模型在专业领域上很好，但是在人名等常识方面就不如您的模型了），二来，是想随时有新的语料更新进来能够再次训练模型； 非常感谢大佬指教~ PS：能和大佬交流真的好兴奋~

[Oneplus]

有新的语料更新进来能够再次训练模型

我们现在的training代码好像没有load model的部分，不过应该只要把testing的部分的load model代码拷贝过来，加一个load model的接口应该就可以了。