Jackson.zhang

train students 的时候是否需要固定teacher的参数？

1

看代码，好像没有固定呢？ https://github.com/BitVoyage/FastBERT 这个实现里面是固定的。

task_question_answer_generation_by_seq2seq.py 修改成多gpu报错

1

提问时请尽可能提供如下信息： ### 基本信息 - 你使用的**操作系统**: linux - 你使用的**Python**版本: 3.7 - 你使用的**Tensorflow**版本: 1.14.0 - 你使用的**Keras**版本: 2.3.1 - 你使用的**bert4keras**版本: 0.10.4 - 你使用纯**keras**还是**tf.keras**: tf.keras - 你加载的**预训练模型**:chinese_L-12_H-768_A-12 ### 核心代码 ```python # 请在此处贴上你的核心代码。 # 请尽量只保留关键部分，不要无脑贴全部代码。...

[Question] 如何基于MoE模型，在自己的数据上进一步微调呢？

3

### Question 如何基于MoE模型，在自己的数据上进一步微调呢？

[Question] 第二阶段微调的模型会开源吗？

1

### Question _No response_