TrafficStream icon indicating copy to clipboard operation
TrafficStream copied to clipboard

EWC的训练

Open xiaobingbuhuitou opened this issue 2 years ago • 2 comments

大佬请问一下您这边使用ewc进行训练的时候第一个任务是没有使用ewc的么,就是训练一个基础模型。然后后面的任务才使用ewc进行约束了?还是说先进行训练第一个任务的基础模型然后这个模型再用ewc训练了一次。。(可能是我代码没理解好)

xiaobingbuhuitou avatar Jul 14 '22 01:07 xiaobingbuhuitou

感谢关注.

第一个任务(即第一年)对应的模型是没用 EWC 训练的, EWC 设计和使用的初衷是图上有动态(结构或节点流模式),因此在第一年的模型学习中不考虑 EWC 的使用.

希望解答您的问题.

AprLie avatar Jul 14 '22 09:07 AprLie

大佬,我还想请教您一个问题,就是您这边后面任务(后面的年份)使用ewc的时候是如何计算ewc约束的,就是ewc不是要求出之前任务的参数重要度么,您是直接使用当前任务的训练数据集来计算这个模型对于前一个任务的参数重要度的么?我看这边的ewc_dataloader是当前的么。。 非常感谢了。

xiaobingbuhuitou avatar Jul 14 '22 11:07 xiaobingbuhuitou