byzer-lang icon indicating copy to clipboard operation
byzer-lang copied to clipboard

算法训练阶段全流程版本化

Open allwefantasy opened this issue 4 years ago • 0 comments

在MLSQL中,我们希望数据,算法参数,模型,以及最后效果都可以版本化,从而保证任何一次实验都可重复。一般通过一些辅助系统,我们通常可以较为方便的做到算法参数以及模型效果的保存,从而对实验具有的一定管理能力。但是随着数据的实时性越来越好,这意味着数据变化的可能性越来越高。我们需要随时能够知道我们使用什么算法,在什么参数条件下,对什么数据进行训练,最后得到什么效果。

通过数据湖的time traval功能,我们只要将实验版本号记录起来,就可以随时回滚到某个实验版本中,从而避免手动管理大量实验数据的版本。

allwefantasy avatar Apr 27 '20 07:04 allwefantasy