HyperGBM 如何写自定义评价函数，需要保证训练集和验证集的AUC差的最小，且验证AUC最好的。

如何写自定义评价函数，需要保证训练集和验证集的AUC差的最小，且验证AUC最好的。

Open cfkstat opened this issue 2 years ago • 5 comments

示例中的reward_metric的函数，好像只传了训练集的预测值和实际值？

Dec 28 '22 06:12 cfkstat

@cfkstat 这类需求需要使用多目标优化+自定义多个目标函数解决， HyperGBM的多目标优化正在研发中, 敬请期待。

Dec 28 '22 07:12 oaksharks

评价函数中，能把本轮迭代的模型当做参数传进去吗？

Dec 28 '22 07:12 cfkstat

自定义metric 请参考： https://hypergbm.readthedocs.io/en/latest/how_to/customize_reward_metric.html 目前自定义metric的入参里没有当前迭代的模型。

Dec 28 '22 08:12 oaksharks

我改了hypernet的评价函数，可以实现。如何获得每一轮迭代的模型结果和参数？

Dec 28 '22 09:12 cfkstat

“目前自定义metric的入参里没有当前迭代的模型。”

但是在模型训练完成后可以可以获取迭代历史模型：

hk = HyperGBM(...）
...
hk.history.trials  # get trials in iteration history 
hk.history.trials[0].model_file # get the model of trail

Dec 29 '22 04:12 oaksharks