如何衡量推荐策略之间的互相影响作用？

[cathyxlyl]

在推荐或广告的业务中，我们经常采取以下方式选出最终的item：

1. 召回：根据一定的规则，如query/user和item的相关性，得到一个item的候选集；
2. 打分&排序：对item进行打分并排序；
3. 策略：人为制定一些策略，对item进行过滤或调整排序队列，并将最终排序队列的TopN作为推荐结果。

问题：假设我们上了一个新策略，或对item的打分公式做了调整，如果衡量新的策略和已有的策略是否存在冲突或可能互相之间有影响？

[AlanHand]

    这个问题和我们的风控规则引擎和风控模型有点像,我们的处理方式是在既有的分控规则引擎上跑出结果 , 然后在加上风控模型再一次跑出结果,然后统计这两个结果的数据进行比较,若是结果差异不大 , 
    说明这个模型可有可无,若是结果差异大我们在对有差异的数据进行人工评判,人工评判出来的结果在与之前的数据做比较,然后在调整 .  这就有点像做机器学习模型的参数调优一样.