据说狗家19年4月以后，面试环节要增加一轮纯BQ了

Xavier · 12 August 2019 15:47

参考

A/B test遇到的问题及解决方法—读IT公司对A/B test最新paper Data Science

A/B test是data scientist面试当中一个重要的考察方向。虽然原理简单，但实际应用当中会有不少问题。13家科技公司多名工作人员就这一问题发表了最新paper。下面让我来试着总结一下。关于metric的制定需要一个OEC(OVERALL EVALUATION CRITERION) METRIC。制定统计量本来就不是个容易的事。比如 search vs. browsing 的评价标准就不一样，比如不同teams product goals 不一样，比如变化了标准怎么来检验，要不要用machine learning来制定，制定了怎么解释？ HTE(HETEROGENIETY IN TREATMENT EFFECTS) E[\tau | X] treatment effect与实验当中的其他变量并不独立，这样得出了在不同X上效果截然相反的情况。虽然现实当中不一定相反，但已经直接影响了实验的可靠性。这时我们可以对X的不同值做分别解析。例如根据 market/country, user activity level, device & platform, …