网飞 Senior DS 面经 + 讨论

Job Hunting Interview
, ,
1

这个岗位很强调AB Testing 感觉想招一位 强统计背景+强AB TESTING 经验的人

hiring manager 全程围绕ab testing问问题

  1. tell me about yor ab testing experiences (Lz 讲了工作中的一个例子）

  2. netflix想通过ab testing测试哪个marketing campaign有更高的conversion rate, 这时因为用户的点击率非常低 （e.g. 1/100000 vs 0) 所以effect size非常小, 导致statistical test的power非常小，问这个统计检验还make sense吗？有什么办法可以解决这个问题吗？

lz答可以提高sample size，面试官表示不满意说我们sample size是够的，只是用户的点击率很低
答可以adjust statistical test但没答出来具体用什么办法，面试官表示方向是对的

这个问题答不上来感觉面试官就没什么兴趣了…………希望有abtesting经验的同学们可以分享一下关于这道题的思路！感谢~

2

我也不懂，我的初步想法是转化率低是由于分母太大了[P(conversion|campaign) ~= 0]所以检验结果会很不好。在你面前只能拿到这么样小的conversion个数（不许增加sample size）的时候，只能把conversion的定义在这个条件下稍微修改，比如把分母从收到了campaign的人，换成在这个页面停留15秒钟以上/反复scroll的人，重新定义转化成功，再去test

3

我也想不出来 感觉这个像贝叶斯学派的知识点？

4

我不懂的，随便说说啊。第二题似乎不是考什么技术，而是考你面对这种数据知识无解的极端情况？试想从真实应用的角度来看哪个功能有这么低的转化率？我是很想建议做一些功能上的改动，各种功能改动都去试试看，能不能改进转化率，或者干脆就认为和转化相关的功能出错了，用户根本就没可能被转化？

5

充分同意whatdoor同学的解法，另外个人认为分母变小以后可以尝试使用fisher’'s exact test，相对较小sample size而言可能更合适些。