楼主之前拿到了一份take home,由于里面数据涉及到公司的某些信息,在这里就不多说了,主要是请指导和分析挂的原因。
take home一共三个部分,第一部分probability,第二部分SQL,第三部分AB testing分析
个人感觉第一二部分还是比较简单的,应该不会是挂的原因,现在主要来说说DA这个部分。
问题设定是,ads组的盈利方式是,广告客户(投广告的人)会先给我们他们的budget,然后我们给他们投广告,假设投放量1000,点击量100,每点击一次收0.1,那么收益就是10。如果客户的budget是5,那么我们就只能收5,而浪费另外5的投放空间了。比如在这个设定里,我们其实只用投500次广告就可以match客户的budget了,不需要投1000次那么多,这就造成了浪费。
现在,我们AB test了新product给广告客,希望能减少这种浪费,问题是:
-
新product可以有效减少浪费吗?
楼主新做了一个feature,用理想收益/budget = 浪费率,浪费率越大,问题越大。
然后用two sample t test,然后看浪费率对比,解释结果 -
有效性和客户的size(大中小型公司)有关系吗?
分了不同的size,分别作two sample t test,然后解释结果 -
PM疑虑会不会treatment group广告商看到是新product,所以会刻意缩减budget,怎么判断存不存在这种情况?
沿用上面的思路,分别做了overall和不同size广告商的budget在AB组的two sample t test,然后解释结果
不知道是不是方法用得不对,全程楼主都有check assumptio什么的,然后根据assumption去设置test里面的参数,最后解释结果。HR没给feedback,所以请各位指导一下。