take home挂经,求指导原因

楼主之前拿到了一份take home,由于里面数据涉及到公司的某些信息,在这里就不多说了,主要是请指导和分析挂的原因。

take home一共三个部分,第一部分probability,第二部分SQL,第三部分AB testing分析

个人感觉第一二部分还是比较简单的,应该不会是挂的原因,现在主要来说说DA这个部分。

问题设定是,ads组的盈利方式是,广告客户(投广告的人)会先给我们他们的budget,然后我们给他们投广告,假设投放量1000,点击量100,每点击一次收0.1,那么收益就是10。如果客户的budget是5,那么我们就只能收5,而浪费另外5的投放空间了。比如在这个设定里,我们其实只用投500次广告就可以match客户的budget了,不需要投1000次那么多,这就造成了浪费。

现在,我们AB test了新product给广告客,希望能减少这种浪费,问题是:

  1. 新product可以有效减少浪费吗?
    楼主新做了一个feature,用理想收益/budget = 浪费率,浪费率越大,问题越大。
    然后用two sample t test,然后看浪费率对比,解释结果

  2. 有效性和客户的size(大中小型公司)有关系吗?
    分了不同的size,分别作two sample t test,然后解释结果

  3. PM疑虑会不会treatment group广告商看到是新product,所以会刻意缩减budget,怎么判断存不存在这种情况?
    沿用上面的思路,分别做了overall和不同size广告商的budget在AB组的two sample t test,然后解释结果

不知道是不是方法用得不对,全程楼主都有check assumptio什么的,然后根据assumption去设置test里面的参数,最后解释结果。HR没给feedback,所以请各位指导一下。

最后一提请问你用什么分析?r or python? 我的思路是提高CTR,提高ads精确度,比如说以前的ads内容不太精确,没有吸引力,经过这次改进,并正对target customers投放,测量点击率是否提高。做a/B testing?? 不知道这样的思路对不?

如果是比较浪费率proportion的话不是应该用z test么
还一个可能是这个公司想要的答案是用理想收益-budget当做metric然用t test
其他几问我的想法跟你是一样的

感觉你这个 metric 乱乱的啊 而且什么都用t 肯定不对啊 你这个浪费率 明显不满足t test 假设啊

  1. 我觉得你的浪费率有一定道理。但是要用t test的话,要分别求两产品average浪费率across users.这样才符合t test的setting. 但是我觉得问题是在于错误估计点击量。
  2. chi squared test.
  3. 这个我觉得你做的有道理。就是比average budget difference.