最近在准备申请Analytics方向的Data Scientist, 因此开始学习和准备AB test。感觉目前网上与AB test有关的信息很多,但有系统性的不是很多。我到目前为止的准备包括以下这些材料,新年第一天和大家分享一下,希望大家新年一切顺利,都有好运气!
1. Udacity A/B Testing
这门课总体来说还是不错的,有很多朋友推荐。课程是Google的软件工程师做的,应该也是目前市面上不多的系统性介绍AB test基础的课程,我大概花了五天时间学了一下。
课程特点是很侧重实践应用,所以如果之前没有学过假设检验或者学过太久有些生疏的
朋友,建议上这门课之前自己先把假设检验的理论学习或者复习一下。另外这门课有大量访谈形式的sessions讲述AB test的一些topic,很多时候讲的非常high level难以理解,也不提供讲义或者讲稿,有时候会有一种纸上谈兵的感觉。强烈建议学习的时候做一些笔记,方便日后复习查阅。除了访谈的sessions会有很多具体实例sessions,我觉得这些sessions是最有帮助的,instructor会总结访谈中的key points然后举例说明。如果访谈章节理解有困难,不妨先跳到紧随其后example或者quiz sessions,可能会比较有帮助。
我upload了自己的学习笔记,其中包括我自己的notes + script + 一些screenshot for examples供大家参考。注意Udacity还有另外一门AB testing for business analytics。那门课感觉不是很适用于IT公司所做的AB testing, 之前也没有很多人推荐,大家注意区分。
Notes for Udacity AB Test Course-docx.zip (8.3 MB)
2. Bittiger的AB testing课程PPT
感觉是很好的辅助材料,很系统,cover了假设检验的理论基础,以及比较全面的AB testing过程和一些必要的理论常识 (比如计算sample size的公式)。PPT我也上传了,可惜没有找到课程的视频。Bittiger已经关门了,所以不知道有什么办法可以学到这门课,如果有相关资源的朋友也麻烦分享告知一下。
Bittiger AB Test课件.pdf (1.8 MB)
3. 书籍
之前在amazon上搜了一下,感觉没有特别吸引我的关于AB test的书。Udacity的AB test课程的作者今年3月份会出一本书,感觉可能会不错,可以期待一下,以下是书名: Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing。Amazon上可以找到,作者之一的Diane Tang是Udacity那门课的一个主讲师。
4. Blogs
网上也有很多关于AB test的blogs, 大多是现职从业人员根据自己的实践经验撰写的,各个topics都有,google很容易搜索到,大家有兴趣也可以搜来看看作为查缺补漏。
大概目前心得就是这些,欢迎大家一起讨论分享。新年快乐!