用 A/B 测试比较报名页面是一门面向能够编写基础 Python 函数、用 pandas 选择行的学习者的数据分析项目课。社区工作坊有两版报名页面。你的任务是公平比较被分配的访客,并报告一个小型随机实验能支持什么、不能支持什么。
三个引导实验逐步建立流程:从六张访客卡开始,把原始事件转为每人一个七天结果,探索保持组人数的随机重分配,再解读完整的精确分配分布。一个独立挑战将相同规则应用到身份、组人数和事件顺序不同的另一场实验。每个单元都有独立准备的数据与文件。
你将学到什么
完成课程后,你将能够:
- 保留所有已分配访客,包括没有事件的人,并用稳定身份关联记录;
- 只保留每人 UTC 时间窗口内的报名事件,每个已分配的人只计一次;
- 用百分点计算 B 减 A 的报名率差;
- 在生成可复现的探索性重分配时保留两组人数;
- 计算有明确包含等号的双侧 p 值定义、规模有界的精确置换检验;
- 按预先选定阈值和观察方向解释结果,不强求赢家,也不声称证据不足证明相同;
- 保存真实人员表、完整分析,以及带有可见观察比较标记的可读计数图。
本课程适合谁
本课程适合希望理解 A/B 比较背后的分析单位、分母与证据的 Python 和数据分析学习者。
前置知识:基础终端导航、Python 函数、入门 pandas 选择、基础 NumPy 数组和入门 Matplotlib。课程会解释关联、UTC 窗口、固定组人数重分配及所需的 p 值定义,无需统计推断基础。
学习环境:每个单元提供独立的浏览器 WebIDE,已准备 Python、pandas、NumPy、SciPy 和 Matplotlib。你使用本地合成 CSV 记录和 Python 文件,无需本机安装,也不依赖上一单元的 VM 文件。
常见问题
我会部署真实的 A/B 测试服务吗?
不会。记录是代表随机访客分配的原创合成教学数据。你分析一个小型固定实验,不追踪真实访客、不部署网站,也不确立实际业务效果。
开始前需要懂 p 值吗?
不需要。访客卡和手动交换会先建立人级比较的直觉。第二个引导实验探索 399 次随机重分配,不评分抽样 p 值。第三个实验再逐步定义精确检验及其解读。
B 页面必须获胜或结果必须显著吗?
不必。正确结果遵循完整分配人群、声明的检验和预选阈值。证据可能支持任一方向,也可能不足。p 值不是无效应概率,证据不足也不能证明页面相同。
挑战如何延伸引导实验?
你要在另一份分配上独立组合已教函数和统计约定。变化要求重新核对身份、窗口和分母,并未引入新统计方法。
应安排多久?
四个单元的作者估计合计 215 分钟,包含阅读和普通错误修正。这个估计尚未经过初学者试学计时。

