用 A/B 测试比较报名页面

比较已分配访客而非点击,构建完整七天结果,并报告规模有界的精确置换证据,不强求赢家。

项目数据科学Python

💡 本教程由 AI 辅助翻译自英文原版。如需查看原文,您可以 切换至英文原版

简介

用 A/B 测试比较报名页面是一门面向能够编写基础 Python 函数、用 pandas 选择行的学习者的数据分析项目课。社区工作坊有两版报名页面。你的任务是公平比较被分配的访客,并报告一个小型随机实验能支持什么、不能支持什么。

三个引导实验逐步建立流程:从六张访客卡开始,把原始事件转为每人一个七天结果,探索保持组人数的随机重分配,再解读完整的精确分配分布。一个独立挑战将相同规则应用到身份、组人数和事件顺序不同的另一场实验。每个单元都有独立准备的数据与文件。

你将学到什么

完成课程后,你将能够:

  • 保留所有已分配访客,包括没有事件的人,并用稳定身份关联记录;
  • 只保留每人 UTC 时间窗口内的报名事件,每个已分配的人只计一次;
  • 用百分点计算 B 减 A 的报名率差;
  • 在生成可复现的探索性重分配时保留两组人数;
  • 计算有明确包含等号的双侧 p 值定义、规模有界的精确置换检验;
  • 按预先选定阈值和观察方向解释结果,不强求赢家,也不声称证据不足证明相同;
  • 保存真实人员表、完整分析,以及带有可见观察比较标记的可读计数图。

本课程适合谁

本课程适合希望理解 A/B 比较背后的分析单位、分母与证据的 Python 和数据分析学习者。

前置知识:基础终端导航、Python 函数、入门 pandas 选择、基础 NumPy 数组和入门 Matplotlib。课程会解释关联、UTC 窗口、固定组人数重分配及所需的 p 值定义,无需统计推断基础。

学习环境:每个单元提供独立的浏览器 WebIDE,已准备 Python、pandas、NumPy、SciPy 和 Matplotlib。你使用本地合成 CSV 记录和 Python 文件,无需本机安装,也不依赖上一单元的 VM 文件。

常见问题

我会部署真实的 A/B 测试服务吗?

不会。记录是代表随机访客分配的原创合成教学数据。你分析一个小型固定实验,不追踪真实访客、不部署网站,也不确立实际业务效果。

开始前需要懂 p 值吗?

不需要。访客卡和手动交换会先建立人级比较的直觉。第二个引导实验探索 399 次随机重分配,不评分抽样 p 值。第三个实验再逐步定义精确检验及其解读。

B 页面必须获胜或结果必须显著吗?

不必。正确结果遵循完整分配人群、声明的检验和预选阈值。证据可能支持任一方向,也可能不足。p 值不是无效应概率,证据不足也不能证明页面相同。

挑战如何延伸引导实验?

你要在另一份分配上独立组合已教函数和统计约定。变化要求重新核对身份、窗口和分母,并未引入新统计方法。

应安排多久?

四个单元的作者估计合计 215 分钟,包含阅读和普通错误修正。这个估计尚未经过初学者试学计时。

教师

labby
Labby
Labby is the LabEx teacher.

为您推荐

no data