A/B テストで登録ページを比較するは、基本的な Python 関数を書き、pandas で行を選択できる学習者向けの実践データ分析プロジェクトです。地域のワークショップには 2 つの登録ページがあります。割り当てられた訪問者を公平に比較し、小さなランダム化実験が何を支持し、何を支持しないかを報告します。
3 つの guided ラボで、6 枚のカードから始め、生のイベントを各人 1 つの 7 日間の結果に変換し、人数を固定したランダム再割り当てを調べ、完全な厳密割り当て分布を解釈します。独立チャレンジでは、識別子、群人数、イベント順が異なる別の実験に同じ規則を適用します。各単元には独立したデータとファイルが用意されています。
学習内容
修了すると、次のことができます。
- イベントのない人も含めて割り当てられた全訪問者を残し、安定した識別子で記録を対応付ける。
- 各人の UTC 時間枠内の登録イベントだけを使い、割り当てられた各人を 1 回数える。
- B 引く A の登録率の差をパーセントポイントで比較する。
- 両群の人数を保ち、再現可能な探索的再割り当てを生成する。
- 等号を含む明示的な両側 p 値の定義に従い、規模を限定した厳密置換検定を計算する。
- 勝者を強制したり証拠不足を同一性の証明としたりせず、事前に選んだ閾値と観測方向を適用する。
- 実際の個人表、完全な分析、観測比較を見える形で示す読みやすい度数グラフを保存する。
このコースの対象者
A/B 比較の分析単位、分母、証拠を理解したい Python・データ分析の学習者が対象です。
前提知識：基本的なターミナル操作、Python 関数、初歩の pandas 選択、基本的な NumPy 配列、入門レベルの Matplotlib。結合、UTC 時間枠、人数固定の再割り当て、必要な p 値の定義はコースで説明します。統計的推論の予備知識は不要です。
学習環境：各単元に、Python、pandas、NumPy、SciPy、Matplotlib が準備された独立したブラウザの WebIDE があります。ローカルの合成 CSV と Python ファイルを使うため、手元へのインストールも前の VM のファイルも不要です。
よくある質問
実際の A/B テストサービスを配備しますか？
いいえ。記録はランダムな訪問者割り当てを表す教材独自の合成データです。小さな固定実験を分析するもので、実際の訪問者追跡、ウェブサイト配備、実事業の効果の確立は行いません。
開始前に p 値を知る必要がありますか？
ありません。カードと手作業の交換で、まず個人単位の比較を理解します。2 つ目のラボでは標本 p 値を採点せず 399 回のランダム再割り当てを探索します。3 つ目で厳密検定と解釈を順に定義します。
B が勝つか、結果が有意になる必要はありますか？
ありません。正しい結果は、割り当て集団全体、宣言した検定、事前の閾値に従います。証拠はどちらの方向も支持し得て、不十分な場合もあります。p 値は効果がない確率ではなく、証拠不足はページの同一性を証明しません。
チャレンジは guided ラボをどう発展させますか？
同じ既習関数と統計規約を、別の割り当てで独立に組み合わせます。識別子、時間枠、分母の再確認が必要ですが、新しい統計手法は導入しません。
どのくらい時間が必要ですか？
著者の見積もりでは、読解と一般的な修正を含め 4 単元合計 215 分です。初心者による試学で測定された時間ではありません。
