A/B 테스트로 신청 페이지 비교하기는 기본 Python 함수를 작성하고 pandas로 행을 선택할 수 있는 학습자를 위한 실전 데이터 분석 프로젝트입니다. 지역 워크숍에는 신청 페이지 두 버전이 있습니다. 배정된 방문자를 공정하게 비교하고 작은 무작위 실험이 무엇을 뒷받침하고 무엇은 뒷받침하지 못하는지 보고합니다.
세 guided 실습에서 여섯 방문자 카드로 시작해 원시 이벤트를 사람당 하나의 7일 결과로 바꾸고, 집단 크기를 유지한 무작위 재배정을 탐색하며, 완전한 정확 배정 분포를 해석합니다. 독립 챌린지는 식별자, 집단 크기, 이벤트 순서가 다른 실험에 같은 규칙을 적용합니다. 모든 단원은 자체 준비된 데이터와 파일로 시작합니다.
학습 내용
코스를 마치면 다음을 할 수 있습니다.
- 이벤트 없는 사람을 포함한 모든 배정 방문자를 유지하고 안정적인 식별자로 기록을 연결합니다.
- 각 사람의 UTC 시간 창 안의 신청 이벤트만 사용하며 배정된 사람을 한 번씩 셉니다.
- 신청률을 B 빼기 A의 퍼센트포인트로 비교합니다.
- 두 집단 크기를 유지하며 재현 가능한 탐색용 재배정을 생성합니다.
- 등호를 포함하는 명시적 양측 p값 정의로 규모가 제한된 정확 순열 검정을 계산합니다.
- 승자를 강제하거나 증거 부족이 같음을 입증한다고 주장하지 않고 사전 선택한 기준과 관측 방향을 적용합니다.
- 실제 사람 표, 전체 분석, 관측 비교가 보이는 읽기 쉬운 횟수 그래프를 저장합니다.
추천 대상
A/B 비교의 분석 단위, 분모, 증거를 이해하려는 Python 및 데이터 분석 학습자를 위한 코스입니다.
선수 지식: 기본 터미널 탐색, Python 함수, 입문 pandas 선택, 기본 NumPy 배열, 입문 Matplotlib. 병합, UTC 시간 창, 고정 크기 재배정, 필요한 p값 정의는 코스에서 설명합니다. 통계적 추론 사전 지식은 필요하지 않습니다.
학습 환경: 각 단원은 Python, pandas, NumPy, SciPy, Matplotlib이 준비된 독립 브라우저 WebIDE를 제공합니다. 로컬 합성 CSV와 Python 파일로 작업하므로 직접 설치하거나 이전 단원의 VM 파일을 가져올 필요가 없습니다.
자주 묻는 질문
실제 A/B 테스트 서비스를 배포하나요?
아닙니다. 기록은 무작위 방문자 배정을 나타내는 직접 제작한 합성 교육 데이터입니다. 작은 고정 실험을 분석하며 실제 방문자를 추적하거나 웹사이트를 배포하거나 실제 사업 효과를 입증하지 않습니다.
시작 전에 p값을 알아야 하나요?
아닙니다. 카드와 수동 교환으로 먼저 사람 단위 비교를 이해합니다. 두 번째 실습은 표본 p값을 채점하지 않고 399회 무작위 재배정을 탐색합니다. 세 번째에서 정확 검정과 해석을 단계적으로 정의합니다.
B가 이기거나 결과가 유의해야 하나요?
아닙니다. 올바른 결과는 전체 배정 모집단, 선언한 검정, 미리 선택한 기준을 따릅니다. 증거는 어느 방향이든 지지하거나 부족할 수 있습니다. p값은 효과 없을 확률이 아니며 증거 부족은 페이지가 같다는 증명이 아닙니다.
챌린지는 guided 실습을 어떻게 확장하나요?
같은 배운 함수와 통계 규칙을 다른 배정에서 독립적으로 결합합니다. 변화는 식별자, 시간 창, 분모를 다시 확인하게 하지만 새로운 통계 방법을 도입하지 않습니다.
시간은 얼마나 필요한가요?
저자의 예상은 읽기와 일반 수정을 포함해 네 단원 총 215분입니다. 초보자 학습 시험으로 측정된 시간은 아닙니다.
