A/B Test Agent’ı — Getir Fikir #073

Fikir

Problem → Çözüm

Problem

Ürün ekipleri her ay onlarca deney açıyor ama deney tasarımı ve analizi veri bilimcilere bağımlı. Yetersiz örneklemle erken kapatılan testler, peeking ve yanlış metrik seçimi yüzünden “kazanan” sanılan değişiklikler production’da etkisiz çıkıyor.

Çözüm

A/B Test Agent’ı; hipotezden birincil/koruyucu metrikleri seçer, geçmiş varyanstan güç analizi ile örneklem büyüklüğünü ve süreyi hesaplar, deneyi platformda kurar, SRM ve koruyucu metrikleri izler ve sonunda istatistiksel olarak doğru bir sonuç raporu yazar. Tüm hesaplar sandbox’ta çalışan gerçek kodla yapılır.

Ürün

Temel özellikler

1Tasarım asistanıHipotez → birincil metrik, koruyucu metrikler, hedef MDE.

2Güç analiziGeçmiş varyans ve CUPED ile gerçekçi örneklem ve süre.

3Sürekli izlemeSRM, koruyucu metrik ihlali ve sequential test ile güvenli erken durdurma.

4Otomatik readoutSonuç, güven aralığı, segment analizi ve karar önerisi içeren rapor.

AI katmanı

Yapay zeka nerede devreye giriyor?

LangGraph agent’ı planlar ve yazar, istatistik ise E2B sandbox’ında çalışan Python’a (statsmodels, scipy) bırakılır; LLM hiçbir p-değerini kendisi üretmez.

Claude Sonnet planlayıcı: hipotezden metrik seçimi (metrik kataloğu RAG’i) ve deney konfigürasyonu, Pydantic şemalı
Sandboxed code execution (E2B): güç analizi, CUPED varyans azaltma, mSPRT sequential test, SRM χ² testi
Readout eval: 60 geçmiş deneyde veri bilimci kararıyla uyum %92; yanlış “kazanan” ilanı 0 (guardrail: CI sıfırı kesiyorsa “sonuçsuz”)

Mimari

Nasıl çalışır?

Deney UINext.js • hipotez girişi

Experiment AgentLangGraph • plan & yaz

Kod SandboxE2B • statsmodels/scipy

Deney PlatformuGrowthBook API • flag’ler

Metrik DeposuSnowflake + dbt metrikleri

Teknoloji

Stack

Arayüz

Next.jsTailwindPlotly

Backend

Python 3.12FastAPITemporal

AI / ML

Claude SonnetLangGraphE2B sandboxstatsmodels

Veri

SnowflakedbtPostgreSQL

Altyapı & DevOps

GrowthBookKubernetes (EKS)Langfuse

Go-to-market

Pazarlama & lansman

“Deney kültürü” ayıHer ürün ekibi agent ile en az 2 deney açar; en iyi öğrenim paylaşılır.

Readout kütüphanesiTüm deney raporları aranabilir arşivde, “bunu daha önce denedik mi?” sorusuna cevap.

Veri bilimci ofis saatleriAgent’ın emin olmadığı tasarımlar haftalık ofis saatine otomatik eklenir.

Ölçüm

Başarı metrikleri (hedef)

3×aylık tamamlanan deney sayısı

%92veri bilimci kararıyla uyum

-%80deney tasarım süresi

Teslimat

MVP yol haritası

Hafta 1-2Metrik kataloğu + sandboxdbt metrik tanımları RAG’e, E2B’de istatistik fonksiyonları.

Hafta 3-4Tasarım + kurulumHipotezden güç analizine ve GrowthBook’ta otomatik kuruluma.

Hafta 5-8İzleme + readoutSRM/koruyucu alarmları, sequential test ve otomatik rapor; 60 deneyle eval.

Fİ

Fatih İnci — Full Stack Software Engineer

Bir fikri production’a taşırken ilk sorum şu: ölçülebilir mi ve mevcut sistemi bozmadan nasıl açılır? Yaklaşık 4 yıl, ayda yüz milyonlarca CDN isteği alan bir embed script üzerinde çalıştım. Kademeli geçiş ve gerçek test kapsamı benim için vazgeçilmez. Remote çalışmaya hazırım.