Prompt Eval Studio — Getir Fikir #068

Fikir

Problem → Çözüm

Problem

Getir’de 20’den fazla LLM özelliği var ve prompt değişiklikleri “birkaç örnekte denedim, iyi görünüyor” ile production’a çıkıyor. Model sürümü değiştiğinde destek agent’ının iade kararları sessizce bozulabiliyor; kalite, maliyet ve latency’yi tek yerden izleyen bir sistem yok.

Çözüm

Prompt Eval Studio; sürümlenmiş prompt’lar, özellik başına golden set’ler, otomatik metrikler ve kalibre edilmiş LLM-as-judge değerlendiricileri sunar. Her PR’da eval koşar, eşik altına düşen metrik merge’ü bloklar; production trace’lerinden örneklenen konuşmalar sürekli olarak puanlanır ve yeni golden örneklere dönüşür.

Ürün

Temel özellikler

1Golden set yönetimiÖzellik başına etiketli örnekler, production trace’ten tek tıkla ekleme.

2LLM-as-judgeRubrik tabanlı hakemler, insan etiketiyle kalibrasyon (Cohen’s κ).

3CI regression gateGitHub Actions’ta eval; metrik düşerse PR bloklanır.

4Maliyet & latencyPrompt/model sürümü bazında TL/1k istek, p50/p95 latency ve token.

AI katmanı

Yapay zeka nerede devreye giriyor?

Değerlendirme katmanı deterministik metrikler, RAG metrikleri ve kalibre LLM hakemlerini birleştirir; production’da online eval sürekli örnekleme ile çalışır.

Metrikler: exact match / JSON şema geçerliliği, tool-call doğruluğu, Ragas (faithfulness, context precision), rubrik tabanlı LLM-as-judge (Claude Sonnet)
Hakem kalibrasyonu: 300 insan etiketli örnekte κ ≥ 0,75 olmayan hakem kullanılamaz; pozisyon yanlılığı için çift sıralı pairwise karşılaştırma
Online eval: Langfuse trace’lerinden %2 örnekleme, düşük puanlı vakalar insan inceleme kuyruğuna ve golden set adayına

Mimari

Nasıl çalışır?

Studio UINext.js • karşılaştırma & diff

Eval RunnerFastAPI + Celery • paralel koşum

HakemlerLLM-as-judge + Ragas

CI EntegrasyonuGitHub Actions • gate

Trace DeposuLangfuse + ClickHouse

Teknoloji

Stack

Arayüz

Next.jsTailwindMonaco Editor

Backend

Python 3.12FastAPICelerypytest

AI / ML

Claude Sonnet (judge)RagasDeepEvalLangfuse

Veri

PostgreSQLClickHouseS3

Altyapı & DevOps

GitHub ActionsKubernetes (EKS)AWS Bedrock

Go-to-market

Pazarlama & lansman

“Eval yoksa deploy yok” kuralıAI özelliklerinin production checklist’ine golden set zorunluluğu eklenir.

Haftalık kalite raporuTüm LLM özelliklerinin kalite/maliyet trendi engineering kanalına düşer.

Etiketleme sprint’iÜrün ve destek ekipleriyle iki haftada bir 1 saatlik golden set etiketleme oturumu.

Ölçüm

Başarı metrikleri (hedef)

0eval’siz production prompt değişikliği

14çeyrekte yakalanan regression

-%34LLM maliyeti (ucuz model geçiş kanıtı)

Teslimat

MVP yol haritası

Hafta 1-2Golden set + runnerDestek ve Ops Copilot için 400’er örnek, paralel eval runner.

Hafta 3-4Hakem + CI gateKalibre LLM hakemleri, GitHub Actions regression kapısı.

Hafta 5-8Online evalProduction trace örnekleme, drift alarmları ve maliyet panosu.

Fİ

Fatih İnci — Full Stack Software Engineer

Bir fikri production’a taşırken ilk sorum şu: ölçülebilir mi ve mevcut sistemi bozmadan nasıl açılır? Yaklaşık 4 yıl, ayda yüz milyonlarca CDN isteği alan bir embed script üzerinde çalıştım. Kademeli geçiş ve gerçek test kapsamı benim için vazgeçilmez. Remote çalışmaya hazırım.