AI Engineering for Production
Eval, observability, guardrails ve maliyet kontrolüyle LLM sistemlerini production'a taşıma ve işletme disiplini. Bu sayfa herkese açıktır — incelemek için giriş gerekmez.
6
AŞAMA
39
MICRO DERS
18
PRATİK PROJE
≈ 39–51 saat
SÜRE
yenigüncellendiyeni aşama
◆ Micro dersler◆ Aşama çıktısı
1.1
Demo'dan production'a: eşik neden yüksek?
Neden çoğu agent demo'da kalır: silent failure, ölçüsüz kalite, sınırsız otonomi, kontrolsüz maliyet. Kursun okuma anahtarı (production harness) ve turnuva evreninin ilanı: "oyunu yapmıştın; şimdi onu işleteceksin." Köprü callout'u: iki kurstan varsayılan bilgi haritası.
1.2
Kurulum ve arena
Repo fork, docker compose ile platformun ayağa kalkması, API key + spend limit, Python ortamı, smoke test: platforma ilk REST çağrısı. Fixture mekanizmasının (canlı↔kayıtlı koşu) tanıtımı.
1.3
Model seçimi: production kriterleri
Haiku/Sonnet/Opus ailesi; zekâ-hız-maliyet üçgeni; görev→model eşleme çerçevesi; model string yönetimi (alias vs pinned) ve sürüm disiplini. Agentic AI 1.7'deki karar çerçevesinin Claude'a özelleşmiş, production-disiplinli hali.
1.4
Agent SDK anatomisi
Claude Agent SDK mimarisi: query/client, session, built-in tool'lar, permission modeli; "SDK, Claude Code'un motoru" ilişkisi; Python API turu. TS karşılaştırma bloğu burada (kursun tek TS callout'u).
1.5
Loop control harness'i
Agent SDK managed loop'unun kontrol yüzeyleri: max_turns, max_budget_usd, uygulama katmanında süre sınırı ve interrupt ile iptal, ResultMessage sonuç tipleri; Messages API'nin stop_reason-driven manuel loop'uyla karşılaştırma.
1.6
Custom tools ve permissions
SDK'da custom tool tanımı, input şeması, structured tool results; permission yönetimi ve tool erişim kısıtları; platform API'sini tool'laştırma (henüz MCP'siz — MCP'ye Aşama 3'te geçilecek sözü verilir).
1.7
◆ Pratik uygulamalarOyuncu agent doğar
Sentez dersi: model seçimi + SDK loop + custom tool'larla platformda gerçek bir maç oynayan oyuncu agent'ın uçtan uca kuruluşu; ilk çalıştırma ve loop günlüğünün okunması.
İlk maçbireysel
Oyuncu agent'ı ayağa kaldır, bir maç oynat; koşu günlüğünü ve sonuç özetini çıkarıp yorumla. Derin görev: koşuyu bilerek bir sınıra çarptır (ör. max_turns) ve davranışı raporla.
Model seçim raporubireysel
Aynı görevi üç modelle koştur; kalite-hız-maliyet tablosu ve gerekçeli seçim üret. Derin görev: seçimini bir hedef değişikliğinde (latency vs kalite) yeniden savun.
Loop korumalarıbireysel
Iterasyon, timeout ve maliyet tavanını loop'a ekle; korumaları bilerek tetikleyip kanıtla. Derin görev: koruma eşiklerini ölçümle kalibre et.
Minimum Viable Skill: Agent SDK'nın managed loop'unu max_turns, koşu bütçesi, süre ve iptal sınırlarıyla yönetir · görev→model eşlemesini kalite-hız-maliyet gerekçesiyle savunur · custom tool tanımlayıp permission'larını kısıtlar · loop'a iterasyon/timeout/maliyet koruması ekler · agent'ın bir koşusunu günlükten okuyup anlatır. — Kavramsal kazanım: "Production'a giden yol daha zeki model değil, sınırları sahiplenilmiş bir loop'tur."
◆ Micro dersler◆ Aşama çıktısı
2.1
Production context stratejisi
Uzun yaşayan agent'ta context'in kaderi: ne birikir, ne şişer, model neyi "iyi okur"; bilgi yerleşimi (facts-up-front) ilkeleri. CCM Aşama 2'deki kullanıcı-düzeyi context bilgisinin API/SDK düzeyine taşınması.
2.2
Tool output pruning ve fact block
Verbose tool çıktısını budama, kalıcı "case facts" bloğu tutma, çözülen konuşmaları token bütçesiyle sıkıştırma; oyuncu agent'ın maç geçmişi üzerinde uygulama.
2.3
Prompt caching production'da
Cache breakpoint'leri, cache'i koruyan/bozan mimari kararlar, ölçüm: cache hit'in maliyet-gecikme etkisi; SDK'da cache davranışı.
2.4
Token bütçesi ve maliyet modeli
Cost-per-task hesabı, bütçe tavanları, Batch API indirimi, maliyet tahmini ve raporlama; "maliyet bir mühendislik kısıtıdır" disiplini.
2.5
Compaction ve session memory
SDK'da compaction/özetleme, session kalıcılığı, ne hayatta kalmalı kararı; uzun turnuva session'ında hafıza stratejisi.
2.6
◆ Pratik uygulamalarContext-maliyet harness'i
Sentez: context ekonomisi bir harness katmanıdır; ölç-karar ver-uygula çerçevesi; oyuncu agent'ın "ekonomik profil"inin çıkarılması.
Ekonomik oyuncubireysel
Maç başı maliyeti ölç; pruning, fact block ve caching ile düşür; öncesi-sonrası raporla. Derin görev: hangi tekniğin ne kadar kazandırdığını izole ederek ölç.
Cache mimarisibireysel
Cache breakpoint'lerini tasarla; hit oranı ve maliyet farkını tabloyla kanıtla. Derin görev: cache'i bozan bir mimari hatayı bilerek üret ve etkisini göster.
Uzun turnuva oturumubireysel
20 maçlık uzun koşuda compaction ve memory stratejini test et; fixture ile tekrarla. Derin görev: compaction sonrası kaybolan kritik bir bilgiyi fact block'la koru.
Minimum Viable Skill: tool output pruning ve fact block stratejisi uygular · cache'i koruyan mimari kurar ve etkisini ölçümle gösterir · cost-per-task hesaplayıp bütçe tavanı tanımlar · compaction davranışını öngörüp kritik bilgiyi korur. — Kavramsal kazanım: "Context ve maliyet katlanılan bir yan etki değil, tasarlanan bir harness katmanıdır."
◆ Micro dersler◆ Aşama çıktısı
3.1
MCP köprüsü: production farkı
Köprü dersi değil, sınır dersi: server yazmayı (Agentic AI 6) ve bağlamayı (CCM 5) biliyorsun; production farkı governance, güvenlik, denetlenebilirlik ve ölçek. Dört enterprise MCP kararı çerçevesinin tanıtımı.
3.2
Arena MCP server'ı
FastMCP ile turnuva platformu MCP server'ı: tools/resources/prompts üçlüsünün platforma uygulanması; structured tool results; server'ın Agent SDK'ya ve Claude Code'a bağlanması.
3.3
Tool tasarımı production'da
Ayırt edici tool description'lar, tool-distribution ve tool_choice politikası, built-in vs custom seçim çerçevesi; "kötü description = yanlış tool seçimi" kanıt deneyi.
3.4
Scoped config ve secret hijyeni
Scoped config registry, secret yönetimi, secret-leak CI gate'i; local/project/user scope kararlarının production karşılığı.
3.5
Injection ve tool savunması
Untrusted data üzerinden prompt injection, injection-dirençli tool description'lar, şema kaynakları; savunma katmanları ve sınırları.
3.6
Audited agent loop
Append-only audit trail: kim, hangi tool'u, hangi argümanla, ne sonuçla; audit'in loop'a eklenmesi ve okunması; compliance perspektifi.
3.7
◆ Pratik uygulamalarMCP governance harness'i
Sentez: dört enterprise kararının koda dönüşmüş hali tek governance katmanı olarak; erişim harness'inin audit'i.
Analist agentbireysel
MCP tool'larıyla leaderboard ve telemetri verisini toplayıp haftalık durum raporu üreten "Agentic Analyst"i kur. Derin görev: çelişen veri kaynaklarını provenance koruyarak birleştir.
Governance katmanıbireysel
Scoped config, secret gate ve audit trail'i repoya kur; CI'da secret sızıntısını yakalat. Derin görev: audit trail'den bir olayın tam zincirini yeniden kur.
Injection tatbikatıbireysel
Kendi server'ına injection senaryoları dene; savunma öncesi-sonrası ihlal tablosu çıkar. Derin görev: savunmayı delen yeni bir vektör tasarla ve kapat.
Minimum Viable Skill: production ölçütlerinde MCP server tasarlar (structured results, ayırt edici description'lar) · scoped config ve secret hijyenini kurar · injection yüzeylerini sayıp savunma uygular · audit trail'li agent loop işletir. — Kavramsal kazanım: "Production'da tool bir yetenek değil, yönetilen bir erişimdir: kim, neye, hangi izle dokunuyor."
◆ Micro dersler◆ Aşama çıktısı
4.1
Structured outputs production'da
Şema ile çıktı disiplini: Pydantic şemaları, "fabricate etmeyi reddeden" şema tasarımı, parse→validate→retry döngüsünün production hali. Agentic AI 2.3–2.4'ün Claude stack'inde derinleşmesi.
4.2
İki geçişli extraction
Classify-then-extract akışı, forced ve any tool choice, extractor prompt disiplini, modelin "sessizce düzelttiği" hataları yakalayan validator katmanı; dağınık maç telemetrisi üzerinde.
4.3
Agent eval stratejileri
Response/step/trajectory eval ayrımı; golden dataset küratörlüğü; LLM-as-judge kalibrasyonu; oyuncu agent için eval tasarımı. Agentic AI 8.1'in Claude-stack production uygulaması.
4.4
SDK agent'larını evaluate etmek
Agent trace'leri, evaluator'lar, test case'ler, şema doğrulaması; eval framework'ünün SDK agent'larına bağlanması; fixture'larla tekrarlanabilir eval.
4.5
Retry, escalate, route
Modelin düzeltebildiği hatayı retry, düzeltemediğini escalate; Batch API ile toplu iş; bağımsız ikinci gözden geçirici; sonucun doğru insan kuyruğuna route edilmesi.
4.6
Production tracing ve metrikler
Structured logging, trace formatı, maliyet/latency/hata metrikleri; "gözlemlenemeyen agent'a güvenilmez" ilkesinin production stack'i; basit dashboard.
4.7
◆ Pratik uygulamalarEval gate harness'i
"Ölçmeden ship edilmez": CI'da eval gate — headless Claude Code + GitHub Actions ile her değişiklikte eval koşusu, regression'da kırmızı; kalite harness'inin sentezi.
Oyuncu eval suitebireysel
20+ case'lik golden dataset ve evaluator'lar kur; iki oyuncu stratejisini eval'le karşılaştır. Derin görev: judge prompt'unu kalibre et ve tutarlılığını ölç.
Telemetri extraction pipeline'ıbireysel
Dağınık maç telemetrisinden validated extraction kur; retry, escalate ve route'u uçtan uca işlet. Derin görev: modelin sessizce düzelttiği bir aritmetik hatayı validator'la yakala.
CI eval gatebireysel
GitHub Actions'ta headless eval gate kur; bilerek bozan bir değişikliği kapıda yakalat. Derin görev: gate'in maliyetini ölç ve fixture'la optimize et.
Minimum Viable Skill: fabrication'a kapalı Pydantic şemaları tasarlar · iki geçişli extraction + validator kurar · golden dataset ve evaluator'larla agent eval'i işletir · retry-escalate-route politikası yazar · CI'da eval gate kurup regression yakalar. — Kavramsal kazanım: "'Çalışıyor' bir duygudur, eval bir kanıttır; ölçmeden ship edilmez."
◆ Micro dersler◆ Aşama çıktısı
5.1
Otonomi spektrumu
Bounded autonomy: otonomi bir ayar değil tasarım kararıdır; risk-otonomi matrisi; insan onay noktalarının yerleşimi; turnuva moderasyonu senaryosunun ilanı.
5.2
Deterministic hooks SDK'da
SDK'da programatik hook'lar: PreToolUse/PostToolUse gate'leri, prerequisite kontrolleri, heterojen tool çıktısını normalize etme; "hook > prompt" iddiasının kuruluşu. CCM hook'larıyla ayrım: orada Claude Code lifecycle'ı, burada kendi SDK sistemin.
5.3
Interception ve structured handoff
Eşik aşan aksiyonların yakalanması, structured handoff şeması, işlemi durdurup insana devretme; banking-transfer örüntüsünün anti-cheat'e uyarlanması.
5.4
Guardrail katmanları
Input/output/tool guardrail'leri; defence in depth; anti-cheat kural setinin katmanlara dağıtımı; guardrail'lerin eval'le test edilmesi.
5.5
Eskalasyon ve insan döngüsü
HITL tasarımı: ne zaman insan, insana ne gösterilir, onay/red sonrası akış; onay kuyruğunun platform üzerinde işletilmesi.
5.6
◆ Pratik uygulamalarGuardrail harness'i
Sentez ve kanıt: aynı kural prompt'la vs hook'la — karşılaştırma harness'i ile ihlal oranları; "%100 blok yalnızca deterministik çitte" bulgusunun genelleştirilmesi.
Anti-cheat bekçisibireysel
Şüpheli skor örüntülerini yakalayan hook ve moderasyon agent'ı kur; şüpheli vakayı insana eskale et. Derin görev: yanlış-pozitif oranını ölçüp eşiği kalibre et.
Hook vs prompt düellosubireysel
Aynı kuralı prompt'la ve hook'la uygula; ihlal oranlarını karşılaştıran kanıt tablosu üret. Derin görev: prompt'u güçlendirip farkın kapanmadığını göster.
Onay kuyruğubireysel
Structured handoff ile insan onay akışını uçtan uca kur; onay ve red senaryolarını test et. Derin görev: onay beklerken sistemin kısmi çalışmaya devamını tasarla.
Minimum Viable Skill: risk-otonomi matrisiyle onay noktası yerleştirir · PreToolUse/PostToolUse gate'leri yazar · eşik aşımında structured handoff ile insana devreder · guardrail katmanlarını eval'le test eder · hook-vs-prompt farkını ölçümle kanıtlar. — Kavramsal kazanım: "Güvenmek istediğin sınırı prompt'a değil koda bağla; production'da niyet değil çit sayılır."
◆ Micro dersler◆ Aşama çıktısı
6.1
Orchestrator mimarisi
Hub-and-spoke: orchestrator + scoped subagent'lar; paralel spawn, scoped context, sorumluluk sınırları. Agentic AI Aşama 7 kavramlarının Agent SDK ile production kuruluşu.
6.2
Structured handoff ve refinement
Pydantic-doğrulamalı agent'lar arası handoff; bounded iterative refinement loop'u; sonsuz döngü ve maliyet patlamasına karşı korumalar.
6.3
Headless pipeline bileşenleri
Headless Claude Code ve GitHub Actions'ın orchestration building block'u olarak kullanımı: zamanlanmış işler, rapor üretimi, işin headless session'a devri; credential/maliyet hijyeni.
6.4
Operasyon merkezi tasarımı
Sistemin senfonisi: maç planlama, oyuncu agent koşuları, analist raporu, moderasyon ve duyuru akışının tek orchestration'da birleşimi; hata ve kısmi başarısızlık tasarımı.
6.5
Production harness sentezi
Uçtan uca audit: sistem neye güveniyor, neyi doğruluyor, hangi katman hangi riski kapatıyor; beş katmanın (kontrol/ekonomi/erişim/kalite/sınır) tek haritada okunması.
6.6
◆ Pratik uygulamalarÖlçme ve kapanış
Operasyon metrikleri: maliyet-kalite-güvenilirlik raporu; "manuel işletim vs agent operasyonu" karşılaştırması; serinin kapanışı ve "sonra ne?"
Operasyon merkezibireysel
Capstone: orchestrator ve tüm agent'larla bir mini turnuvayı uçtan uca işlet; bütün harness katmanları aktif. Derin görev: yeni bir uzman agent ekleyip orchestration'a bağla.
Kaos tatbikatıbireysel
Sistemi bilerek kır — kaynak düşür, injection dene, bütçeyi zorla; dayanıklılık raporu yaz. Derin görev: yakalanamayan bir kaos senaryosu bul ve savunmasını ekle.
Harness audit raporubireysel
Sistemin güven-doğrulama haritasını çıkar; kendi koşu çıktına dayalı savunma brief'i yaz. Derin görev: audit'in bulduğu en zayıf katmanı güçlendirip yeniden ölç.
Minimum Viable Skill: hub-and-spoke orchestration'ı Agent SDK ile kurar · doğrulamalı handoff ve bounded refinement uygular · headless bileşenleri pipeline'a bağlar · sistemi kaos senaryolarında ayakta tutar · uçtan uca harness audit'i yazar. — Kavramsal kazanım: "Production sistemi, neye güvendiğini ve neyi doğruladığını söyleyebilen sistemdir."