AI Agent Evaluation ve Observability
Agent kalitesini ölçme, tracing, LLM-as-judge, regresyon testleri, guardrails ve üretim gözlemlenebilirliği.
Seviye
İleri
Süre
22 saat
Tahmini yayın
2027 Q3
Kategori
AI Platform, MLOps ve LLMOps
Agent sistemlerinin 'çalışıyor gibi görünmesi' ile 'gerçekten güvenilir olması' arasındaki farkı kapatan kurs. Evaluation metriklerinden LLM-as-judge'a, tracing ve OpenTelemetry'den regresyon testleri ve guardrails'e; agent'larını ölçülebilir, izlenebilir ve üretimde güvenilir hale getirmeyi öğrenirsin.
Öğrenilecek teknolojiler
Ne öğreneceksin
- Agent kalitesini ölçen evaluation kurma
- LLM-as-judge ve insan değerlendirmesi
- Tracing ve observability ile hata avlama
- Regresyon testleri ve guardrails
Kimler için
- Agent sistemlerini üretime taşıyan mühendisler
- AI kalitesinden sorumlu ekipler
- LLMOps/Platform mühendisleri
Müfredat özeti
- 01Agent evaluation neden zor
- 02Metrikler ve LLM-as-judge
- 03Tracing ve OpenTelemetry
- 04Regresyon ve offline evaluation
- 05Guardrails ve güvenlik
- 06Üretim gözlemlenebilirliği
Diğer kursları keşfet
AI Platform, MLOps ve LLMOps
LLMOps ve GenAIOps: AI Sistemlerini Production'a Alma
Prompt versioning, evaluation, CI/CD, tracing, model monitoring, token maliyetleri ve production deployment.
AI Platform, MLOps ve LLMOps
AI Platform Engineer: Kubernetes, Terraform ve CI/CD
Kubernetes, Terraform, model gateway, agent runtime, GPU workloads, secrets, observability ve multi-tenant AI platformları.
AI Platform, MLOps ve LLMOps
Private AI: Ollama, vLLM ve Açık Kaynak LLM'ler
Açık kaynak modelleri kendi altyapında çalıştır: Ollama, vLLM, quantization, GPU ve maliyet/gizlilik.