Private AI: Ollama, vLLM ve Açık Kaynak LLM'ler
Açık kaynak modelleri kendi altyapında çalıştır: Ollama, vLLM, quantization, GPU ve maliyet/gizlilik.
Seviye
Orta
Süre
20 saat
Tahmini yayın
2027 Q2
Kategori
AI Platform, MLOps ve LLMOps
Veriyi dışarı çıkarmadan, kendi altyapında açık kaynak LLM'ler çalıştırmayı öğreten kurs. Ollama ile hızlı yerel başlangıçtan vLLM ile üretim servisine, quantization ve GPU yönetiminden maliyet/gizlilik dengesine; kurumsal veri egemenliği gerektiren senaryolar için private AI kurarsın.
Öğrenilecek teknolojiler
Ne öğreneceksin
- Ollama ile yerel model çalıştırma
- vLLM ile üretim seviyesi serving
- Quantization ve GPU kaynak yönetimi
- Maliyet, gizlilik ve model seçimi
Kimler için
- Veri gizliliği kritik olan kurumlar
- Self-hosted LLM kuran mühendisler
- Maliyet/gizlilik dengesi arayan ekipler
Müfredat özeti
- 01Açık kaynak LLM manzarası
- 02Ollama ile yerel başlangıç
- 03vLLM ile yüksek verimli serving
- 04Quantization ve optimizasyon
- 05GPU altyapısı ve ölçekleme
- 06Gizlilik, maliyet ve üretim
Diğer kursları keşfet
AI Platform, MLOps ve LLMOps
LLMOps ve GenAIOps: AI Sistemlerini Production'a Alma
Prompt versioning, evaluation, CI/CD, tracing, model monitoring, token maliyetleri ve production deployment.
AI Platform, MLOps ve LLMOps
AI Platform Engineer: Kubernetes, Terraform ve CI/CD
Kubernetes, Terraform, model gateway, agent runtime, GPU workloads, secrets, observability ve multi-tenant AI platformları.
AI Platform, MLOps ve LLMOps
AI Agent Evaluation ve Observability
Agent kalitesini ölçme, tracing, LLM-as-judge, regresyon testleri, guardrails ve üretim gözlemlenebilirliği.