DERS 4.7 Kendi AI altyapın: LLM yaşam döngüsü (Ollama)

KAZANIM Bu dersin sonunda: kendi bilgisayarında LLM çalıştırır, "eğitme" merdiveninde doğru basamağı seçersin.

1TanımBu ders LLM'in tam yaşam döngüsünü kullanıcı gözünden kapatır: nedir → neden kendin kurarsın → nasıl kurulur → nasıl "eğitilir" → alternatifleri ne. Ana araç: Ollama — açık modelleri kendi bilgisayarınızda tek komutla çalıştıran program.

2İşlev ve amaç (neden kurulur?)Üç meşru sebep: (1) Gizlilik — veri makinenizden hiç çıkmaz (hasta verisi, hukuki dosyalar, ticari sır). (2) Maliyet — hacimli/mekanik işlerde API faturası yerine kendi donanımınız. (3) Bağımsızlık/offline — internet ve sağlayıcı olmadan çalışma. Ve bir dördüncüsü: anlayış — kendi makinenizde model çalıştırmak, "AI" kelimesinin büyüsünü bozar; onun da bir program olduğunu görürsünüz.

3Nasıl yapılır(a) Kurulum: Ollama'yı indirin (ollama.com), sonra terminalde ollama run llama3.2 gibi tek komut — model iner ve konuşmaya başlarsınız. Kurulumu Claude Code'a da yaptırabilirsiniz: "Ollama kur, donanımıma uygun bir model öner ve indir." (b) Model seçimi: açık model aileleri (Llama, Qwen, Mistral, DeepSeek) ve boyları (milyar parametre = "B" sayısı) vardır; kural basit: donanım belirler — sıradan bir dizüstü 3-8B modelleri rahat, 70B+ modelleri ancak güçlü/pahalı donanım çalıştırır. (c) "Eğitme" — gerçekçi merdiven (en sık yanlış anlaşılan konu): sıfırdan eğitim milyon-dolar ligidir ve sizin liginiz DEĞİLDİR — bunu bilmek de dersin parçası. Sizin merdiveniniz: sistem istemi (modele kalıcı rol/kural tanımı — dakikalar) → RAG (kendi belgelerinizi bağlamak — "kendi verimle konuşsun" ihtiyacının %90 cevabı) → fine-tuning (örneklerle davranış ayarı — ancak ilk iki basamak yetmezse). Çoğu gerçek ihtiyaç ilk iki basamakta biter.

4Ne ters gider + çözümüTuzak 1: beklenti kazası — 7B yerel model, Opus gibi konuşmaz; hayal kırıklığı kurulumdan değil beklentiden çıkar. Çözüm: yerel modeli doğru işlere koyun (özetleme, sınıflandırma, taslak, gizli-veri işleme), zirve zekâ istediğiniz işleri bulutta tutun. Tuzak 2: donanım duvarı — büyük model indirip makineyi kilitlemek. Çözüm: küçükten başlayıp yukarı deneyin. Tuzak 3: "fine-tune edelim" hevesi — veri hazırlamadan girilen fine-tune, para ve zaman yakar. Çözüm: merdiven sırası; fine-tune'a ancak RAG'in yetmediğini KANITLADIKTAN sonra.

Gerçek vaka: Gerçek bir projede, gizlilik gerektiren bir asistan tamamen yerel modelle kuruldu (kendi LLM + kendi bilgi grafiği). Ders: "kendi AI'ın" romantizm değil, doğru ihtiyaçta (veri dışarı çıkamaz) rasyonel mühendislik kararıdır — ama aynı proje, zirve-zekâ işlerini bulut modellere bırakmaya devam etti. Hibrit, olgunluktur.

5AlternatiflerYerel tek yol değil: bulut API (zirve kalite, veri sağlayıcıya gider) · hosted açık model servisleri (Groq, Together: açık modelleri hızlı/ucuz bulutta çalıştırır — "açıklık + sıfır donanım" orta yolu) · kendi GPU sunucun (ölçekli yerel — işletme yükü size). Karar sorusu tek: verim nerede durabilir, kaliteyi nerede istiyorum, faturayı kim ödüyor?

6Denetim penceresiYerel-bulut karşılaştırma testi (yerel modele iş devretmeden önce): aynı 5 görevi yerel modele ve bulut modele verin; çıktıları yan yana, hangisi hangi görevde kabul sınırının altında? Kırmızı bayraklar: yerel modelin halüsinasyonu daha SIK ve daha özgüvenlidir — kaynak sorma refleksi (1.7) yerelde iki kat önemli · gizlilik gerekçesiyle kurulan sistemin bir köşesinin sessizce buluta veri sızdırması ("bu kurulumda hangi adımda veri makine dışına çıkıyor? hiç mi?" — kurdurduktan sonra sordurun).

7Mini egzersiz (SANDBOX)Üret: Ollama kurun, donanımınıza uygun küçük bir model indirin, 10 dakika sohbet edin. Denetle: karşılaştırma testini koşun (5 görev, yerel vs bulut) ve kendi cümlelerinizle bir "bu makinede neye yarar / neye yaramaz" listesi yazın.

8Kontrol soruları(1) Kendi LLM kurmanın üç meşru sebebi nedir? (2) "Eğitme merdiveni"nin basamakları ve sırası nedir? (3) Groq/Together tarzı servisler hangi orta yolu sunar?

9Mentor istemi

AI Maestro Seviye 4 Ders 4.7'nin (LLM yaşam döngüsü, Ollama) hocası ol. Eğitim/çıkarım
farkını ve eğitme merdivenini (sistem istemi → RAG → fine-tune) aşçılık metaforlarıyla
anlat. Bana 5 ihtiyaç senaryosu ver; her birine merdivenden basamak seçeyim,
değerlendir. Sonunda 3 kontrol sorusu.