"Bize özel bir yapay zekâ istiyoruz" cümlesini sık duyuyoruz. Arkasındaki ihtiyaç genellikle şu: sistem bizim ürünlerimizi, fiyatlarımızı, prosedürlerimizi bilsin, bizim gibi konuşsun ve verimiz dışarı çıkmasın. Bu ihtiyacı karşılamanın birkaç yolu var ve en pahalısı çoğu zaman en doğrusu değil. Bu rehber seçenekleri ve hangi durumda hangisinin uygun olduğunu anlatıyor.
Beş seçenek
Hazır model, olduğu gibi. ChatGPT, Claude ya da Gemini'yi bir yazı asistanı olarak kullanmak. Şirket bilgisini bilmez, ama genel işlerde güçlüdür.
Hazır model ve şirket bilgisi (RAG). Model aynı kalır, her soruda şirketin belgelerinden ilgili parçalar bulunup modele okutulur. Şirket bilgisiyle ve kaynak göstererek cevap verir. Ayrıntılar: şirket içi bilgi bankası.
Hazır model ve araçlar. Model şirket sistemlerine bağlanır: veritabanında arama yapar, sipariş durumunu sorgular, kayıt açar. Bu yaklaşım ajanların temeli: yapay zekâ ajanı nedir.
İnce ayar. Hazır bir modelin, sizin hazırladığınız çok sayıda örnekle ek eğitimden geçirilmesi.
Sıfırdan eğitim. Kendi verinizle baştan bir model eğitmek.
Şirkete özel davranış nereden gelir?
Bir yapay zekâ sisteminin şirkete özel davranması için modelin kendisini değiştirmek çoğu zaman gerekmiyor. Şirkete özellik üç yerden geliyor:
- Talimatlar: sistemin kim olduğunu, nasıl konuşacağını, neyi yapıp neyi yapmayacağını anlatan kurallar.
- Bilgi: şirketin belgeleri, fiyat listesi, prosedürleri. RAG ile her soruda ilgili olanlar okutulur.
- Araçlar: şirket sistemlerine erişim. Güncel stok, sipariş durumu, müşteri geçmişi.
Bu üçü doğru kurulduğunda hazır bir model, kendisi hiç değiştirilmeden şirketinizin bir çalışanı gibi davranır.
İnce ayar ne zaman anlamlı?
İnce ayar, modele yeni bilgi öğretmekten çok davranış öğretmek için işe yarıyor. Şu durumlarda değerlendirilmeli:
Belirli ve tutarlı bir format. Her raporun aynı yapıda, aynı terimlerle yazılması gerekiyorsa ve talimatlarla bu tutarlılık sağlanamıyorsa.
Dar bir sınıflandırma işi. Belgeleri şirkete özel, ince ayrımları olan kategorilere ayırmak ve bunun için binlerce etiketli örneğiniz varsa.
Maliyet düşürme. Yüksek hacimli ve basit bir işte, büyük bir model yerine ince ayarlı küçük bir model aynı işi daha ucuza yapabiliyorsa.
İnce ayarın bir dezavantajı var: bilgi değiştiğinde model eskir. Fiyat listesini ince ayarla öğrettiyseniz her fiyat değişikliğinde yeniden eğitim gerekir. Bu yüzden değişen bilgi için RAG, sabit davranış için ince ayar daha doğru.
Sıfırdan eğitim
Genel amaçlı bir dil modelini sıfırdan eğitmek çok büyük miktarda metin, yüksek hesaplama gücü ve uzman bir ekip gerektiriyor. Bu iş birkaç büyük teknoloji şirketinin ve araştırma kurumunun işi. Bir KOBİ'nin, hatta çoğu büyük şirketin buna ihtiyacı olmuyor. "Kendi modelimizi eğitelim" önerisiyle gelen biri varsa, neden hazır model ve RAG'in yetmediğini sormak gerekiyor.
Veri dışarı çıkmamalıysa: açık modeller
Bazı şirketler için asıl mesele özel davranış değil, verinin şirket dışına çıkmaması. Sağlık kuruluşları, hukuk büroları, finans şirketleri ve savunma tedarikçileri bu gruba giriyor.
Bu durumda açık ağırlıklı modeller bir seçenek. Llama, Mistral ve Qwen gibi model aileleri indirilip şirketin kendi sunucusunda çalıştırılabiliyor. Veri hiçbir yere gönderilmiyor.
Karşılığında şunları göze almak gerekiyor:
- Donanım: modelin boyutuna göre güçlü ekran kartları.
- Kurulum ve bakım: güncellemeler, güvenlik, izleme.
- Kalite farkı: en güçlü bulut modellerinin gerisinde kalabiliyor, özellikle Türkçe ve karmaşık akıl yürütme işlerinde.
Karar vermeden önce kendi görevinizde hem bir bulut modelini hem bir açık modeli test etmek en sağlıklı yol.
Bir karar sırası
- İş bir yazı ya da fikir işi mi? Hazır model yeterli.
- Şirket bilgisi gerekiyor mu? RAG ekleyin.
- Şirket sistemlerinde işlem yapılması gerekiyor mu? Araçlar ekleyin.
- Format ya da sınıflandırma tutarlılığı talimatlarla sağlanamıyor mu, binlerce örneğiniz var mı? İnce ayarı değerlendirin.
- Veri kesinlikle dışarı çıkmamalı mı? Açık modeli şirket sunucusunda çalıştırın.
- Sıfırdan eğitim: büyük olasılıkla hiçbir zaman.
Bir modele bağlanmamak
Model sağlayıcılarının fiyatları, koşulları ve kalitesi zaman içinde değişiyor. Sistemi belirli bir modele sıkı sıkıya bağlı kurmak, ileride geçişi zorlaştırıyor. Talimatları, bilgi dizinini ve araçları modelden bağımsız tasarlamak, gerektiğinde başka bir modele geçmeyi birkaç günlük bir işe indiriyor.
Veri güvenliği tarafı için ChatGPT'yi şirkette güvenli kullanma ve KVKK rehberine bakın. Birbu'nun bu alandaki hizmeti özel model sayfasında; ihtiyacınızı ücretsiz 30 dakikalık analiz görüşmesinde konuşabiliriz.