İçeriğe geç
Ücretsiz analiz
Veri gizliliği

Verisi şirketinizden çıkmayan özel yapay zekâ kurulumu

Sağlık, hukuk, finans ya da ticari sır içeren verilerde modelin kendi altyapınızda çalışması gerekebilir. Hangi modelin yeteceğini testle belirleriz.

Kısa cevap

Özel model kurulumu, bir yapay zekâ modelinin bulut sağlayıcısı yerine sizin sunucunuzda ya da kendi bulut hesabınızda çalıştırılmasıdır. Veriniz şirket dışına çıkmaz. Birbu hangi açık modelin işinize yettiğini sizin verinizden hazırlanan bir değerlendirme testiyle seçer, donanım ve maliyet hesabını çıkarır, modeli mevcut yazılımınıza API ile bağlar.

Kime uygun
  • Müşteri ya da hasta verisini bulut yapay zekâ servislerine gönderemeyen kurumlar
  • Çok yüksek hacimde işlem yapan ve API maliyeti büyüyen şirketler
  • İnternet bağlantısı olmayan ortamlarda yapay zekâ kullanması gereken ekipler
Sınırlar
  • Kendi sunucunuzda çalışan açık modeller, en büyük bulut modellerinin her işteki başarısına ulaşamayabilir. Bunu testte görürsünüz.
  • Güçlü bir model için GPU'lu sunucu gerekir; donanım ya da kiralama maliyeti teklifte ayrıca yazılır.
  • Modelin bakımı ve güvenlik güncellemeleri sizin altyapınızda yapılır; bunun için bir sorumlu belirlenmelidir.
Yöntem

Nasıl kuruyoruz

  1. 01

    Gereksinim

    Hangi işin, hangi hacimde ve hangi gecikmeyle yapılacağı belirlenir. Verinin nerede kalması gerektiği hukuki açıdan netleşir.

  2. 02

    Değerlendirme testi

    Gerçek örneklerinizden bir test seti hazırlanır. Farklı boyuttaki açık modeller bu sette denenir, doğruluk, hız ve donanım ihtiyacı karşılaştırılır.

  3. 03

    Kurulum

    Seçilen model sunucunuza ya da bulut hesabınıza kurulur, erişim kontrolü ve kayıt tutma eklenir. Mevcut yazılımınız standart bir API ile bağlanır.

  4. 04

    İzleme

    Kullanım, gecikme ve hata oranları izlenir. Yeni bir model sürümü çıktığında aynı test setiyle karşılaştırılıp gerekirse güncellenir.

Ne zaman gerekli

Bulut yapay zekâ servislerinin kurumsal API'leri çoğu iş için yeterli güvenceyi verir. Bazı durumlarda yetmez: sağlık verisi, müvekkil sözleşmeleri, savunma ve kamu projeleri, ya da yurt dışına veri aktarımını yasaklayan sözleşmeler. Bu durumlarda model sizin kontrolünüzdeki bir sunucuda çalışmalıdır.

Doğru boyutu seçmek

Açık modeller birkaç milyar parametreden yüzlerce milyara kadar farklı boyutlarda geliyor. Büyük model daha yetenekli ama daha pahalı donanım istiyor. Çoğu belge ve sınıflandırma işinde orta boyutlu bir model yeterli oluyor. Bunu varsayımla değil, sizin örneklerinizle yapılan testle belirliyoruz. Raporda her modelin doğruluğu, saniye başına işlem sayısı ve aylık maliyeti yan yana durur.

Karma kurulum

Her işi aynı modelde çalıştırmak zorunda değilsiniz. Hassas veri içeren işler kendi sunucunuzdaki modelde, kişisel veri içermeyen genel işler bulut modelinde çalışabilir. Hangi verinin nereye gideceği yazılı bir kurala bağlanır ve sistem bu kurala göre yönlendirir.

Değerlendirme testi nasıl yapılır

Sizin işinizden gerçek örneklerle bir test seti hazırlarız. Sözleşme özeti için elli sözleşme, sınıflandırma için birkaç yüz kayıt gibi. Her örneğin doğru cevabı ekibinizle birlikte belirlenir. Ardından aday modeller bu sette çalıştırılır ve sonuçlar karşılaştırılır. Raporda her model için doğruluk, bir işlemin süresi, gereken donanım ve aylık maliyet yer alır. Karşılaştırmaya bir bulut modelini de koyarız. Böylece kendi sunucunuza geçmenin doğrulukta neye mal olduğunu görürsünüz.

Güvenlik ve bakım

Model sizin altyapınızda çalıştığında güvenliği de altyapınızın parçası olur. Sunucuya erişim yetkiyle sınırlanır, model dış dünyaya doğrudan açılmaz, uygulamalar ona şirket içi bir API üzerinden bağlanır. İşletim sistemi ve model yazılımı için bir güncelleme takvimi yazılır. Daha iyi bir açık model çıktığında aynı test setiyle denenir, sonuç daha iyiyse geçiş planlanır.

Hangi kurumlarda ön koşul oluyor

Klinikler hasta verisini, hukuk büroları müvekkil dosyalarını, mali müşavirler mükellef belgelerini, üretim firmaları teknik çizimlerini ve teklif fiyatlarını dışarı göndermek istemiyor. Bu kurumlarda özel model çoğu zaman projenin ön koşulu oluyor. Bir kamu ihalesi ya da yurt dışı müşteri sözleşmesi veri yerelliği şartı koyduğunda da aynı yol izleniyor.

Temsilî örnek

Hukuk bürosunda sözleşme özeti

Bir hukuk bürosu müvekkil sözleşmelerini bulut servislerine göndermek istemiyor. Değerlendirme testinde orta boyutlu bir açık modelin sözleşmedeki taraf, süre, fesih ve ceza maddelerini çıkarmada yeterli olduğu görülüyor. Model büronun kendi sunucusunda çalışıyor, avukat özeti kontrol edip dosyaya ekliyor.

Sık sorulanlar

Kendi modelimizi eğitmemiz gerekir mi?

Çoğu işte gerekmez. Hazır bir açık model, doğru talimat ve şirket belgelerinden bilgi getiren bir yapı (RAG) ile yeterli sonuç verir. İnce ayar, testte gerçekten fark yarattığı görülürse önerilir.

Bulut modeline göre daha ucuz mu?

Hacme bağlı. Düşük hacimde bulut API'leri genellikle daha ucuzdur. Yüksek ve sürekli hacimde kendi sunucunuz daha ekonomik olabilir. Teklifte iki seçeneğin aylık maliyetini yan yana yazarız.

Yerel yapay zekâ modeli nedir?

Bulut servisine bağlanmak yerine şirketin kendi sunucusunda ya da kendi bulut hesabında çalışan modeldir. Llama, Qwen, Mistral ve Gemma gibi açık ağırlıklı modeller bu şekilde kurulabiliyor.

Hangi açık modelleri kullanıyorsunuz?

İşe göre değişir. Llama, Qwen, Mistral, Gemma ve DeepSeek ailelerinden farklı boyutları sizin örneklerinizle test eder, doğruluk, hız ve maliyete göre seçeriz. Türkçe başarısı testte ayrıca ölçülür.

Açık modeller Türkçeyi ne kadar iyi anlıyor?

Büyük açık modellerin Türkçesi son yıllarda belirgin biçimde gelişti. Küçük modellerde hâlâ zayıflıklar var. Bu yüzden Türkçe metinlerinizden hazırlanan bir testle ölçmeden model seçmiyoruz.

Hangi donanım gerekiyor?

Modelin boyutuna ve aynı anda kaç kişinin kullanacağına bağlı. Küçük modeller tek GPU'lu bir sunucuda çalışır, büyük modeller birden fazla GPU ister. Teklifte satın alma ve kiralama seçeneklerini maliyetleriyle birlikte yazarız.

Modeli kendi verimizle eğitiyor musunuz?

Çoğu işte gerekmiyor. Belgelerden cevap veren sistemlerde model eğitilmez, belge araması (RAG) kullanılır. Sınıflandırma ya da belirli bir yazım biçimi gerektiren işlerde ince ayar yapılabilir, gerekip gerekmediğini testle belirleriz.

KVKK açısından ne fark eder?

Veri şirketin kontrolündeki altyapıdan çıkmadığı için yurt dışına aktarım ve üçüncü taraf veri işleyen meseleleri büyük ölçüde ortadan kalkar. Aydınlatma, erişim yetkisi ve saklama süresi gibi yükümlülükler yine geçerlidir.

Kurulum ne kadar sürer?

Değerlendirme testi bir iki hafta, sunucu kurulumu ve uygulamalara bağlantı iki ile dört hafta sürer. Donanım satın alınacaksa tedarik süresi ayrıca eklenir.

Bulut modelinden daha ucuz mu?

Hacme bağlı. Az kullanımda bulut API'leri daha ucuzdur. Her gün binlerce belge ya da sorgu işleyen şirketlerde kendi sunucusundaki model birkaç ay içinde kendini çıkarabilir. Hesabı sizin hacminizle yaparız.

Ücretsiz keşif görüşmesi

Hangi işinizin yapay zekâya devredilebileceğini 30 dakikada birlikte bulalım.

Görüşme ücretsiz ve satın alma zorunluluğu yok. Sonunda elinizde iki üç somut iş ve kabaca bir kazanç hesabı olur.

Görüşme zamanı seç