Yapay Zeka Altyapısı
Veriniz yurt dışına çıkmasın istiyorsanız modeli kendi sunucunuzda çalıştırmanız gerekir. Bu, bir yazılım işi değil; donanım tedariki, veri merkezi kurulumu ve sürekli bakım işidir.
- UygulamaL6
- Model sunumuL5
- Çalışma zamanıL4
- DepolamaL3
- GPU sunucuL2
- Güç ve soğutmaL1
Alttan üste: fiziksel tesisattan uygulamaya. Her katmanın teslim dokümanı ayrıdır.
Yapay zeka altyapısı, modellerin kurumun kendi donanımında çalıştırılabilmesi için gereken GPU sunucu, depolama, soğutma ve model sunum katmanının kurulmasıdır. Mipo bu işi uçtan uca yürütür: GPU sunucusunu yurt dışından tedarik eder, ithalat ve gümrük sürecini üstlenir, veri merkezine kurar ve sonrasındaki bakımını sürdürür. Verinin kurum dışına çıkmaması gereken senaryolarda tek gerçekçi yol budur.
GPU sunucu altyapısı güçten modele, katman katman.
Altyapı tek bir iş değil, üst üste duran katmanlardır. Bir katmanı atlayan kurulum, üstündeki her şeyi kırılgan yapar.
Uygulama
Modeli kullanan kurum içi uygulamalar ve arayüzler
Model sunumu
Modellerin servis edildiği katman, sürüm ve kaynak yönetimi
Çalışma zamanı
Sürücüler, kütüphaneler ve GPU kaynak paylaşımı
Depolama
Model dosyaları ve vektör veri tabanı için yüksek hızlı depolama
GPU sunucu
Model boyutuna göre seçilmiş GPU, bellek ve yedekli güç
Güç ve soğutma
Kabin kapasitesi, hava akışı ve elektrik hesabı
Yapay zeka altyapısında elektriği ve soğutmayı yerinde ölçeriz.
Kurulumdan önce ölçüm yapılır. Kapasite, kapsama ve kesinti penceresi tahminle belirlenmez.
Yük profili
Hangi model, kaç eş zamanlı kullanıcı, ne kadar bellek — donanım kararı bu ölçümle verilir.
Güç kapasitesi
Mevcut kabinin elektrik kapasitesi ölçülür. GPU sunucular standart sunucuların belirgin üzerinde tüketir.
Soğutma hesabı
Isı yükü hesaplanır; mevcut soğutma yetersizse kurulum öncesi çözülür.
Veri yolu
Modelin erişeceği verinin nerede durduğu ve ağ üzerinde nasıl taşınacağı planlanır.
GPU sunucuyu hangi donanım ve yazılımla kuruyoruz.
- GPU
- Model bellek ihtiyacına göre seçilir, gerekçesiyle yazılır
- Depolama
- Yüksek hızlı yerel disk · vektör veri tabanı
- Güç
- Yedekli güç kaynağı · ayrı devre
- Soğutma
- Isı yükü hesabı kurulum öncesi yapılır
- Erişim
- Segmentli ağ · dış bağlantı gerekmeden çalışma
- İzleme
- GPU kullanımı · sıcaklık · bellek · kapasite eğilimi
Kurulum süresi tedarik terminine bağlı
Yapay zeka altyapısı teslim edilince elinizde ne kalır.
Dokümantasyonu olmayan altyapı, kuran kişiye bağımlı altyapıdır. Teslim dosyası başka bir ekibin devralabilmesi için hazırlanır.
- Yük profili ve donanım gerekçe raporu
- Kabin yerleşim ve güç dağıtım şeması
- Soğutma ve ısı yükü hesabı
- Model sunum katmanı yapılandırma dokümanı
- Erişim ve yetkilendirme matrisi
- Kabul testi tutanağı
Yapay Zeka Altyapısı hakkında sık sorulanlar.
Üç sebep: verinin kurum dışına çıkmaması gerekiyorsa zorunludur; yoğun ve sürekli kullanımda bulut abonelik maliyeti belirli bir eşikten sonra donanım yatırımını geçer; ve dış servisin fiyat veya politika değişikliğine bağımlı kalmazsınız. Düşük ve dalgalı kullanımda ise bulut daha mantıklıdır — bu hesabı birlikte yaparız.
Evet. Güç tüketimi ve ısı üretimi standart sunuculardan belirgin şekilde yüksektir. Mevcut kabin ve soğutma kapasitesi hesaplanmadan yapılan kurulum, hem donanım ömrünü kısaltır hem de komşu sistemleri etkiler. Kurulum öncesi güç ve soğutma hesabı bu yüzden kapsamın parçasıdır.
Çalıştırılacak modelin bellek ihtiyacı ve eş zamanlı kullanıcı sayısı belirleyicidir. Gereğinden büyük GPU gereksiz maliyet, küçük GPU ise modelin hiç çalışmaması demektir. Karar, ölçülen yük profiline göre ve gerekçesiyle yazılı olarak verilir.
Hayır. GPU donanımının temini, ithalatı ve gümrük süreci tarafımızca yürütülür. Kuruma yalnızca teslim ve devreye alma aşamasında iş düşer.
İsterseniz evet. Altyapı ile uygulamanın aynı şirkette olması, performans sorunlarında sorumluluğun bölünmemesini sağlar. Yalnızca altyapı kurulumu da alınabilir.