Erişim ve yönetişim
Kimlik, amaç, politika, kota ve onay model çalışmadan önce akışa girer.
Referans mimari ve planlama ekonomisi
Güçlü açık-ağırlık dil modellerini kurumun kendi güven sınırı içinde çalıştırmak için mimari, kapasite ve maliyet varsayımlarını görünür kılan şeffaf bir başlangıç noktası.
01 / Referans mimari
Kalıcı sistem yalnız GPU sunucusu değildir. Modellerin, verinin ve insan yetkisinin çevresindeki yönetişimli yoldur.
Kimlik, amaç, politika, kota ve onay model çalışmadan önce akışa girer.
Gateway, router, model kaydı, değerlendirme kapıları ve sürüm politikası modellerden ayrılır.
Bilgi erişimi, nesne depolama ve araçlar kaynak yetkisini devralır; ağ sınırında kalır.
Açık-ağırlık modeller; izolasyon, nicemleme, batching ve görev odaklı yönlendirmeyle çalışır.
İz kaydı, kalite değerlendirmesi, enerji telemetrisi ve insan incelemesi her sürümü şekillendirir.
02 / Kapasite senaryoları
Bellek uyumu; model mimarisi, hassasiyet, bağlam uzunluğu, eşzamanlılık ve servis yazılımına bağlıdır. Satın almadan önce benchmark yapın.
Değerlendirme, bilgi erişimi, ince ayar deneyleri ve kontrollü ekip kullanımı
Paylaşımlı çıkarım, yüksek eşzamanlılık, yönetişimli araçlar ve hizmet dayanıklılığı
Birden fazla model servisi, geniş bağlam araştırması ve kapasite büyütme
Referans fiyatlar; hızlandırıcı donanımı, sunucu platformu, ECC bellek, NVMe depolama, ağ/güvenlik bileşenleri ve entegrasyon payını içerir. Bunlar tedarikçi teklifi değil, planlama tahminidir.
03 / Türkiye ithalat maliyeti
Siparişten önce GTİP sınıflandırmasını, menşei, ticaret rejimini, Incoterm'ü ve olası ilave vergiyi yetkili gümrük müşaviriyle doğrulayın.
İthalat KDV'si brüt nakit çıkışında gösterilir. İndirilebilirliği mükellef ve kullanım durumuna bağlıdır; vergi danışmanlığı alın.
Hızlandırıcı fiyatını, tedarikçi teklifini, TCMB satış kurunu, navlunu, tarifeyi ve KDV'yi yenileyin; gümrük beyannamesi tarihinde mutlaka yeniden hesaplayın.
04 / Sürdürülebilir işletme
Sürdürülebilirlik daha büyük bir sunucuyla değil, yönlendirme ve ölçümle başlar.
Değerlendirilmiş kalite eşiğini karşılayan en küçük yolu tercih et.
Enerji, kullanım, kuyruk süresi ve kabul edilen çıktıyı iş yükü bazında izle.
Donanım eklemeden önce batching, kota ve izole havuzlar kullan.
Kaynaklar ve yöntem
Yöntem: referans CapEx × navlun/sigorta = CIF; gümrük vergisi CIF üzerine, ithalat KDV'si CIF + vergi üzerine uygulanır; gümrükleme payı ayrıca eklenir. Bu sadeleştirilmiş kamusal model; finansman, KKDF, yerel satıcı marjı, bina işleri, elektrik ve KDV indirim zamanlamasını kapsamaz.
Manifesto ve yaklaşım
Sistemin arkasındaki düşünce
Açık-ağırlık modeller; model dosyasını incelemeyi, servis yığınını seçmeyi, ağ yolunu kontrol etmeyi ve hassas bağlamı hesap verebilir bir ortamda tutmayı mümkün kılar. Ancak lokal işletim kendiliğinden güvenli veya ekonomik değildir. Gerçek kullanımda izinlerin, kanıtın, güncellemelerin ve insan yetkisinin korunup korunmayacağını çevresindeki mimari belirler.
Project PULSAR donanımı, daha büyük bir çalışma modelinin içindeki değiştirilebilir katmanlardan biri olarak ele alır. Hızlandırıcılar ve modeller değişirken kimlik, politika, yönlendirme, izinli bağlam, değerlendirme, gözlemlenebilirlik ve sürüm yönetişimi kalıcı olmalıdır.
Bu sayfadaki referans sistemler ürün paketi veya satın alma tavsiyesi değildir. Aşağıdaki konuları karşılaştırmak için kamusal araştırma zarflarıdır:
Başlangıç varsayımı, açık-ağırlık model çıkarımı için modüler ve anlamlı bir bellek birimi sağladığından 96 GB profesyonel sunucu hızlandırıcılarını kullanır. Eşdeğer hızlandırıcılar ve gelecekteki mimariler aynı iş yükü ve yönetişim testleriyle karşılaştırılmalıdır.
Referans CapEx; hızlandırıcı setini, sunucu platformunu, ECC belleği, lokal NVMe depolamayı, ağ/güvenlik bileşenlerini ve entegrasyon payını USD olarak kapsar. Aksi belirtilmedikçe bina işleri, finansman, elektrik, yerel satıcı marjı ve sözleşmeli destek dahil değildir.
Türkiye hesabı, ithalat KDV’si hariç net maliyeti ve ithalat KDV’si dahil brüt nakit çıkışını ayrı gösterir. %0 gümrük vergisi yalnızca planlama varsayımıdır. Her siparişten önce sınıflandırma, menşe ve güncel ithalat rejimi doğrulanmalıdır.
Fiyat, vergi ve döviz kuru varsayımlarının ömrü sınırlıdır. Hesap tarihini kaydedin, varsayımları en az ayda bir güncelleyin ve gümrük beyannamesi tarihindeki resmî kur ile tarife pozisyonunu kullanarak yeniden hesaplayın.
Bütçeye sığan en büyük sistemi satın almayın. Temsili iş yüklerinden küçük bir set seçin, kalite ve gecikme eşiklerini belirleyin, yeterli en küçük konfigürasyonu ölçün ve genişleme yolunu koruyun. Kapasite, teorik model büyüklüğüyle değil, kabul edilen çıktıyla yerini hak eder.