Veri egemenliğinizi koruyan, yerel GPU sunucularında çalışan on-premise yapay zeka kurulumu.

Veri Egemenliği, Sıfır Veri Sızıntısı ve Yüksek Hızlı Yerel Çıkarım Mimarisi

Hassas Ar-Ge tasarımları, finansal analizler, hasta verileri veya stratejik savunma projeleri yürüten şirketler için bulut tabanlı yapay zeka servisleri aşılması imkansız bir güvenlik duvarına çarpar. Birkaç çalışanının istem kutusuna yapıştırdığı gizli bir kaynak kod veya bilanço satırı, şirketin telif ve mevzuat cezalarıyla karşı karşıya kalmasına yol açabilir.

On-premise yapay zeka kurulumu yapan firma arayan lider kurumlar için Appsoni; verinin şirketinizin sunucu kabininde doğup orada kaldığı, internete tamamen kapalı (air-gapped) yerel GPU sunucularında çalışan uçtan uca yapay zeka altyapıları kurar. Donanım boyutlandırmasından CUDA optimizasyonuna, vLLM çıkarım motoru yapılandırmasından kurumsal RAG vektör mimarisine kadar tüm katmanları anahtar teslim teslim ediyoruz.

---

On-Premise GPU Kümesi ve Çıkarım Topolojisi

Sistem, internet bağlantısı gerektirmeyen izole yerel ağda (Air-Gapped LAN) 5 katmanlı yüksek performanslı bir topolojiyle kurgulanır:

[Kurumsal Yerel Ağ İstemcileri] (Kurum İçi IP Havuzu: 10.x.x.x / 172.16.x.x)
                             │
                             ▼ (Yerel Nginx Yük Dengeleyici & SSL Sonlandırma)
     [Yerel Kimlik ve Erişim Katmanı (Air-Gapped IAM)]
     ├─ Kurum İçi Active Directory / LDAP Entegrasyonu (Yerel Domain Controller)
     ├─ Rol Bazlı Erişim Denetimi (RBAC: Departman ve Güvenlik Derecesi)
     └─ Yerel Hız Sınırlayıcı ve İstek Kuyruğu (Redis Queue Engine)
                             │
                             ▼
     [Yüksek Performanslı Çıkarım Motoru (Inference Cluster)]
     ├─ vLLM / NVIDIA Triton / TensorRT-LLM Motoru
     ├─ Tensor Paralelizmi (Tensor Parallelism: TP=2 veya TP=4)
     ├─ Model Kuantizasyonu: AWQ 4-Bit / FP8 Hassasiyeti (Kayıpsız Muhakeme)
     └─ PagedAttention Bellek Yönetimi (Sıfır Bellek Parçalanması)
                             │
                             ▼
     [Yerel Vektör Veritabanı ve Çevrimdışı Doküman Deposu]
     ├─ Qdrant On-Premise / PostgreSQL pgvector (Air-Gapped Node)
     ├─ Yerel Çok Dilli Embedding Motoru: BGE-M3 (Yerel Çıkarım)
     └─ Kurum İçi Paylaşılan Depolama (NAS / SAN: NFS / SMB Şifreli Bağlantı)
                             │
                             ▼
     [Fiziksel Sunucu ve GPU Donanım Katmanı]
     ├─ NVIDIA L40S (48GB) / H100 (80GB SXM5) / RTX 6000 Ada
     ├─ PCIe Gen5 x16 Çift Yönlü Yüksek Hızlı Veri Yolu (128 GB/s)
     └─ Çevrimdışı Syslog Denetim İzi (RFC 3161 Yerel Zaman Damgası)

---

Veri Modeli ve Teknik Şema (50+ Benzersiz Veri Noktası)

On-premise yapay zeka kurulumunun donanım telemetrisi, çıkarım parametreleri, güvenlik kuralları ve ağ konfigürasyon alanları:

Tablo Adı	Teknik Alan Adı	Veri Tipi	Donanım, Sistem ve Süreç Kuralı Açıklaması
donanim_dugumu	dugum_uuid	UUID	Fiziksel sunucunun tekil donanım kimliği
donanim_dugumu	sunucu_modeli	VARCHAR(100)	'Dell PowerEdge R760xa', 'Supermicro AS-4125GS-TNRT'
donanim_dugumu	islemci_mimarisi	VARCHAR(60)	'Dual AMD EPYC 9354 32-Core' / 'Intel Xeon Platinum 8480+'
donanim_dugumu	toplam_sistem_ram_gb	INT	Sunucu fiziksel bellek miktarı (Ör: 512 GB DDR5 ECC)
donanim_dugumu	yerel_ip_adresi	VARCHAR(45)	Kurum içi izole IP adresi (Ör: '10.20.100.15')
donanim_dugumu	isletim_sistemi_surumu	VARCHAR(50)	'Ubuntu Server 24.04 LTS Kernel 6.8 Enterprise'
donanim_dugumu	air_gap_durumu	BOOLEAN	İnternet ağ geçidi tamamen kapalı mı (True/False)
gpu_kart_konfig	gpu_kart_id	INT	Sunucu içindeki GPU soket sırası (GPU 0, GPU 1...)
gpu_kart_konfig	gpu_model_kodu	VARCHAR(60)	'NVIDIA L40S 48GB GDDR6', 'NVIDIA H100 80GB HBM3'
gpu_kart_konfig	toplam_vram_mb	INT	Kartın toplam video belleği (Ör: 49.152 MB veya 81.920 MB)
gpu_kart_konfig	cuda_driver_surumu	VARCHAR(20)	NVIDIA sürücü versiyonu (Ör: '550.90.07')
gpu_kart_konfig	cuda_toolkit_surumu	VARCHAR(20)	Derleyici Toolkit sürümü (Ör: 'CUDA 12.4')
gpu_kart_konfig	pcie_veriyolu_nesli	VARCHAR(20)	'PCIe Gen5 x16' (128 GB/s çift yönlü bant genişliği)
gpu_kart_konfig	anlik_sicaklik_celsius	FLOAT	Kart termal sensör sıcaklığı (Alarm eşiği: > 78°C)
gpu_kart_konfig	anlik_guc_tuketimi_watt	FLOAT	Anlık enerji sarfiyatı (Ör: 320 Watt / Max: 350W)
cikarim_motoru	motor_yazilim_adi	VARCHAR(40)	'vLLM', 'TensorRT-LLM', 'Triton Inference Server'
cikarim_motoru	motor_surum_no	VARCHAR(20)	'vLLM v0.6.3'
cikarim_motoru	tensor_paralel_boyut	INT	Modeli GPU'lar arasında bölme katsayısı (TP=2 veya TP=4)
cikarim_motoru	gpu_bellek_tahsis_orani	FLOAT	VRAM tahsis katsayısı (gpu_memory_utilization: 0.90)
cikarim_motoru	max_model_uzunluk_token	INT	Maksimum bağlam penceresi (max_model_len: 16384)
cikarim_motoru	paged_attention_aktif	BOOLEAN	Parçalanmasız dinamik bellek yöneticisi devrede mi (True)
cikarim_motoru	servis_dinleme_portu	INT	Yerel çıkarım servis portu (Ör: 8000 veya 8080)
yerel_model	model_katalog_adi	VARCHAR(100)	'meta-llama/Llama-3.3-70B-Instruct-AWQ', 'Qwen2.5-72B-Instruct'
yerel_model	parametre_sayisi_milyar	FLOAT	Modelin ağırlık ölçeği (Ör: 70.6 Milyar Parametre)
yerel_model	kuantizasyon_tipi	VARCHAR(20)	'AWQ_4BIT', 'FP8_E4M3', 'BITSANDBYTES_8BIT', 'FP16'
yerel_model	disk_agirlik_boyutu_gb	FLOAT	Yerel model ağırlık dosya boyutu (Ör: 39.2 GB)
yerel_model	yerel_depolama_yolu	VARCHAR(255)	'/opt/ai-models/llama-3.3-70b-awq'
yerel_model	model_sha256_kontrol	VARCHAR(64)	Ağırlıkların orijinallik SHA-256 doğrulama özeti
yerel_model	varsayilan_temperature	FLOAT	Varsayılan çıkarım sıcaklığı (0.10)
yerel_model	varsayilan_top_k	INT	Örnekleme katsayısı (Top-K: 40)
cikarim_telemetri	oturum_kayit_id	UUID	Yerel istek oturumunun tekil kimliği
cikarim_telemetri	istemci_yerel_ip	VARCHAR(45)	İstekte bulunan yerel makine IP'si
cikarim_telemetri	istenen_prompt_token	INT	İşlenen giriş token miktarı
cikarim_telemetri	uretilen_cevap_token	INT	Üretilen çıkış token miktarı
cikarim_telemetri	ilk_token_suresi_ttft_ms	INT	Time To First Token gecikmesi (Hedef: < 350 ms)
cikarim_telemetri	saniyedeki_token_tps	FLOAT	Üretim hızı (Hedef: > 120 Tokens Per Second)
cikarim_telemetri	toplam_cikarim_sure_ms	INT	Uçtan uca yanıt süresi (Hedef: < 1.200 ms)
cikarim_telemetri	kuyruk_bekleme_suresi_ms	INT	Eşzamanlı istek kuyruğundaki bekleme süresi
vektor_yerel	vektor_motor_adi	VARCHAR(40)	'Qdrant Enterprise On-Premise', 'pgvector Standalone'
vektor_yerel	koleksiyon_indeks_adi	VARCHAR(80)	'yerel_teknik_hafiza_v1'
vektor_yerel	embedding_kart_id	INT	Embedding çıkarımının koştuğu GPU soket kimliği
vektor_yerel	toplam_vektor_sayisi	BIGINT	İndekslenmiş kurumsal metin parçası adedi
vektor_yerel	vektor_arama_sure_ms	INT	Vektör tarama gecikmesi (Hedef: < 45 ms)
guvenlik_yerel	yerel_log_uuid	UUID	Çevrimdışı denetim kaydı UUID'si
guvenlik_yerel	yerel_zaman_damgasi	TIMESTAMP	Donanım RTC (Real Time Clock) hassas zamanı
guvenlik_yerel	erisim_yetki_kodu	VARCHAR(50)	İsteği yapan kullanıcının LDAP yetki kodu
guvenlik_yerel	hata_kod_durumu	VARCHAR(30)	'SUCCESS_200', 'VRAM_OOM_CIRCUIT_BREAKER', 'RATE_LIMIT_EXCEEDED'
guvenlik_yerel	donanim_hata_bayragi	BOOLEAN	GPU ECC bellek hatası veya termal uyarı var mı
guvenlik_yerel	rfc3161_yerel_imza	TEXT	Yerel HSM/KMS cihazıyla imzalanmış denetim izi
donanim_bakim	son_bakim_tarihi	TIMESTAMP	Periyodik termal ve sürücü bakım tarihi

---

Bellek Taşmasını (OOM) Önleyen Çıkarım Mimarisi

Yerel sunucularda yapay zeka çalıştırırken en büyük teknik risk, birden fazla kullanıcının aynı anda uzun istemler göndermesi sonucu GPU belleğinin tükenmesi (Out of Memory - OOM) ve sunucunun kilitlenmesidir. Appsoni bu riski 3 seviyeli koruma mimarisiyle engeller:

1. PagedAttention ile Sıfır Bellek İsrafı: Standart çıkarım yöntemlerinde VRAM'de %60'a varan bellek parçalanması (fragmentation) yaşanır. Kurduğumuz vLLM motoru, işletim sistemlerindeki sanal bellek sayfalaması mantığını GPU'ya taşıyarak bellek israfını %4'ün altına indirir.
2. Akıllı İstek Kuyruğu (Continuous Batching): Gelen istekler kuyrukta statik olarak bekletilmez. Bir kullanıcının yanıt üretimi bittiği mikrosaniyede boşalan VRAM yeni kullanıcının token üretimine tahsis edilir (In-flight Batching). Bu sayede donanım verimi 4 katına çıkar.
3. Devre Kesici (VRAM Circuit Breaker): GPU bellek doluluğu %92 seviyesine ulaştığında devre kesici otomatik tetiklenir; yeni gelen uzun sorgular sıraya alınır veya düşük öncelikli arka plan görevleri duraklatılarak sistemin çökmesi kesin olarak engellenir.

---

Anahtar Teslim On-Premise Kurulum ve Teslimat Modeli

Aşama	Yapılacak Mühendislik Çalışmaları	Süre / Efor
Donanım Boyutlandırma & Planlama	İş yükü analizi, eşzamanlı kullanıcı hesapları, GPU/sunucu/ağ şartnamesinin hazırlanması	1. Hafta
Fiziksel Montaj & İşletim Sistemi	Sunucu montajı, izole LAN yapılandırması, Ubuntu Server, NVIDIA sürücüleri ve CUDA kurulumu	2. Hafta
Model & Çıkarım Motoru Dağıtımı	vLLM/TensorRT-LLM kurulumu, AWQ/FP8 model ağırlıklarının yüklenmesi, API Gateway yapılandırması	3. Hafta
Yerel RAG & Vektör Entegrasyonu	On-premise Qdrant/pgvector kurulumu, yerel embedding modelleri ve Active Directory entegrasyonu	4. Hafta
Stres Testleri, Güvenlik & Devir	Yük testleri (100+ eşzamanlı sorgu), OOM devre kesici simülasyonları, teknik ekibin eğitimi ve canlı devir	5. Hafta
Toplam Proje	Kurum içinde çalışan tam egemen, air-gapped yapay zeka altyapısı	5 Hafta (28 Adam/Gün)

Kurumunuzun en değerli varlığı olan verilerinizi şirket sınırları içinde tutan, aylık bulut lisans maliyetlerini sıfırlayan anahtar teslim bir on-premise yapay zeka kurulumu için sistem mimarlarımızla hemen iletişime geçebilirsiniz.