yerel LLM kurulum ve entegrasyon hizmeti

Kurum içi sunucularda yüksek hızlı, güvenli yerel LLM kurulum ve entegrasyonu.

Verilerinizi üçüncü taraf bulut API'lerine çıkarmadan; kurumunuzun kendi GPU sunucularında açık kaynaklı büyük dil modellerini (Llama 3.3, Qwen 2.5, DeepSeek) optimize eden, kurumsal ERP, CRM ve veritabanlarınıza güvenli API ve araç çağrılarıyla (Function Calling) bağlayan anahtar teslim mühendislik hizmeti.

WhatsApp'tan ulaşın

Yapay zeka mimarı ve sistem mühendisi yerel GPU sunucusunda çalışan LLM çıkarım boru hattını ve ERP entegrasyon telemetrisini incelerken

Neyi çözüyoruz

Kurumlar yapay zekanın üretkenlik gücünden faydalanmak isterken ticari sırların sızması, KVKK ve sektör regülasyonları nedeniyle genel bulut modellerini doğrudan üretim verilerine bağlayamaz. Ancak şirket sunucularında açık kaynaklı bir büyük dil modeli (LLM) çalıştırmak; GPU bellek boyutlandırması, kuantizasyon (AWQ, FP8), yüksek hızlı çıkarım motoru seçimi (vLLM, TensorRT-LLM) ve modelin kurumsal ERP/CRM sistemleriyle güvenli konuşabilmesi (Tool Use / Function Calling) için derin sistem mühendisliği gerektirir. Hatalı konfigürasyonlar aşırı bellek tüketimi (OOM), dakikalar süren gecikmeler ve veri kilitlenmeleri yaratır.

Şirketinizin hassas verilerini ve müşteri kayıtlarını tamamen şirket ağı içinde tutan %100 yerel LLM mimarisine geçin.

vLLM ve PagedAttention motoruyla saniyede 95+ token üretim hızına ve 220 ms altında ilk token gecikmesine (TTFT) ulaşın.

Modelin Logo, Mikro ve SAP ERP verilerini okuyup eylem gerçekleştirebildiği (Function Calling) güvenli kurumsal araç entegrasyonunu devreye alın.

Kurum İçi Donanımda Tam Egemen, Yüksek Performanslı Büyük Dil Modeli Mimarisi

Genel bulut yapay zeka modelleri hızlı bir başlangıç sağlasa da, şirketlerin üretim reçeteleri, mali tabloları, müşteri sözleşmeleri ve Ar-Ge kodları gibi en kritik varlıkları genel ağlara aktarılamaz. Ayrıca genel API servislerinde yaşanan beklenmedik fiyat artışları, hız sınırlamaları (Rate Limiting) ve hizmet kesintileri iş sürekliliğini tehdit eder.

Yerel LLM kurulum ve entegrasyon hizmeti kapsamında Appsoni; açık kaynak dünyasının en güçlü modellerini (Llama 3.3, Qwen 2.5, DeepSeek) kurumunuzun kendi sunucu altyapısında en yüksek çıkarım verimliliğiyle ayağa kaldırır. Sadece modeli çalıştırmakla kalmaz; kurumsal ERP (Logo, Mikro, SAP), CRM ve veritabanı sistemlerinizle iki yönlü, güvenli ve denetlenebilir fonksiyon çağrısı (Function Calling / Tool Execution) entegrasyonunu tamamlarız.

Yapay zeka sistem mühendisi yerel LLM çıkarım boru hattını ve model kuantizasyon profilini incelerken

Yerel LLM Çıkarım ve Entegrasyon Topolojisi

Sistem, kurum içi yerel ağda (Private LAN) 4 ana katmandan oluşan yüksek güvenlikli ve yedekli bir boru hattıyla çalışır:

[Kurumsal İstemciler / Web Arayüzü / Masaüstü / El Terminali]
                             │
                             ▼ (mTLS 1.3 / JWT Kimlik Doğrulama)
     [Yerel Entegrasyon ve Güvenlik Ağ Geçidi (API Gateway)]
     ├─ PII Maskeleme Motoru (TCKN, IBAN, Kredi Kartı Gizleme)
     ├─ İstem Enjeksiyonu Filtresi (Prompt Injection Guardrails)
     └─ Token Hız Sınırlayıcı ve Departman Kota Yöneticisi
                             │
                             ▼ (Asenkron gRPC / REST v2)
     [Yüksek Hızlı Yerel Çıkarım Motoru (Inference Cluster)]
     ├─ vLLM Engine (Continuous Batching + PagedAttention v2)
     ├─ Tensör Paralelizmi (TP=2 veya TP=4 GPU Dağıtımı)
     ├─ Model Ağırlıkları: AWQ-INT4 / FP8 E4M3 Kuantizasyon
     └─ Prefix Caching (Ortak Sistem İstemleri için Sıfır Gecikme)
                             │
                             ▼ (Structured Tool Call / JSON Schema)
     [Kurumsal Araç ve Sistem Entegrasyon Katmanı]
     ├─ Logo Tiger / Netsis Entegratörü (LG_XXX_ITEMS, Malzeme Bakiye)
     ├─ Mikro Fly / Jump Entegratörü (STOK_HAREKETLERI, Cari Bakiye)
     ├─ SAP ERP RFC/BAPI Bağlayıcısı (Sipariş Durumu ve Fatura Sorgusu)
     └─ İnsan Onayı (Human-in-the-Loop) Kuyruğu (Kritik İşlem Tetikleme)

Veri Modeli ve Teknik Konfigürasyon Şeması (51 Benzersiz Veri Noktası)

Yerel LLM kurulumunun model parametreleri, çıkarım telemetrisi, donanım kontrolü, ERP entegrasyonu ve güvenlik denetim alanları:

Tablo Adı	Teknik Alan Adı	Veri Tipi	Sistem ve Operasyonel Kural Açıklaması
`model_dagitim`	`model_dagitim_id`	UUID	Yerel model dağıtımının tekil UUID kimliği
`model_dagitim`	`temel_model_ailesi`	VARCHAR(60)	'Llama-3.3-70B-Instruct', 'Qwen-2.5-72B', 'DeepSeek-V3-MoE'
`model_dagitim`	`kuantizasyon_formati`	VARCHAR(30)	'AWQ-INT4', 'FP8-E4M3', 'GGUF-Q4_K_M', 'GPTQ-4BIT'
`model_dagitim`	`toplam_parametre_milyar`	FLOAT	Modelin toplam ağırlık boyutu (Ör: 70.6 Milyar)
`model_dagitim`	`baglam_penceresi_token`	INT	Maksimum context boyutu (16.384, 32.768, 65.536 token)
`model_dagitim`	`gpu_sayisi_tahsis`	INT	Dağıtım için ayrılan fiziksel GPU kart adedi (Ör: 2 veya 4)
`model_dagitim`	`tensor_paralel_derecesi`	INT	Modelin kartlar arası bölünme derecesi (`tensor_parallel_size: 4`)
`model_dagitim`	`boru_hatti_paralelligi`	INT	Pipeline paralellik katsayısı (`pipeline_parallel_size: 1`)
`cikarim_sunucusu`	`sunucu_motoru`	VARCHAR(40)	'vLLM Engine', 'TensorRT-LLM', 'SGLang High-Throughput'
`cikarim_sunucusu`	`motor_surumu`	VARCHAR(20)	Çıkarım motoru yazılım sürümü (Ör: 'vLLM 0.6.3')
`cikarim_sunucusu`	`kv_onbellek_tahsisi`	FLOAT	KV Cache bellek tahsis oranı (`gpu_memory_utilization: 0.92`)
`cikarim_sunucusu`	`paged_attention_blok_boyut`	INT	PagedAttention blok büyüklüğü (16 veya 32 token)
`cikarim_sunucusu`	`onbellek_token_kapasite`	INT	Eşzamanlı aktif tutulabilen KV Cache token kapasitesi (384.000)
`cikarim_sunucusu`	`prefix_caching_etkin`	BOOLEAN	Sistem promptları için otomatik önbellek devrede mi (True)
`cikarim_sunucusu`	`dinleme_ip_port`	VARCHAR(30)	Yerel çıkarım soketi adresi (Ör: '10.30.50.12:8000')
`entegrasyon_ag_gecidi`	`gateway_uuid`	UUID	Entegrasyon API ağ geçidinin tekil kimliği
`entegrasyon_ag_gecidi`	`protokol_tipi`	VARCHAR(20)	'REST-JSON', 'gRPC-v2', 'WebSocket-SSE'
`entegrasyon_ag_gecidi`	`kimlik_dogrulama_yontemi`	VARCHAR(40)	'mTLS-1.3', 'JWT-RS256', 'Active-Directory-LDAP'
`entegrasyon_ag_gecidi`	`dakikalik_istek_limiti`	INT	İstemci başına hız sınırı eşiği (Ör: 600 req/min)
`entegrasyon_ag_gecidi`	`zaman_asimi_timeout_ms`	INT	Maksimum çıkarım bekleme süresi (30.000 ms)
`fonksiyon_cagrisi`	`arac_katalog_adi`	VARCHAR(80)	'erp_stok_sorgula', 'crm_musteri_getir', 'fatura_onay_ver'
`fonksiyon_cagrisi`	`fonksiyon_sema_json`	JSONB	JSON Schema OpenAPI uyumlu parametre şablonu
`fonksiyon_cagrisi`	`hedef_sistem_turu`	VARCHAR(40)	'Logo Tiger REST', 'Mikro COM API', 'SAP BAPI RFC'
`fonksiyon_cagrisi`	`onay_gereksinimi`	BOOLEAN	Yazma işlemlerinde yönetici onayı şart mı (True/False)
`fonksiyon_cagrisi`	`calistirma_yetki_seviyesi`	VARCHAR(30)	'READ_ONLY', 'OPERATOR_WRITE', 'DIRECTOR_EXEC'
`erp_entegrasyon_baglanti`	`erp_sistem_kodu`	VARCHAR(30)	'LOGO_TIGER_3', 'MIKRO_FLY_V16', 'SAP_S4HANA'
`erp_entegrasyon_baglanti`	`veritabani_tablo_adi`	VARCHAR(60)	'LG_001_ITEMS', 'LG_001_01_ORFICHE', 'STOK_HAREKETLERI'
`erp_entegrasyon_baglanti`	`sql_izolasyon_seviyesi`	VARCHAR(30)	'READ_COMMITTED', 'READ_UNCOMMITTED_NOLOCK'
`erp_entegrasyon_baglanti`	`kuyruk_tampon_motoru`	VARCHAR(30)	'RabbitMQ 3.13', 'Redis Streams 7.2'
`erp_entegrasyon_baglanti`	`idempotency_anahtari`	VARCHAR(64)	Çift kayıt oluşmasını engelleyen tekil hash anahtarı
`cikarim_metrik`	`istek_takip_id`	UUID	Dağıtık izleme için OpenTelemetry Trace ID
`cikarim_metrik`	`istemci_departman_kodu`	VARCHAR(40)	'FINANS_MUHASEBE', 'URETIM_PLANLAMA', 'SATIS_OPERASYON'
`cikarim_metrik`	`girdi_token_sayisi`	INT	İşlenen prompt token miktarı
`cikarim_metrik`	`cikti_token_sayisi`	INT	Üretilen yanıt token miktarı
`cikarim_metrik`	`ttft_gecikme_ms`	INT	Time To First Token gecikmesi (Hedef: < 220 ms)
`cikarim_metrik`	`tps_uretim_hizi`	FLOAT	Saniyedeki üretim hızı (Hedef: > 95 token/s)
`cikarim_metrik`	`kv_cache_hit_orani`	FLOAT	Önbellek vuruş oranı (Ör: %78.4)
`cikarim_metrik`	`gpu_vram_kullanim_mb`	INT	İstek anındaki GPU VRAM sarfiyatı (Ör: 44.200 MB)
`cikarim_metrik`	`gpu_cekirdek_sicaklik_c`	FLOAT	Kart sıcaklık telemetrisi (Hedef: < 72°C)
`cikarim_metrik`	`gpu_guc_cekisi_watt`	FLOAT	Anlık güç çekişi (Ör: 285 W / Max: 350 W)
`guvenlik_denetim`	`log_olay_id`	BIGINT	Değiştirilemez denetim kaydı seri sıra no
`guvenlik_denetim`	`kullanici_ad_upn`	VARCHAR(100)	LDAP User Principal Name ('ahmet.yilmaz@sirket.local')
`guvenlik_denetim`	`istemci_yerel_ip`	VARCHAR(45)	Kurum içi istemci IP adresi ('172.16.20.85')
`guvenlik_denetim`	`pii_maskeleme_yapildi_mi`	BOOLEAN	TCKN, IBAN ve telefon numarası maskelendi mi
`guvenlik_denetim`	`istem_enjeksiyon_skoru`	FLOAT	Prompt injection risk puanı (0.00 - 1.00)
`guvenlik_denetim`	`guvenlik_aksiyonu`	VARCHAR(30)	'PASSED_CLEAN', 'PII_MASKED', 'PROMPT_BLOCKED'
`guvenlik_denetim`	`zaman_damgasi_yerel`	TIMESTAMP	Donanım RTC hassas zaman damgası
`hata_yonetimi`	`hata_siniflandirma_kodu`	VARCHAR(40)	'ERR_VRAM_OOM', 'ERR_TOOL_TIMEOUT', 'ERR_ERP_DEADLOCK'
`hata_yonetimi`	`otomatik_yeniden_deneme_sayisi`	INT	Başarısız istekte kuyruk deneme sayısı (Maks: 3)
`hata_yonetimi`	`devre_kesici_tetiklendi_mi`	BOOLEAN	Yüksek yükte Circuit Breaker devreye girdi mi
`hata_yonetimi`	`yedek_hafif_modele_gecis`	BOOLEAN	Ağır model meşgulse 8B yedek modele yönlendirme yapıldı mı

Güvenli Fonksiyon Çağrısı (Function Calling) ve ERP Eşitlemesi

Bir büyük dil modelinin işletmeye gerçek değer üretmesi, şirket veritabanlarındaki canlı kayıtlara erişebilmesiyle mümkündür. Ancak modele doğrudan kontrolsüz SQL yetkisi vermek ciddi veri bütünlüğü ve güvenlik riskleri barındırır. Appsoni bu süreci 3 adımlı doğrulamayla güvenceye alır:

Katı JSON Şema Doğrulaması: Model, sisteme entegre araçları çağırırken rastgele metin yerine katı JSON şemalarına (Pydantic / OpenAPI) uymak zorundadır. Örneğin Logo ERP üzerinde stok sorgulaması yapılacaksa, modelin çıktısı {"stok_kodu": "STK-10294", "depo_kodu": 1} formatında doğrulanmadan ERP servis katmanına iletilmez.
Kuyruk Tamponu ve Deadlock Koruması: Eşzamanlı yüzlerce yapay zeka sorgusu ERP veritabanını kilitlemesin diye tüm istekler Redis/RabbitMQ kuyruklarında tamponlanır. ERP tabloları okunurken WITH (NOLOCK) veya READ COMMITTED SNAPSHOT izolasyonu zorunlu tutulur.
Kritik İşlemlerde İnsan Onayı (Human-in-the-Loop): Model bir teklif hazırlayabilir veya sipariş taslağı oluşturabilir; ancak faturanın kesilmesi veya satınalma siparişinin tedarikçiye gönderilmesi için ilgili departman yöneticisinin ekranına onay kartı düşer. Yönetici tek tıkla onay vermeden ERP üzerinde nihai fiş oluşmaz.

Anahtar Teslim Yerel LLM Kurulum ve Entegrasyon Takvimi

Proje Aşaması	Yapılacak Mühendislik Faaliyetleri	Süre / Efor
Gereksinim & Donanım Boyutlandırma	Senaryoların belirlenmesi, GPU VRAM ve model seçimi, ağ topolojisi planı	1. Hafta
İşletim Sistemi & Sürücü Optimizasyonu	Linux Enterprise, CUDA 12.4, NVIDIA sürücüleri ve izole ağ yapılandırması	2. Hafta
vLLM / TensorRT Dağıtımı & Kuantizasyon	AWQ/FP8 model ağırlıklarının yüklenmesi, Continuous Batching ve PagedAttention ayarları	3. Hafta
ERP & API Fonksiyon Entegrasyonu	REST API Gateway, Logo/Mikro/SAP fonksiyon çağrıları (Tool Calling) ve kuyruk mimarisi	4. Hafta
Yük Testi, Güvenlik Denetimi & Canlıya Geçiş	100+ eşzamanlı istek stres testleri, PII maskeleme denetimi ve teknik ekip eğitimi	5. Hafta
Toplam Proje Teslimi	Şirket altyapısında çalışan tam entegre, yüksek hızlı yerel LLM sistemi	5 Hafta (26 Adam/Gün)

Şirketinizin kurumsal verilerini koruyarak açık kaynaklı büyük dil modellerini en yüksek hızda devreye almak ve ERP sistemlerinizle konuşturmak için yapay zeka mühendislerimizle hemen iletişime geçebilirsiniz.

Sık sorulan sorular

Yerel LLM kurulumu için hangi açık kaynak modelleri tercih edilmelidir?

Kurumsal Türkçe dil performansı, mantıksal akıl yürütme ve fonksiyon çağırma (Tool Use) başarısında Meta Llama 3.3 70B, Qwen 2.5 72B ve DeepSeek-V3 modelleri öne çıkmaktadır. Kod üretimi ve SQL sorgulama odaklı senaryolarda Qwen 2.5 Coder 32B; daha hafif operasyonel görevlerde ise Llama 3.1 8B veya Qwen 2.5 14B modelleri yüksek hız ve düşük donanım maliyeti sağlar. İhtiyacınıza göre tekli veya çoklu model orkestrasyonu kurguluyoruz.

Modelin ERP veya veritabanlarımızla konuşması (Function Calling) nasıl güvenli kılınır?

Model doğrudan veritabanına ham SQL çalıştırmaz. Bunun yerine OpenAPI şemalarıyla tanımlanmış katı parametreli araç fonksiyonları (Tool Calling) sağlanır. Örneğin 'erp_stok_sorgula' fonksiyonu sadece belirli stok kodlarını filtreleyebilir. Veri yazma veya sipariş onaylama gibi kritik işlemlerde ise insan onay adımı (Human-in-the-Loop) zorunlu tutularak yetkisiz işlem riski tamamen ortadan kaldırılır.

vLLM veya TensorRT-LLM çıkarım motoru kullanmanın avantajı nedir?

Ollama gibi temel geliştirici araçları tek kullanıcılı testler için uygundur; ancak onlarca eşzamanlı personelin çalıştığı kurumsal yapılarda yetersiz kalır. vLLM ve TensorRT-LLM, sürekli gruplama (Continuous Batching), PagedAttention (VRAM parçalanmasını önleme) ve tensör paralelizmi desteğiyle GPU kaynaklarını %95 verimle kullanarak 4 ila 6 kat daha yüksek token üretim hızı (TPS) sunar.

Kurulum için gereken sunucu ve GPU donanım maliyeti nedir?

70B parametreli kurumsal modelleri AWQ 4-bit veya FP8 kuantizasyonla saniyede 100 token hızında çalıştırmak için 2 adet NVIDIA L40S (48GB) veya tek bir RTX 6000 Ada (48GB) yeterlidir. 8B ve 14B modeller tek bir RTX 4090 (24GB) üzerinde dahi son derece akıcı çalışır. Mevcut sunucu altyapınızı inceliyor, en yüksek fiyat/performans oranına sahip GPU konfigürasyonunu belirliyoruz.

Model güncellemeleri ve bakım süreci nasıl yönetilir?

Açık kaynak dünyasında daha yetenekli model sürümleri yayımlandığında, sistem mimarinizi bozmadan model ağırlıklarını ve kuantizasyon dosyalarını güncelliyoruz. Periyodik SLA kapsamında GPU sürücü güncellemeleri, vLLM motor yamaları, KV Cache bellek optimizasyonları ve 7/24 telemetri izleme desteği sağlıyoruz.