LLM Gateway Nedir? LLM Firewall ve Runtime Protection ile Farkı
LLM gateway nedir, LLM firewall ve runtime protection'dan farkı ne? Kimlik, token kotası, kayıt, maskeleme ve yönlendirmeyi tek noktada yönetmeyi öğrenin.
LLM gateway nedir sorusunun kısa yanıtı şudur: kurumdaki uygulamalarla yapay zekâ sağlayıcıları arasına konan merkezi bir vekil katmandır. Uygulamalar modele doğrudan değil, gateway üzerinden bağlanır. Kimlik doğrulama, token kotası, kayıt, model yönlendirme ve sağlayıcı anahtarlarının saklanması tek noktada toplanır. Gateway, LLM firewall ya da runtime protection ile aynı şey değildir. Ama bu kontrollerin politikasının uygulandığı yer olabilir. Karşılığında bu katmanın kendisi kritik bir hedef olur ve dikkatle korunmalıdır.
LLM gateway nedir ve tam olarak ne yapar?
Uygulama yalnız gateway adresini ve kendi kimlik bilgisini bilir. Sağlayıcı anahtarları, yönlendirme kuralları ve politikalar gateway'de durur. Bir istek geldiğinde gateway çağıranın kimliğini doğrular, kotasını denetler, politikaları uygular, isteği uygun modele iletir, yanıtı geri döndürür ve bu sırada ölçüm verisi üretir.
Piyasadaki ürünler bu işi benzer biçimde tarif ediyor. Microsoft, Azure API Management'taki AI gateway'i yapay zekâ modellerini, ajanları ve araçları güvenceye almak, ölçeklemek, izlemek ve yönetmek için bir yetenek kümesi olarak tanımlar. Cloudflare AI Gateway analitik, kayıt, önbellek, hız sınırı, yeniden deneme ve model yedeklemesi sunar. Açık kaynak LiteLLM ise her kullanıcıya, ekibe ve projeye kendi model listesi, bütçesi ve hız sınırı olan sanal anahtar verir, istek ve yanıtlara içerik filtresi ve kişisel veri maskeleme uygulayabilir.
Gateway'in dört temel işi:
- Kimlik ve yetki: Hangi uygulamanın ya da ekibin hangi modele erişebileceğini belirler.
- Kota ve bütçe: İstek sayısını ve token kullanımını tüketici bazında sınırlar.
- Kayıt ve izleme: Kim, ne zaman, hangi modeli, kaç token ve hangi maliyetle kullandı sorusunu yanıtlar.
- Yönlendirme: İsteği duruma göre farklı model ya da sağlayıcıya gönderir, arızada yedek yola geçer.
LLM gateway, LLM firewall ve runtime protection farkı nedir?
Kurumsal aramalarda bu üç kavram ve klasik WAF sıkça birbirine karıştırılıyor. Fark, her katmanın hangi soruyu cevapladığındadır.
| Katman | Cevapladığı soru | Gördüğü veri | Tipik kontroller | Yetmediği yer |
|---|---|---|---|---|
| WAF | Bu HTTP isteği bilinen bir saldırı kalıbı mı? | İstek başlıkları, gövde, imzalar | SQL enjeksiyonu, bot, hız | Doğal dildeki talimatın anlamını bilmez |
| LLM gateway | Kim, hangi modele, ne kadar erişebilir? | Kimlik, model, token, maliyet | Kimlik, kota, yönlendirme, kayıt | İçeriğin güvenli olup olmadığını kendi başına bilmez |
| LLM firewall (AI firewall) | Bu istem ya da yanıt güvenli mi? | İstem ve yanıt metni | Prompt injection tespiti, PII maskeleme, içerik politikası | Yetkili bir araç çağrısının iş kuralını bilmez |
| Runtime protection | Çalışma anında sistem güvenli davranıyor mu? | Metin, araç çağrıları, ajan adımları, akış | Firewall, araç politikası, akış filtresi, davranış izleme | Tasarım hatasını ve yanlış yetkiyi tek başına düzeltmez |
Pratikte gateway ve firewall çoğu zaman aynı noktada çalışır. Azure API Management'ın içerik güvenliği politikası istemleri Azure AI Content Safety ile denetler, LiteLLM de guardrail tanımlarını gateway üzerinden uygular. Yine de iki sorumluluk ayrı düşünülmelidir: gateway trafiği yönetir, firewall içeriği değerlendirir. İçerik denetiminin nasıl çalıştığı için LLM firewall nedir yazısına, ürün seçim ölçütleri için AI firewall seçim rehberi yazısına bakabilirsiniz. Ajanların gerçek sistemlere yaptığı çağrılar ise gateway'in değil, uygulamadaki politika katmanının işidir. Bu katman için araç çağrısı doğrulama yazısı yol gösterir.
Hangi güvenlik kontrolleri gateway'e taşınır?
Kontroller uygulama kodundan çıkarılıp merkezi katmana alınınca tutarlı uygulanır. Yeni bir servis eklendiğinde güvenlik katmanı sıfırdan yazılmaz.
| Kontrol | Gateway'de nasıl çalışır | Dikkat edilecek nokta |
|---|---|---|
| Sağlayıcı anahtarı | Anahtar gateway'de ya da yönetilen kimlikte durur, uygulama görmez | Uygulamalara kısa ömürlü, dar kapsamlı kimlik verin |
| Kimlik doğrulama | Her istek bir uygulama, ekip ya da kullanıcıya bağlanır | Paylaşılan ortak anahtar kullanmayın |
| Token kotası | Tüketici başına dakikalık ve dönemsel sınır | Uyarı eşiği kesme eşiğinden önce gelmeli |
| Model izin listesi | Yalnız onaylı modellere yönlendirme | Yeni model eklemek değişiklik onayı gerektirmeli |
| İçerik politikası | İstem ve yanıt kurallara göre taranır | Aşırı red oranını izleyin |
| Kişisel veri maskeleme | TCKN, IBAN gibi alanlar sağlayıcıya gitmeden gizlenir | Maskeleme yanıt kalitesini etkileyebilir |
| Kayıt | Her çağrı için üst veri, gerekirse maskelenmiş içerik | İçerik kaydı ayrı bir kararla yönetilmeli |
Azure API Management'ta tüketici başına token sınırı tek bir politikayla tanımlanabilir. Belgelerdeki örnek, abonelik anahtarı başına dakikada 500 token sınırı koyar:
<llm-token-limit counter-key="@(context.Subscription.Id)"
tokens-per-minute="500" estimate-prompt-tokens="false"
remaining-tokens-variable-name="remainingTokens">
</llm-token-limit>Türkçe trafikte TCKN ve IBAN maskeleme kuralları için KVKK uyumlu PII maskeleme yazısına bakabilirsiniz.
Maliyet ve sağlayıcı yönetimine nasıl katkı verir?
Gateway her çağrıyı etiketlediği için hangi uygulamanın ne kadar harcadığı görünür hale gelir. Beklenmedik bir artışta sorumlu uygulama hızla bulunur. Maliyet kontrolü aynı zamanda güvenlik kontrolüdür. OWASP LLM06:2026 Unbounded Consumption maddesi; girdi boyutu sınırı, hız sınırı ve kullanıcı kotası, zaman aşımı, kaynak kullanımının izlenmesi ve güçlü erişim denetimini önerir. Bu önlemlerin çoğu doğal olarak gateway'de uygulanır.
Sağlayıcı yedeklemesi dikkat ister. Gateway birincil sağlayıcı yanıt vermediğinde ikinci bir sağlayıcıya geçebilir, ama bu geçiş sessiz olmamalıdır. Modeller farklı davranır, farklı güvenlik süzgeçleri uygular ve veri saklama koşulları değişebilir. Yedek yol önceden onaylanmalı ve aynı güvenlik testinden geçirilmelidir.
İstem ve yanıt kaydı nasıl yönetilmeli?
Gateway'ler istem ve yanıt içeriğini kaydedebilir. Azure API Management belgeleri, istemlerin ve tamamlamaların faturalama ve denetim için Azure Monitor'a kaydedilebildiğini anlatır. Bu güçlü bir özelliktir, ama aynı zamanda kişisel veri ve ticari sırrın tek bir yerde birikmesi demektir.
Önerilen karar sırası:
- Varsayılan olarak yalnız üst veri kaydedin: kimlik, model, zaman, token, sonuç kodu.
- İçerik kaydı gerekiyorsa amacını yazın: olay incelemesi, kalite ölçümü ya da denetim.
- Kişisel verileri kayda yazmadan önce maskeleyin.
- Saklama süresini amaçla sınırlayın ve otomatik silme tanımlayın.
- Kayda erişimi dar bir ekiple sınırlayın ve erişimi de kayda geçirin.
Hangi gateway mimarisi seçilmeli?
Seçim, verinin nerede işleneceğine ve gateway'i kimin işleteceğine bağlıdır.
| Seçenek | Örnek | Güçlü yanı | Dikkat edilecek nokta |
|---|---|---|---|
| Bulut sağlayıcısının API yönetimi | Azure API Management AI gateway | Mevcut kimlik, ağ ve izleme altyapısıyla bütünleşme | Özellikler hizmet katmanına göre değişir, sağlayıcıya bağımlılık artar |
| Kenar ağı hizmeti | Cloudflare AI Gateway | Hızlı kurulum, önbellek ve analitik | İstem ve kayıtlar üçüncü tarafta işlenir, veri yerleşimi sorgulanmalı |
| Açık kaynak, kurum içi | LiteLLM | Veri kurum içinde kalır, yapılandırma esnek | İşletme, yama ve yüksek erişilebilirlik sizin sorumluluğunuzda |
Kişisel veri ve ticari sır içeren trafikte, gateway'in istemleri nerede işlediği ve kayıtları nerede sakladığı seçim ölçütlerinin başında gelmelidir. Hangi seçenek seçilirse seçilsin, yapılandırmanın dışa aktarılabilir olması ileride ürün değiştirmeyi kolaylaştırır.
Tek nokta riski nasıl yönetilir?
Gateway bütün trafiği topladığı için hem erişim hem kesinti hedefidir. Ele geçirilirse sağlayıcı anahtarlarına ve bütün istemlere ulaşılabilir. Çökerse bütün yapay zekâ özellikleri durabilir.
- Erişim: Yönetim arayüzünü dar bir yönetici grubuna açın, çok faktörlü doğrulamayı zorunlu tutun, yönetici işlemlerini ayrı kayıtta izleyin.
- Sırlar: Sağlayıcı anahtarlarını sır yönetim sisteminde saklayın, mümkünse yönetilen kimlik kullanın.
- Süreklilik: Birden fazla örnek, sağlık kontrolü ve yazılı bir hata politikası kurun. Gateway yanıt vermezse isteklerin reddedileceğini ya da önceden onaylı bir yola gideceğini önceden kararlaştırın.
- Yazılım güvenliği: Gateway de bir yazılımdır. Bağımlılıklarını güncelleyin, güvenlik bültenlerini izleyin ve yapılandırma değişikliklerini gözden geçirin.
Gateway kurulumundan önce hangi adımlar izlenmeli?
- Envanter: Hangi uygulamanın hangi sağlayıcıya hangi anahtarla bağlandığını listeleyin.
- Politika: Kimin hangi modele erişeceğini ve hangi verinin dışarı gitmeyeceğini yazın.
- Hata davranışı: Gateway ya da firewall yanıt vermezse ne olacağını belirleyin.
- Pilot: Düşük riskli bir uygulamayı taşıyın, gecikmeyi ve hata oranını ölçün.
- Anahtar taşıma: Sağlayıcı anahtarlarını uygulamalardan çekip gateway tarafında sır yönetimine alın ve eski anahtarları iptal edin.
- Doğrudan çıkışı kapatma: Ağ kurallarıyla uygulamaların sağlayıcıya doğrudan gitmesini engelleyin.
- İzleme ve test: Kota aşımı, olağandışı kullanım ve politika ihlali için uyarı kurun, gateway'in kendisini yetki aşımı ve kota atlatma açısından test edin.
Altıncı adım sık atlanır. Doğrudan çıkış açık kaldıkça gateway'i dolanmak kolaydır ve merkezi kontrol yalnız iyi niyetli kullanımda işler. Kurumunuzda gateway, firewall ve araç politikası katmanlarının birlikte nasıl kurgulanacağını değerlendirmek için LLM güvenliği sayfasındaki hizmet kapsamına bakabilirsiniz.
Sık Sorulan Sorular
LLM gateway ile API gateway aynı şey midir?
Hayır. API gateway genel HTTP trafiğini yönetir. LLM gateway ise token kullanımını, model seçimini, sağlayıcılar arası biçim farkını, istem ve yanıt kaydını ve içerik politikasını da bilir. Bazı ürünlerde LLM gateway, mevcut API gateway'in üzerine eklenen bir yetenek kümesidir. Azure API Management belgeleri de AI gateway özelliklerini ayrı bir ürün değil, mevcut API gateway'in uzantısı olarak tanımlar.
LLM firewall ile runtime protection arasındaki fark nedir?
LLM firewall, istem ve yanıt metnini prompt injection, kişisel veri sızıntısı ve zararlı içerik açısından denetleyen satır içi bir katmandır. Runtime protection daha geniş bir kavramdır: firewall'a ek olarak araç çağrısı politikası, ajan davranış izleme, kota ve akış filtresi gibi çalışma anındaki bütün kontrolleri kapsar. Firewall runtime protection'ın bir parçasıdır, tamamı değildir.
AI firewall geleneksel WAF'tan nasıl ayrılır?
WAF, HTTP isteğini imza ve kurallarla inceler, SQL enjeksiyonu gibi bilinen saldırı kalıplarını yakalar. AI firewall ise doğal dildeki talimatın anlamını, modelin yanıtındaki kişisel veriyi ve gizli talimat örüntülerini değerlendirir. Prompt injection geçerli bir HTTP isteğinin içindeki sıradan bir cümle olduğu için WAF kurallarına çoğu zaman takılmaz. İki katman birbirinin yerini tutmaz.
Gateway istem ve yanıt içeriğini kaydetmeli mi?
Kayıt olay incelemesi için değerlidir, ama istemler kişisel veri ve ticari sır içerebilir. Varsayılan tercih üst veri kaydı olmalıdır: kim, hangi modele, ne zaman, kaç token. İçerik kaydı gerekiyorsa kişisel veriler maskelenmeli, saklama süresi kısa tutulmalı ve erişim dar bir ekiple sınırlanmalıdır. Bu karar hukuk ve veri koruma sorumlularıyla birlikte verilmelidir.
Küçük bir ekip için gateway gerekli midir?
Her zaman gerekli değildir. Tek uygulama, tek sağlayıcı ve az kullanıcı varsa doğrudan bağlantı yönetilebilir. Birden fazla ekip, birden fazla sağlayıcı, bütçe takibi ya da denetim ihtiyacı doğduğunda gateway'in merkezi kontrolü kendi işletme maliyetini karşılamaya başlar. Açık kaynak seçenekler küçük ölçekte başlamayı kolaylaştırır, ama gateway'in kendisini de korumanız gerekir.
Kaynaklar
İlgili Yazılar
- Yapay Zekâ Güvenlik Duvarı (LLM Firewall) Nedir?
- Yapay Zekâ Güvenlik Duvarı (AI Firewall) Seçim ve Değerlendirme Rehberi
- Bir LLM Firewall'ın İçi: Hibrit Mimari Anatomisi Regex + ML katmanları, gecikme bütçesi ve fail-open/fail-closed kararı
- Streaming LLM Güvenliği: Akış Yanıtlarında Çıktı Filtresi Nasıl Çalışır?
Bu yazı, Türkiye odaklı Yapay Zekâ Güvenliği Rehberi'nin destek makalelerinden biridir.