LLM Tabanlı Güvenlik Operasyon Merkezlerinde İnsan Katılımlı Karar Mekanizmalarının Etkinlik ve Güvenilirlik Üzerine Etkisi


Tezin Türü: Yüksek Lisans

Tezin Yürütüldüğü Kurum: Marmara Üniversitesi, Teknoloji Fakültesi, Bilgisayar Mühendisliği Bölümü, Türkiye

Tezin Dili: Türkçe

Öğrenci: Ömer Faruk BAHAR

Danışman: Abdulsamet Aktaş

Özet:

Güvenlik Operasyon Merkezleri (SOC), dijital altyapıların hızla genişlemesi ve siber tehditlerin giderek karmaşıklaşması nedeniyle sürekli artan alarm hacmiyle karşı karşıyadır. Bu durum, yüksek yanlış pozitif oranlarıyla birleştiğinde analist yorgunluğuna yol açmakta, kritik tehditlerin gözden kaçmasına ve ortalama müdahale sürelerinin uzamasına neden olmaktadır. Son yıllarda Büyük Dil Modelleri (LLM) tabanlı otonom ajanlar, alarm önceliklendirme ve analiz süreçlerini otomatikleştirerek bu yükü hafifletme potansiyeli taşıyan umut verici bir yaklaşım olarak öne çıkmaktadır. Ancak tam otonom yapay zeka sistemlerine duyulan güven eksikliği, bu teknolojilerin operasyonel ortamlarda benimsenmesini önemli ölçüde sınırlandırmaktadır. Özellikle yüksek önem derecesine sahip güvenlik olaylarında, insan denetimi olmaksızın alınan kararların potansiyel riskleri, güvenlik ekiplerinin tam otomasyona geçişini zorlaştırmaktadır. Bu çalışma, LLM tabanlı bir Yönetilen Genişletilmiş Tespit ve Müdahale (MXDR) platformunda İnsan Katılımlı (Humanin-the-Loop / HITL) karar mekanizmalarının alarm analiz doğruluğu, ortalama müdahale süresi ve analist iş yükü üzerindeki etkisini kapsamlı bir deneysel çerçeve içinde araştırmaktadır. Çalışmada kullanılan platform, dört farklı güvenlik sağlayıcısından (Microsoft Defender, CrowdStrike, Palo Alto Cortex XDR ve SentinelOne) gelen alarmları birleşik bir formata dönüştürerek LLM tabanlı ajanlar aracılığıyla analiz etmektedir. Platform, Siber Tehdit İstihbaratı (CTI) entegrasyonu, çok katmanlı analiz yapısı ve modüler ajan mimarisi ile gerçek dünya SOC operasyonlarını simüle etmektedir. Araştırma kapsamında üç farklı operasyon modu karşılaştırılmaktadır: yapay zeka kararlarının doğrudan uygulandığı tam otonom mod, her alarmın insan onayı gerektirdiği tam HITL modu ve önem derecesi ile güven skoru matrisine dayalı olarak seçici insan müdahalesinin uygulandığı akıllı HITL modu. Akıllı HITL modunda, alarm önceliği ve yapay zeka güven skoruna göre dinamik bir yönlendirme matrisi kullanılmakta; düşük riskli alarmlar otomatik onaylanırken yüksek önem derecesine sahip veya düşük güven skorlu alarmlar analist değerlendirmesine yönlendirilmektedir. Ayrıca zaman aşımı yönetimi, yetki devri ve karar geçersiz kılma mekanizmaları da değerlendirmeye dahil edilmektedir. Deneysel değerlendirmede doğruluk, kesinlik, duyarlılık, ortalama müdahale süresi, analist müdahale oranı ve geçersiz kılma oranı gibi nicel metrikler kullanılmaktadır. Sonuçların, akıllı HITL yaklaşımının tam otonom modele kıyasla analiz doğruluğunu artırırken, tam HITL moduna kıyasla analist iş yükünü önemli ölçüde azalttığını ortaya koyması beklenmektedir. Bu çalışma, güvenilir yapay zeka sistemlerinin güvenlik operasyonlarına entegrasyonunda insan-yapay zeka iş birliğinin optimum dengesinin nasıl sağlanabileceğine dair somut bulgular sunmayı amaçlamaktadır.