Türkçe Metinlerde Sorguya Uygun Kısımların Token Seviyesinde Tespiti İçin Geç Etkileşimli Füzyon Modeli
Tezin Türü: Yüksek Lisans
Tezin Yürütüldüğü Kurum: Marmara Üniversitesi, Teknoloji Fakültesi, Bilgisayar Mühendisliği Bölümü, Türkiye
Tezin Onay Tarihi: 2025
Tezin Dili: Türkçe
Öğrenci: SALİH CAN TURAN
Asıl Danışman (Eş Danışmanlı Tezler İçin): Kazım Yıldız
Eş Danışman: Ali Sarıkaş
Açık Arşiv Koleksiyonu: AVESİS Açık Erişim Koleksiyonu
Özet:Bu tez çalışmasında, Türkçe metinlerde kullanıcı sorgularına uygun olan kısım-ların otomatik olarak tespit edilmesi ve vurgulanması problemi ele alınmıştır. Çalış-manın temel amacı, az sayıda etiketli veri ile etkili bir token seviyesi sınıflandırmamodeli geliştirerek, mevcut literatürdeki veri kıtlığı ve verimlilik sorunlarına çözümsunmaktır.Geleneksel bilgi erişim sistemlerinin belge seviyesinde çalışmasının aksine, buçalışma, metin içerisindeki token düzeyinde ayrıntılı bir analiz sunmaktadır. Buyaklaşım, kullanıcı sorgularına tam olarak hangi ifadelerin karşılık geldiğini sapta-yarak daha hassas sonuçlar üretmeyi amaçlamaktadır. Türkçe gibi eklemeli dillerinmorfolojik zenginliği, bu seviyedeki bir analizi özellikle zorlu kılmaktadır.Literatür incelemesi sonucunda, mevcut çalışmaların İngilizce metinler üzerindeyoğunlaştığı ve Türkçe için yeterli kaynak bulunmadığı tespit edilmiştir. Mevcut çö-zümler genellikle ya yüksek hesaplama maliyeti gerektiren cross-encoder mimarileriya da düşük performanslı bi-encoder yaklaşımları kullanmaktadır.Önerilen yaklaşım, artiwise-ai/modernbert-base-tr-uncased temel modeliüzerine "Geç Etkileşimli Füzyon" adı verilen hibrit bir mimari kullanmaktadır. Bumimari iki aşamadan oluşur: İlk aşamada sorgu ve metin birbirinden bağımsız olarakkodlanır, ikinci aşamada özel füzyon katmanı ile bu temsiller arasında zengin etkile-şim kurulur. Bu yaklaşım, bi-encoder'ların verimliliğini korurken cross-encoder'larınyüksek performansını yakalamayı hedefler.Sınıf dengesizliği problemini çözmek için Focal Loss tabanlı eğitim stratejisi be-nimsenmiştir. Bu yaklaşım, pozitif ve negatif token'lar arasındaki dengesizliği gide-rerek modelin zorlu örnekleri öğrenmesini sağlar.Veri seti, internet üzerindeki çeşitli kaynaklardan derlenen 500 bin adet Türkçemetnin, bu tezde geliştirilen LLM-destekli yarı denetimli bir yaklaşımla etiketlen-mesiyle oluşturulmuştur. Bu süreç sonucunda, yaklaşık 2 milyon adet etiketli sorgu-metin çifti elde edilmiştir. Veri seti haber makaleleri, teknik blog yazıları, ürünyorumları ve forum yazıları gibi çeşitli kaynaklardan derlenmiştir.Model eğitimi, 2 adet NVIDIA H100 GPU üzerinde 10 epoch boyunca gerçekleş-tirilmiştir. Doğrulama seti (validation set) üzerindeki başarımın 2. epoch'ta tepenoktasına ulaştığı gözlemlenmiş ve nihai değerlendirmeler için bu en iyi kontrolnoktası seçilmiştir. Eğitim sürecinde batch size 32, learning rate 2e-5 ve AdamW optimizer kullanılmıştır.Deneysel sonuçlar, önerilen modelin en iyi kontrol noktasında (epoch 2) ulaştığı0.557 F1-skoru ile temel 'Keyword Matching' (0.065) ve 'Klasik Bi-Encoder' (0.481)modellerine göre belirgin bir üstünlük sağladığını göstermektedir. Ayrıca, modelinperformansı, SOTA bir referans model olan 'GLiNER''ın (0.580) performansına ol-dukça yakındır.Verimlilik açısından, önerilen model, mimari olarak kendisinden daha karmaşıkolan GLiNER modeline kıyasla daha az parametre kullanırken, çıkarım hızı olarakda avantajlar sunmaktadır. Bu durum, modelin pratik uygulamalardaki kullanımpotansiyelini artırmaktadır.Sonuç olarak, bu çalışma Türkçe metinlerde token seviyesi sorgu-metin eşleştirme için etkili bir hibrit mimari sunmaktadır. Model, verimlilik ve performans dengesi kurarak pratik uygulamalar için ölçeklenebilir bir çözüm sağlamaktadır.