Evaluation of ChatGPT-4 Performance in Forensic Pathology: Comprehensive Methodological Research of Myocardial Infarction-Related Questions

Creative Commons License

Buğra A., Şahin H. Ç., Akar K. E., Keskin Öztürk B.

Türkiye Klinikleri Adli Tıp ve Adli Bilimler Dergisi, cilt.23, sa.2, ss.116-124, 2026 (TRDizin)

Özet

Adli patolojide yapay zekâ (YZ) uygulamaları hızla yayılmakla birlikte doğrulukları ve güvenilirlikleri yetersiz değerlendirilmiştir. ChatGPT-4 gibi büyük dil modelleri, tıbbi uygulamalarda umut vaat etse de adli bağlamda titiz bir doğrulamadan geçmeleri gerekmektedir. Bu çalışmanın amacı, ChatGPT-4’ün adli patoloji bakış açısıyla sorulan miyokard infarktüsü (MI) sorularına verdiği yanıtların doğruluğunu ve güvenilirliğini değerlendirmektir. Gereç ve Yöntemler: Otuz adet MI ile ilgili soru, genel tıbbi bilgi (Grup A) (n=15) ve adli patoloji uzmanlık bilgisi (Grup B) (n=15) olarak 2 kategoriye ayrılmıştır. ChatGPT-4’ün yanıtları, 3 adli patolog tarafından 4 puanlık Likert ölçeği (1=Kesinlikle yanlış, 4=Kesinlikle doğru) kullanılarak bağımsız olarak değerlendirilmiştir. İki bağımsız grup arasındaki farklar Mann-Whitney U testi kullanılarak değerlendirilmiştir. Veriler, medyan (minimum-maksimum) olarak sunulmuş ve p<0,05 istatistiksel olarak anlamlı kabul edilmiştir. Bulgular: ChatGPT’nin performansı, her biri 45 değerlendirmeden oluşan 2 grup (Grup A ve Grup B) üzerinden incelenmiştir. Grup A, “Kesinlikle Doğru” yanıt oranında (%77,8), Grup B’ye (%60,0) kıyasla daha yüksek bir başarı göstermiştir. Grup A için hiçbir “Yetersiz” puanı kaydedilmezken, Grup B’de uzmanlar arasında %20’ye varan yetersizlik oranları gözlemlenmiştir. Bu betimsel farklılıklara rağmen istatistiksel analizler gruplar arasındaki medyan skorlarda anlamlı bir fark olmadığını ortaya koymuştur (p>0,05). Konu bazlı analizler; histopatolojik tarihleme ve immünohistokimyasal belirteçler gibi ileri derecede teknik alanlarda %100 başarısızlık oranı gösterirken, temel tanımlar ve klinik önleme stratejilerinde tam doğruluk (%0 başarısızlık) elde edilmiştir. Sonuç: ChatGPT-4, genel MI bilgisinde güvenilir bir performans sergilemektedir, ancak histopatolojik tarihlendirme ve ileri tanı teknikleri gibi adli patoloji uzmanlık alanlarında önemli sınırlamalar göstermektedir. Klinik uygulamaya geçiş için riske dayalı katmanlı bir yaklaşım önerilmektedir. 

Artificial intelligence (AI) applications in forensic pathology are rapidly expanding, yet their accuracy and reliability remain insufficiently evaluated. Large language models like ChatGPT-4 show promise in medical applications but require rigorous validation in forensic contexts. To evaluate the accuracy and reliability of ChatGPT-4 responses to myocardial infarction (MI) questions from a forensic pathology perspective. Material and Methods: Thirty MI-related questions were categorized into general medical knowledge (Group A) (n=15) and forensic pathology specialty knowledge (Group B) (n=15). ChatGPT-4 responses were independently evaluated by 3 forensic pathologists using a 4-point Likert scale (1=Definitely incorrect to 4=Definitely correct). Differences between 2 independent groups were evaluated using the Mann-Whitney U test. Data were presented as median (minimum-maximum), and a p value <0.05 was considered statistically significant. Results: The performance of ChatGPT was evaluated across 2 groups (Group A and Group B), each consisting of 45 assessments. Group A demonstrated a higher rate of “Definitely Correct” responses (77.8%) compared to Group B (60.0%). While no “Insufficient” ratings were recorded for Group A, Group B exhibited insufficiency rates of up to 20% among experts. Despite these descriptive differences, statistical analysis showed no significant variation in median scores between groups (p>0.05). Topic-specific analysis revealed a 100% failure rate in highly technical areas such as histopathological dating and immunohistochemical markers, whereas basic definitions and clinical prevention strategies achieved perfect accuracy (0% failure). Conclusion: ChatGPT-4 demonstrates reliable performance in general MI knowledge but shows significant limitations in forensic pathology specialty areas, particularly histopathological dating and advanced diagnostic techniques. A risk-stratified approach is recommended for clinical implementation.