KARDİYAK ELEKTROFİZYOLOJİ BOARD TARZI SORULARDA BÜYÜK DİL MODELLERİNİN PERFORMANSI

Mürsel ŞAHİN, Reha TÜRK, Nurcemal ŞENTÜRK

MN Kardiyoloji Dergisi - 2026;33(3):122-127

Karadeniz Teknik Üniversitesi Tıp Fakültesi Kardiyoloji Ana Bilim Dalı, Trabzon

 

Amaç: Büyük dil modelleri, tıbbi soru yanıtlamada umut verici bir performans sergilemektedir ancak kardiyak elektrofizyoloji gibi kardiyolojinin ileri derecede özelleşmiş alt dallarındaki yetkinlikleri yeterince araştırılmamıştır. Bu çalışmanın amacı, elektrofizyoloji bilgisini yansıtan board tarzı sorular üzerinde üç güncel büyük dil modelinin-ChatGPT, Gemini ve DeepSeek-performansını karşılaştırmaktır. Gereç ve Yöntem: Yalnızca kardiyak elektrofizyolojiyi kapsayan toplam 118 adet çoktan seçmeli kurul tarzı soru analiz edildi. Sorular; aritmi mekanizmaları, elektrokardiyografik yorumlama, risk sınıflandırması ve cihaz temelli tedavi yaklaşımlarını içermekteydi. Her bir soru, tek bir en iyi yanıtın seçilmesini gerektiren standartlaştırılmış bir komut kullanılarak üç modele de bağımsız olarak yöneltildi. Doğruluk oranları, genel farklar için Cochran's Q testi ve ikili karşılaştırmalar için Holm düzeltmeli McNemar kesin testi kullanılarak karşılaştırıldı. Elektrofizyoloji alt alanlarına ve klinik karar türlerine göre alt grup analizleri yapıldı; ayrıca görüntü temelli elektrokardiyografi sorularına yönelik keşifsel bir analiz gerçekleştirildi. Bulgular: Modeller arasında genel doğruluk açısından anlamlı fark saptandı (Cochran's Q = 905,36; p< 0,001). DeepSeek en yüksek doğruluk oranına ulaştı (%99,2; 117/118), bunu ChatGPT (%77,1; 91/118) ve Gemini (%39,0; 46/118) izledi. DeepSeek, tüm elektrofizyoloji alanları ve klinik karar türleri boyunca diğer modellere kıyasla tutarlı biçimde üstün performans gösterdi (tüm karşılaştırmalar için p<0,001). Keşifsel analizler, görüntü temelli EKG sorularında modele bağlı belirgin performans farklılıkları olduğunu ortaya koydu. Sonuç: DeepSeek, kardiyak elektrofizyoloji kurul tarzı sorularda neredeyse kusursuz bir performans sergileyerek ChatGPT ve Gemini'yi belirgin şekilde geride bırakmıştır. Bu bulgular, büyük dil modellerinin elektrofizyoloji eğitiminde ve klinik karar destek sistemlerinde yardımcı araçlar olarak hem potansiyelini hem de mevcut sınırlılıklarını ortaya koymaktadır.