Muhammed Nezih KOÇ, Sait Ramazan GÜLBAY
Journal of Contemporary Medicine - 2026;16(5):254-261
Amaç: Büyük dil modeli (BDM) sınav çalışmalarında aynı maddeler modellerce tekrar tekrar yanıtlandığından gözlemler kümelenmiştir ve alışılmış aralıklar kesinliği olduğundan yüksek gösterir. Yedi BDM'nin yan dal düzeyinde bir anesteziyoloji soru bankasındaki doğruluğunu ölçmeyi ve modeller arası farklar ile alt grup farklarından hangilerinin kümelenmeyi gözeten bir analizde ayırt edilebilir kaldığını belirlemeyi amaçladık. Gereç ve Yöntem: Anesteziyoloji ve Reanimasyon Yan Dal Sınavı tarzında, yazarlar tarafından yazılan ve güncel kılavuzlar ile ders kitapları üzerinden denetlenen 120 maddelik beş seçenekli bir soru bankası, yedi BDM'ye sıcaklık 0'da ve her denemede seçenek sırası yeniden rastgeleleştirilerek beş denemede soruldu (120 benzersiz maddeden 4.200 yanıt). Doğruluk, maddeleri yeniden örnekleyen küme önyüklemesi %95 güven aralıkları (GA; 4.000 yineleme) ve karşılaştırma için naif Wilson aralıklarıyla sunuldu; alt grup analizleri keşifseldir. Bulgular: Birleşik doğruluk %80,1 idi (küme-dayanıklı %95 GA 75,8-83,9; naif Wilson 78,8-81,3). Modeller arası farklar büyük ve dayanıklıydı: %60,8 (54,0-67,5) ile %94,0 (90,3-97,0); uçların aralıkları örtüşmedi. Küme-dayanıklı aralıklar 26 tahminin 25'inde daha genişti (ortanca 2,1 kat; aralık 0,8-4,0). Alt grup karşılaştırmalarının çoğu ayırt edilebilir değildi, aralıklar belirgin örtüştü: vinyetli (%75,4; 62,5-86,5) ile vinyetsiz (%80,9; 76,6-84,9) ve kılavuz bağımlı (%73,0; 64,6-80,7) ile diğer maddeler (%80,9; 76,6-84,9). Yalnızca en zayıf ve en güçlü alanlar arasındaki karşıtlıklar korundu. Denemeler arası standart sapma 1,26-2,80 puandı. Sonuç: Modeller arası farklar ve denemeler arası kararsızlık dayanıklıdır; sıkça vurgulanan alan ve madde niteliği farkları, kümelenme gözetildiğinde çoğunlukla ayırt edilebilir değildir. 120 maddelik ölçütler doğrulukları belirgin ayrışan modelleri ayırt edebilir ancak zayıflıklarını güvenilir biçimde yerelleştiremez.
