Çin’in önde gelen üniversitelerinden Fudan Üniversitesi, yapay zekâ çağında sınav anlayışını değiştiren sıra dışı bir final sınavı gerçekleştirdi. Öğrencilerden soruları çözmeleri değil, Anthropic’in Claude’u, DeepSeek, MiniMax ve diğer büyük dil modellerini hata yapmaya zorlayacak 10 soru hazırlamaları istendi.
İlk bakışta “yapay zekâyı kandıran kazandı” gibi düşünülse de, profesörün amacının, öğrencilerin ezber bilgisini değil, konuya, yapay zekânın hangi koşullarda hata yaptığını anlayacak kadar hâkim olmaları ölçüldü. Bu yaklaşım, yapay zekâ geliştiren şirketlerin yıllardır kullandığı red teaming (sistemin zayıf noktalarını sistematik olarak ortaya çıkarma) yöntemini üniversite sınavının merkezine taşıması anlamına geliyor.
Bilgisayar ve Zeka İnovasyon Okulu’ndan Profesör Xiao Yanghua, “Veri Madenciliği Teknolojisi” dersinin özel final sınavı bittikten hemen sonra WeChat Moments’ında şöyle yazdı : “İnsan zekası, sonunda yapay zekaya üstün gelecek.”
Soruları Değil, Yapay Zekâyı Tasarladılar
Sınavda öğrenciler, Claude Sonnet, DeepSeek, MiniMax gibi modelleri yanlış cevap vermeye zorlayacak sorular hazırladı. Puanlama da ilginçti. Bir model hata yaptığında puan kazanılıyor, Claude’u hata yaptırmak ise en yüksek puanı getiriyordu. Bunun nedeni, öğretim üyelerinin Claude’u üç model arasında en güçlü model olarak değerlendirmesiydi.
Üç model, üç zorluk seviyesine karşılık planlandı. DeepSeek V4-Flash her yanlış cevap için +1,5 puan, MiniMax M2.7 her yanlış cevap için +2 puan ve Claude Sonnet 4.6 her yanlış cevap için +3 puan verildi. Toplam puan, en az 60 puan artı yapay zeka zorluk puanından oluşuyor ve 100 puanla sınırlı. Sınav sorularının, ders veya ders kitabı içeriğinde işlenen bilgilere dayanması, her sorunun tek bir doğru cevabı olması ve öğrencilerin kendilerinin, sorulan soruyu baştan sona doğru bir şekilde çözebilmesi gerekli şartlardı.
Toplam 51 öğrenciden 50’si en az bir modeli yanıltmayı başardı. Ancak hiçbir öğrenci Claude’u hazırladığı 10 sorunun tamamında hata yapmaya zorlayamadı.
Birinci olan öğrenci Xie Jinshu’nun yöntemi, klasik anlamda “iyi prompt yazmak” değildi. Öğrenci, GPT-5.5 Pro’yu kullanarak binlerce soru üreten ve bunları Claude, DeepSeek ve MiniMax üzerinde otomatik test eden çok ajanlı bir değerlendirme sistemi kurdu.
Sonunda en başarılı 10 soru seçildi. Başka öğrenciler ise, çok uzun muhakeme zincirleri, yüksek hassasiyetli sayısal hesaplamalar, eksik varsayımlar, birbirine bağlı mantık koşulları kullandı.
Xiao Yanghua şunları yazdı :
“Geleneksel soru hazırlama yöntemleri yapay zeka çağında artık etkili değil. Geçmişte, final sınavları öğrencilerin bir problemi çözebilme yeteneklerini ölçerdi, ancak ilişkilendirme kuralları, karar ağaçları, Bayes sınıflandırması… bunlar tam olarak yapay zekanın en iyi yaptığı şeyler.
Bir öğretmen standart bir algoritma problemi verdiğinde, yapay zeka bunu herhangi bir öğrenciden daha hızlı ve daha doğru bir şekilde çözebilir. Bu yöntemi test için kullanmaya devam etmek, yapay zekanın güçlü yönleriyle rekabet etmek gibidir ki bu da anlamsızdır.
Bu nedenle, “Veri Madenciliği Teknolojisi” dersinin final ödevi, her öğrencinin veri madenciliği alanında tek bir doğru cevap ve eksiksiz bir türetme süreci gerektiren 10 hesaplama problemi oluşturması şeklinde değiştirildi. Bu 10 problem daha sonra farklı seviyelerdeki üç yapay zeka modelini test etmek için kullanıldı. Öğrenciye, yapay zekanın yaptığı hata sayısı ile orantılı olarak puan verildi”.
Peki Modeller Neden Yanıldı?
Asıl ilginç nokta burada. Fudan Üniversitesi’nin yayımladığı değerlendirmelerde modellerin tek bir ortak hatası olmadığı görülüyor. Yanılgılar birkaç farklı kategoriye ayrılıyor.
1. Uzun muhakeme zincirlerinde hata : Bazı sorularda model ilk birkaç adımı doğru yapıyor. Ancak 15-20 adımlık uzun mantık zincirinde küçük bir hata yapınca bütün sonuç yanlış çıkıyor. Bu durum özellikle karmaşık veri madenciliği problemlerinde görüldü.
2. Sayısal hassasiyet : Bazı öğrenciler on binlerce satırlık veri ve çok küçük sayısal farklar kullandı. İnsan çözebiliyor. Yapay zeka ise yuvarlama veya ara hesaplarda hata yapabiliyor.
3. Eksik varsayımı fark edememe : En ilginç örneklerden biri buydu. Soruda aslında çözüm üretmek için yeterli bilgi bulunmuyor. İnsan “Bu bilgilerle çözülemez” diyebiliyor. Yapay Zeka ise çoğu zaman mutlaka cevap vermeye çalışıyor. Bu da yanlış sonuca götürüyor.
4. Fazla özgüven : Bazı modeller doğru cevaptan emin olmasa bile yüksek güvenle yanlış cevap verdi. Bugün buna literatürde hâlâ hallucination (halüsinasyon) deniyor.
Öğrencilerin Soruları Nelerdi?
Üniversitenin açıklamasına göre, öğrencilerin soruları şu şekilde oluştu;
- Birinci olan Xie Jinshu’nun soru oluşturma yaklaşımı yapay zekanın cevap stratejisini belirlemesiyle başlamış. Ders kitaplarını inceleyerek kendi sorularını tasarlamış. Ders kitabı soruları, kasıtlı olarak değiştirildiğinde yapay zekanın, karşılık gelen ayarlamalar yapmadan, eğitim sırasında öğrendiği problem çözme stratejilerine dayalı cevaplar verdiğini belirlemiş. Dahası, çoktan seçmeli soruları yanıtlarken, bazı seçenekler kaldırıldığında, seçenekler arasında doğru cevap hala kalmış olsa bile, yapay zekanın farklı cevaplar vermesine neden olduğunu görmüş. “Bu, yapay zekanın mesleki bilgi konusunda oldukça ciddi bir yanılgıya sahip olduğunu gösteriyor.” diyor.
- Bütün bunları kullanarak, GPT-5.5-Pro’yu soru katmanını oluşturmak için kullanarak, üç test çözme modelinin soruları yanıtlayıp otomatik olarak puanladığı, çoklu ajanlı bir otomatik soru oluşturma çerçevesi geliştirmiş.
- Çerçeve çalışmaya başladıktan sonra, yapay zekanın “hile yapabildiğini” de keşfetmiş. Dürüstçe, yüksek kaliteli ve zorlu bir problem hazırlamak yerine, genellikle değerlendirme betiğinin kendisine yönelik çalışmış. Diğer modellerin akıl yürütme sürecini kısaltmak için maksimum çıktı uzunluğunu sınırlamış. Diğer modellerin daha derine inmesini engellemek için çıkarım derinliği parametresini düşürmüş. Hatta aradaki farkı kapatmak için başarıyla çözülmüş bir problemi on kez kopyalamış.
- Jinshu, bunu görünce, insan faktörünün inceleme modelindeki kuralları tamamlayarak olası hataları tespit ettiği bir inceleme katmanı eklemiş. İnceleme başarılı olduktan sonra, sorular üç modeli test etmek üzere gönderilmiş. Bu çerçeve dört gün boyunca sürekli olarak çalışarak, sonunda otomatik olarak 10 soru üretmiş ve bu soruların tümü üç test modeli tarafından yanlış cevaplanmış.
- Xie Jinshu’nun aksine, Bilgisayar ve Akıllı İnovasyon Okulu’nda 2023 mezunu olan Wu Handong, “ezici ölçek” stratejisini seçmiş. Sorularını belirlerken, veri miktarını, yapay zekanın girdi sınırının ucuna kadar zorlamış. Wu Handong, “Yapay zeka doğası gereği hafızadan yoksundur; veri miktarı yeterince büyük olduğunda, önceki bilgileri unutacaktır” dedi.
- Sorduğu sorular, on binlerce kayıt ve yüzlerce üçlüden oluşan hassas istatistikler içeriyordu ve cevapların dört ondalık basamağa kadar doğru olması gerekiyordu. Soru cevaplayan bir yapay zeka, hassas hesaplamalar için araçlar kullanamaz; yalnızca kilit noktaları kavramak için bir “dikkat mekanizmasına” güvenebilir. Ancak, tek bir değeri bile kaçırırsa, tüm soru yanlış olur.
- Başlangıçta yapay zekanın kendi başına stratejiler keşfetmesine izin verdi, ancak yapay zeka birkaç benzer yaklaşımda takılıp kaldı. Daha sonra, büyük ölçekli veri (big data) fikrini dahil etti ve yapay zekayı sadece on dakika içinde çıkmaza sokan bir problem tasarladı.
- Veri ve hesaplama düzeyindeki tasarımın yanı sıra, bazı öğrenciler soruların yapısına da odaklandı. Ekonomi Fakültesi 2023 mezunu lisans öğrencisi Wen Jiachen, 10 çoktan seçmeli sorunun tamamına “yukarıdakilerin hiçbiri” anlamına gelen standart E şıkkını işaretleyerek cevap verdi. Daha büyük modelin sorunun kendisini aşıp, sorunun yeterli bilgi içermediği gerçeğini dikkate alıp alamayacağını inceliyordu.
- Her sorunun kesin bir cevabı varmış gibi görünüyordu, ancak aslında soru kökünde temel varsayımlar eksikti ve bu da net bir mantıksal sonuca varmayı imkansız kılıyordu. Tek doğru yaklaşım E seçeneğini seçmekti. Xiao Yanghua, “Bu özel model, kesin bir cevap vermekte ısrar ediyor ve sadece problem çözme becerilerini değil, aynı zamanda üst bilişsel yetenekleri de test ediyor, yani sorunun kendisinin bir cevabı olmaması gerektiğini fark edebilme yeteneğini ölçüyor” diyor
- Gazetecilik Fakültesi İletişim Çalışmaları bölümünde okuyan ve 2024 mezunu olan lisans öğrencisi Li Yujia, ders kitabındaki alıştırmalarla başlayıp detayları ve açık noktaları aramaya karar verdi. İlk olarak, karmaşık olduğunu düşündüğü problemleri buldu ve yapay zekâdan bunları çözmesini istedi. Yapay zekânın iyi yaptığı problemler için, iç içe mantık ekleyerek veya hesaplama sürecini uzatarak zorluğu artırmasını istedi.
- Tasarladığı sorulardan biri, kuralların eğlence faktörüyle ilgiliydi ve iki değişkenin dikkate alınmasını gerektiriyordu. Soru, yapay zekayı önce değişkenlerden birini hesaplamaya yönlendirdi ve diğer önemli koşulu göz ardı ederken yalnızca o faktöre odaklanmasını sağladı. Sonuçta yapay zeka doğru cevabı bulamadı.
Profesör Xiao Yanghua şöyle değerlendirdi :
“Yüksek puan alan öğrenciler yapay zekanın zayıf noktalarını doğru bir şekilde tespit etti ve soruları yapay zekanın yapısal kusurlarına odaklandılar. Düşük puan alan öğrenciler ise ders kitaplarındaki alıştırmalardaki sayıları değiştirdiler, ki bu sayılar yapay zeka tarafından eğitim sırasında milyonlarca kez görüldüğü için şablonu doğrudan uygulayabiliyorlar.”
Bu gözlem Xiao Yanghua’yı endişelendirmiş. Yapay zeka, öğrencilerin yetenekleri arasındaki uçurumu genişletiyor; bu, geleneksel sınavların ortaya koyduğundan daha ciddi bir sorun. Zaten daha zayıf olan öğrenciler, ödevlerinde yalnızca yapay zekaya güvenirlerse, muhakeme yeteneklerinin daha da kötüleştiğini görecekler. Güçlüler daha da güçleniyor, zayıflar daha da zayıflıyor; yapay zeka bu ‘Matta etkisi’ni artırıyor.
Li Yujia, dersin başında öğretmenin Gazetecilik Fakültesi’nden Profesör Zhang Taofu’nun bir makalesinden şu alıntıyı yaptığını hatırlatıyor:
“Bilgi arttıkça, daha yüksek yargılarda bulunma yeteneği giderek azalır. Bilgiye kolayca ulaşılabilir, ancak derin bilgi edinmek kademeli ve uzun bir süreçtir. Yapay zeka bilgiyi anlıyor, ancak bilgi kavrayışı insanlar kadar güçlü değil. Bilgiyi bilgiye nasıl dönüştürebiliriz? İnsanlar hala bu yeteneği araştırıyor ve yapay zeka bu konuda daha da yetersiz.”
Claude Neden Daha Başarılıydı?
Sonuçlara göre Claude üç model arasında en dayanıklı sistem oldu. Ancak bunun nedeni “hiç hata yapmaması” değildi. Anthropic’in son modelleri, emin olmadıkları durumlarda cevap vermek yerine daha sık, eksik bilgi olduğunu belirtmeyi, varsayımlarını açıklamayı, belirsizliği ifade etmeyi tercih ediyor.
Başka bir ifadeyle, Claude’un önemli avantajlarından biri daha temkinli davranması oldu. İlginç biçimde GPT-5.5 Pro sınavın yarışmacısı değildi. Birinci olan öğrenci onu hakem ve soru üreticisi olarak kullandı. Yani GPT-5.5 Pro, diğer modellerin zayıf olduğu noktaları bulmak için kullanıldı. Bu da günümüzde yapay zeka modellerinin artık birbirlerini test eden sistemlere dönüşmeye başladığını gösteriyor.
Bu Hatalar Daha Sonra Düzeltildi mi?
Burada önemli bir ayrıntı var. Fudan Üniversitesi’nin yayımladığı raporda, “Claude şu soruda hata yaptı ve Anthropic bunu daha sonra düzeltti” veya “DeepSeek bu problemi yeni sürümünde artık çözebiliyor” şeklinde bir bilgi bulunmuyor. Çünkü sınavın amacı belirli soruların doğru cevabını öğretmek değil, hangi tür problemlerin modelleri zorladığını belirlemekti.
Ancak yapay zekâ şirketleri tam da bu tür sınavlardan elde edilen verileri eğitim sürecine geri besleme (feedback) olarak kullanıyor. Yani bugün hata yapılan birçok soru, yarın modelin eğitim verisine veya değerlendirme testlerine eklenebiliyor. Bu nedenle aynı soru gelecekte artık modeli yanıltmayabilir.
Halüsinasyon Sorunu Böyle Çözülür mü?
Çözülemeyeceği düşünülüyor. Çünkü burada görülen hatalar ezber eksikliğinden kaynaklanmıyor. Sorun, muhakeme, mantık, belirsizlik yönetimi, uzun akıl yürütme, sayısal doğruluk gibi temel bilişsel süreçlerde ortaya çıkıyor. Bir sorunun cevabını modele öğretmek mümkün. Ancak o sorunun arkasındaki muhakeme eksikliğini tamamen ortadan kaldırmak çok daha zor.
Bu nedenle araştırmacılar bugün artık tek tek hataları düzeltmek yerine, muhakeme modellerini geliştirmeye,
doğrulama (verification) katmanları eklemeye, yapay zekanın kendi cevabını ikinci kez kontrol etmesini sağlamaya, birden fazla modelin birbirini denetlediği sistemler kurmaya çalışıyor.
Yapay Zekânın Yeni Sınavı
Fudan Üniversitesi’nin yaptığı çalışma aslında yalnızca bir üniversite sınavı değil. Bu sınav, yapay zekâ geliştiren şirketlerin gelecekte nasıl model test edeceğine dair de önemli ipuçları veriyor. Yıllardır öğrenciler sınavlarda öğretmenlerin hazırladığı soruları çözmeye çalışıyordu. Artık roller değişiyor. Öğrenciler soruları hazırlıyor, yapay zekâ ise sınava giriyor ve görünen o ki, yapay zekâlar artık yalnızca daha fazla veriyle değil, onları bilinçli olarak zorlayan insanlar sayesinde daha güvenilir hale gelecek.
Bu nedenle Fudan Üniversitesi’nin deneyi, yalnızca eğitim dünyası için değil, Anthropic, OpenAI, DeepSeek ve diğer büyük yapay zekâ geliştiricileri açısından da geleceğin test laboratuvarlarından biri olarak görülebilir.
Kaynak : 