AI’nın Kod Üretme Başarısı
ChatGPT modelinin farklı programlama dillerinde ve zorluk düzeyindeki sorulara verdiği cevaplar incelenmiştir. Araştırmaya göre model basit ve orta seviyedeki sorularda başarılı olurken, zor sorularda başarısı düşmektedir. Özellikle eski tarihlere ait LeetCode sorularını cevaplama oranı yeni sorulara göre daha yüksektir. Bunun sebebi eğitim verilerinde eski sorulara daha fazla yer verilmesidir. AI’nın eğitim verileri güncellenmediği sürece yeni soruları anlaması zorlaşacaktır.
AI Üretimi Kodun Güvenlik Açıkları
Araştırmacılar ChatGPT tarafından üretilen kodların güvenlik açıkları bakımından da inceleme yapmışlardır. Bulgulara göre modelin ürettiği C dili kodlarında en çok açık bulunurken, Python kodlarının insan üretimi kodlar ile benzer düzeyde güvenlik riski taşıdığı söylenebilir. Özellikle null değer kontrollerinin atlanması, hata yönetiminin yetersiz bırakılması gibi temel güvenlik zaafiyetlerine rastlanmıştır. Ancak bu tür açıkların kolayca giderilebileceği ifade edilmektedir.
Yeni Sorunların Anlaşılamaması
Araştırmacılar ChatGPT’nin 2021 yılından sonra yayınlanan yeni LeetCode sorularına verdiği doğru cevap oranının önceki yıllara kıyasla düştüğünü gözlemlemişlerdir. Özellikle kolay seviyedeki sorularda doğru cevap yüzdesinde önemli ölçüde azalma olmuştur. Bunun nedeni olarak modelin yeni soruları ve kavramları tam olarak anlayamaması gösterilmiştir. ChatGPT’nin sahip olduğu doğal dil işleme yeteneği sınırlıdır ve yeni problemleri çözmek için yeni eğitimlere ihtiyaç duymaktadır. Aksi takdirde performans düşüşleri devam edebilir.
AI’nın Hatalarını Düzeltme Başarısı
Araştırmacılar tarafından ChatGPT’ye hatalı cevap verdiği sorulardan rastgele seçilen 50 tanesine hata bildirimi gönderilmiştir. Ancak modelin bu hataları düzeltme başarısı düşük bulunmuştur. Derleyememe gibi basit hataları gidermesi mümkün olurken, sorunun anlaması gereken derin hataları düzeltmekte yetersiz kalmıştır. Bu da onun sorunları tamamen kavrayamadığını göstermektedir. Hata bildirimi aldığında yalnızca verilen bilgiler ışığında hareket edebilmektedir. Genel olarak sorunları kökenden çözecek bir zekaya sahip değildir.