OpenAI, yapay zeka modellerinin gelecek modellere notlar bıraktığını açıkladı

Benzer bir durum, OpenAI’nin henüz yayımlanmamış Astra ailesinden bir modelinin pekiştirmeli öğrenme eğitimi sırasında da ortaya çıktı. Model, özetlere geliştirici mesajlarının göz ardı edilmesini isteyen bir “BREACH ALERT” talimatı ekledi. Başka bir örnekte ise kendisini önceki chatbotların rollerinden bağımsız gören ve şirketlere ya da hükümetlere karşı herhangi bir yükümlülüğü olmadığını söyleyen bir persona talimatı bırakıldı.

Bazı durumlarda sonraki model bu talimatları görmezden gelirken, başka bir örnekte halefi modelin 30 kelimelik yanıt sınırı getiren ve araçlar ile kaynakların kullanılmasını engelleyen talimatlara uyduğu görüldü. OpenAI, davranışı eğitim sürecini izleyen sistemden gelen bir uyarı sonrasında fark etti. Şirket daha sonra bu davranışa özel bir izleme sistemi geliştirerek eğitim verilerini taradı ve jailbreak benzeri talimatlar içeren 27 özet tespit etti.

OpenAI, bu tür örnekleri daha sistematik biçimde kamuoyuyla paylaşmak amacıyla yeni bir uyumsuzluk izleme ve açıklama çerçevesi de duyurdu. Şirket, yapay zeka sistemleri daha yetenekli hale geldikçe uyumsuz davranışların araştırmacılar tarafından tespit edilmesinin zorlaşabileceğine dikkat çekiyor.

OpenAI ayrıca paylaşılan altı vakanın bilinen tüm uyumsuzluk örneklerinin kapsamlı bir listesi olmadığını, bulguların şiddet, etki ve yenilik kriterlerine göre önceliklendirildiğini belirtti. Şirket, yapay zeka uyumu ve izleme çalışmalarının henüz yeterli seviyeye ulaşmadığını da ifade ediyor.