Massachusets texnologiya instituti (MIT) olimlari katta til modellari (LLM) ba’zan noto‘g‘ri assotsiatsiyalarni o‘zlashtirib olishini aniqladilar. Ma’lum bo‘lishicha, modellar savollarga haqiqiy bilimlarga asoslanib javob berish o‘rniga, ko‘pincha tanish grammatik va sintaktik qoliplarga tayanar ekan.
Masalan, agar model “Parij qayerda?” degan savol odatda geografiya bilan bog‘liqligini “yodlab olgan” bo‘lsa, u xuddi shunday tuzilishga ega, ammo hech qanday mantiqqa to‘g‘ri kelmaydigan boshqa jumlaga ham “Fransiya” deb javob berishi mumkin. Bunday holatlar xatoliklarga sabab bo‘ladi va sun’iy intellektning ishonchlilik darajasini pasaytiradi.
Muammoning ildizi nimada?
Til modellari internetdagi ulkan hajmdagi matnlar asosida, so‘zlar va iboralar o‘rtasidagi bog‘liqliklarni tahlil qilish orqali o‘qitiladi. Bu jarayonda ular “sintaktik qoliplar” deb ataluvchi nutq qismlaridagi qonuniyatlarni o‘zlashtiradilar va muayyan mavzudagi savollarga javob berishda semantik (ma’noviy) bilimlar bilan bir qatorda ushbu qoliplardan ham foydalanadilar. Aynan shu “sintaktik qoliplar”ga qattiq bog‘lanib qolish sun’iy intellektni chalg‘itishi mumkin.
Tajriba tafsilotlari
Tadqiqot davomida olimlar har biri bitta aniq sintaktik qolipga asoslangan maxsus sintetik testlarni yaratdilar. Gap tuzilishini saqlab qolgan holda so‘zlar sinonimlar, antonimlar yoki tasodifiy so‘zlar bilan almashtirildi. Natijada, modellar ko‘pincha hatto mantiqsiz savollarga ham o‘sha eski, “to‘g‘ri” javoblarni beraverishi ma’lum bo‘ldi. Aksincha, savolning mazmuni saqlanib, sintaktik tuzilishi o‘zgartirilganda esa modellar xatoga yo‘l qo‘ygan.
Bu shuni anglatadiki, modellar so‘rovning asl mohiyatini tushunish o‘rniga, qoliplarni konkret mavzular bilan ko‘r-ko‘rona bog‘laydi va ularga tayanadi.
Misol uchun, agar model “Where is Paris located?” (“Parij qayerda joylashgan?”) savolini “so‘roq so‘z/fe’l/atoqli ot/fe’l” tuzilmasi sifatida eslab qolgan bo‘lsa, u xuddi shu tuzilishdagi “Quickly sit Paris clouded?” (“Tez o‘tir, Parij xiralashdimi?”) kabi bema’ni savolga ham “Fransiya” deb javob berishi mumkin.
Xavfsizlikka tahdid
Tadqiqotchilar bunday xatti-harakatni turli modellarda, jumladan, GPT-4 da ham kuzatishdi. Bu nafaqat modellar samaradorligini pasaytiradi, balki xavfsizlik uchun potensial tahdidlarni ham yuzaga keltiradi.
Agar g‘arazli maqsaddagi foydalanuvchi (xaker) model uchun “xavfsiz” hisoblangan sintaktik qolipdan foydalanib savol tuzsa, sun’iy intellekt o‘zining ichki cheklovlarini chetlab o‘tishi va o‘rnatilgan himoya choralariga qaramay, zararli ma’lumot yoki javobni taqdim etishi mumkin.
Yechim va kelajakdagi rejalar
Mualliflar modelning bunday noto‘g‘ri korrelyatsiyalarga qanchalik qaram ekanini baholash imkonini beruvchi avtomatik benchmarking (sinov) usulini ishlab chiqdilar. Ushbu vosita modellarni amaliyotga joriy etishdan oldin ulardagi zaifliklarni aniqlashga yordam beradi.
Kelajakda olimlar bunday xatolar ta’sirini kamaytirish usullarini topishni rejalashtirmoqda. Masalan, modellar xilma-xil sintaktik qoliplarga duch kelishi uchun o‘quv ma’lumotlari bazasini kengaytirish taklif qilinmoqda. Shuningdek, ular ushbu effekt “mulohaza yurituvchi” (reasoning) modellarda qanday namoyon bo‘lishini ham o‘rganishni maqsad qilganlar.