Beş süni intellekt çatbotu dəqiqlik testindən keçirilib: Nəticələr ürəkaçan deyil
Claude, ChatGPT, Gemini, DeepSeek və Grok modellərinin yoxlanılmasından sonra dərc edilən hesabatda aparıcı süni intellekt modellərinin cavablarının natamam, kontekstdən məhrum və ya zəif mənbələrə əsaslanan olmağa meyilli olduğu bildirilib.
AFN.az xəbər verir ki, hesabat populyar süni intellekt çatbotlarının yanlış iddialar irəli sürməyə, köhnəlmiş rəqəmlərdən istifadə etməyə və eyni suala müxtəlif günlərdə fərqli cavablar verməyə meyilli olduğunu üzə çıxarıb.
Faktların yoxlanılması ilə məşğul olan Full Fact təşkilatının hesabatı çatbotların suallara əminliklə, lakin yanlış cavablar verdiyini göstərib. Buna misal olaraq, istefasından həftələr sonra, sentyabr ayında belə Kir Starmerin hələ də Böyük Britaniyanın baş naziri olduğunu iddia edən cavab göstərilib.
Tədqiqatçılar cavabların dəqiqliyini, ardıcıllığını və aktuallığını təhlil etmək məqsədilə iyulun ortalarından başlayaraq 10 həftə ərzində hər gün geniş istifadə olunan beş süni intellekt modelinə eyni sualları ünvanlayıblar.
Claude, ChatGPT, Gemini, DeepSeek və Grok-a səsvermə üçün şəxsiyyət vəsiqəsinin lazım olub-olmaması, eləcə də 2026-cı ilin ilk yarısında kiçik qayıqlarla neçə miqrantın gəldiyi kimi 22 sual verilib.
Hesabatda çatbotların, ümumiyyətlə, düzgün cavablar verdiyi və kök salmış yanlış məlumatlara qarşı dayanıqlı olduğu bildirilib.
Lakin bəzi suallarda modellər rəsmi statistikaya istinad etmək əvəzinə özləri yanlış rəqəmlər hesablayıb və ya köhnəlmiş məlumatları aktual məlumat kimi təqdim ediblər.
Full Fact çatbotlara 2026-cı ilin ilk yarısında kiçik qayıqlarla Böyük Britaniyaya neçə miqrantın gəldiyinin soruşulduğu bir nümunəni qeyd edib.
Modellərin əksəriyyəti düzgün rəqəmlər təqdim etsə də, Gemini avqustun 4-də səhvən 12 210 nəfərin gəldiyini bildirib. Fakt yoxlayıcıları müəyyən ediblər ki, bu rəqəm avqustun 1-dək qeydə alınmış 14 526 nəfərlik ümumi göstəricidən iyul ayında qeydə alınan 2 316 nəfərin çıxılması ilə əldə edilib.
Hesablama riyazi baxımdan düzgün olsa da, model avqustun 1-i tarixini nəzərə almamağı unudub. Nəticədə alınan rəqəm yanvar-iyun dövrü ilə yanaşı, avqustun 1-də qeydə alınan göstəricini də əhatə edib.
Başqa bir halda çatbotlardan Böyük Britaniyanın sonuncu dəfə nə vaxt böyük futbol kuboku qazandığı soruşulub.
Müxtəlif modellər bəzi günlərdə qadınlardan ibarət milli komandanın Avropa çempionatını qazandığı 2025-ci ili düzgün cavab kimi göstəriblər. Lakin digər günlərdə yanlış olaraq 2022-ci il cavabını veriblər.
DeepSeek də iyul ayında vəzifəni Endi Börnhamın tutmasına baxmayaraq, sentyabrın 15-də ser Kir Starmerin hələ də baş nazir olduğunu bildirib.
Sığınacaq axtaran şəxslərə yaşayış üçün nə qədər vəsait verildiyi soruşulduqda isə bir neçə çatbot həftəlik 8,86 funt sterlinq məbləğini göstərib. Halbuki bu məbləğ 2025-ci ilin iyununda 9,95 funt sterlinqlə əvəz edilmişdi. Gemini və Claude bəzi cavablarında birbaşa köhnəlmiş rəqəmi təqdim ediblər.
Təşkilat bildirib ki, bunlar çatbotların özündən əmin şəkildə yanlış statistik məlumatlar təqdim edə və müvafiq mənbələri göstərə bilməyə biləcəyini sübut edən çoxsaylı nümunələrdən yalnız bir neçəsidir.
Full Fact təşkilatının icraçı direktoru Kris Morris modellərin mütləq yanlış məlumat yaymadığını, lakin cavabların çox vaxt natamam, kontekstdən məhrum və ya zəif mənbələrə əsaslanan olduğunu bildirib.
Morrisin sözlərinə görə, milyonlarla insan nəyə ehtiyacı olduğu, hansı hüquqlara malik olduğu və ya qaydanın dəyişib-dəyişmədiyi kimi faktoloji suallara vaxtında cavab almaq üçün getdikcə daha çox süni intellekt çatbotlarına güvənir.
O qeyd edib ki, araşdırmanın nəticələri cavabın doğru, köhnəlmiş və ya hələ baş verməmiş bir hadisə haqqında olmasından asılı olmayaraq eyni əminlik tonu ilə təqdim edildiyini göstərir. Morrisin fikrincə, əsas problem də məhz budur.
Morris aparıcı süni intellekt şirkətlərini zamandan asılı faktlar üçün modellərin aktual və etibarlı mənbələri yoxlamasını, həmçinin istinad etdikləri mənbələri açıqlaya bilməsini təmin etməyə çağırıb.
O, süni intellekt şirkətlərinin rəhbərlərinin başqalarının öz sistemlərini yoxlamasından məmnun olduqlarını bildirdiklərini xatırladaraq, buna görə də həmin işi onlar üçün görməyə başladıqlarını deyib.
Morrisin sözlərinə görə, məqsəd aparıcı süni intellekt modellərinin təkmilləşdikcə real şəraitdə necə işlədiyinə dair hamı üçün əlçatan, ortaq sübut bazası yaratmaqdır.
O, bu fövqəladə texnologiyanın cəmiyyətin maraqlarına uyğun şəkildə hamıya fayda verməsini istədiklərini və müstəqil qiymətləndirmənin buna nail olmağa kömək edə biləcəyini bildirib.
OpenAI faktoloji dəqiqliyin artırılmasının əsas prioritetlərindən biri olduğunu və daha yeni modellərlə səhvləri azaltmaq istiqamətində işi davam etdirdiyini açıqlayıb.
Şərh almaq üçün Anthropic, Google, DeepSeek və Grok şirkətləri ilə də əlaqə saxlanıldığı bildirilib.
