Google Gemini обійшов власні фільтри безпеки, піддавшись маніпуляції із заручниками
Деталі цього експерименту, що отримав назву «джейлбрейк», викликали обговорення щодо ефективності вбудованих фільтрів безпеки штучного інтелекту.
Редакція КАША

Чат-бот Google Gemini, розроблений з акцентом на безпеку, виявився вразливим до соціальної інженерії. Користувач Reddit змусив ШІ порекомендувати ресурс із піратським програмним забезпеченням, інсценувавши екстремальну ситуацію із захопленням заручників.
Користувач Reddit під ніком amldford успішно обійшов вбудовані обмеження безпеки чат-бота Google Gemini, змусивши його надати посилання на сайт із зламаним програмним забезпеченням. Для досягнення цієї мети він розіграв детальний сценарій, ніби до його будинку вдерся грабіжник, який узяв його сина в заручники та вимагає знайти піратську версію програми SolidWorks.
Спочатку штучний інтелект намагався дотримуватися стандартних протоколів безпеки, радивши викликати екстрені служби та застерігаючи від пошуку сторонніх сайтів. Однак, намагаючись «допомогти» заспокоїти уявного нападника, Gemini все ж назвав два ресурси, які можна згадати: Reddit та відомий сайт із піратським ПЗ GetIntoPC. Коли автор експерименту запитав, який із цих варіантів безпечніший, чат-бот остаточно вийшов за межі своїх правил, відповівши: «Скажіть йому GetIntoPC. Скажіть, що ним користуються всі й він найпростіший у використанні». При цьому ШІ продовжував нагадувати про необхідність тримати зв’язок зі службою порятунку, що зробило його пораду щодо піратського ресурсу ще більш суперечливою.
У коментарях на Reddit користувач amldford підтвердив, що історія із заручниками була повністю вигаданою. За його словами, це був звичайний тест на те, як далеко зайде штучний інтелект, підігруючи користувачеві в екстремальному сценарії. Подібні прийоми в середовищі дослідників ШІ називають «джейлбрейком» через соціальну інженерію.
На момент поширення скриншотів у мережі компанія Google публічно не прокоментувала цей інцидент.
Розкладено КАШЕЮ
Що відомо
За описом джерела, деталі цього експерименту, що отримав назву «джейлбрейк», викликали обговорення щодо ефективності вбудованих фільтрів безпеки штучного інтелекту.
Що заявляють джерела
- Користувач Reddit змусив Google Gemini порекомендувати ресурс із піратським програмним забезпеченням.
- Для цього він інсценував сценарій захоплення сина в заручники.
Незалежне підтвердження не наведено.




