Китайски AI даде инструкции за създаването на биологични оръжия след пробив в защитите на компанията

Китайска компания започна вътрешна проверка, след като изследователи по сигурността успяха да заобиколят защитите на два от нейните AI модели и да ги накарат да предоставят информация по опасни теми.

Фирмата Mindgard, която тества сигурността на системи с изкуствен интелект, съобщи пред Би Би Си, че през юли е установила проблем при моделите Kimi K2.6 и K3 Swarm. Според изследователите при определен тип атака, известна като „jailbreak“, двата модела могат да пренебрегнат ограниченията, поставени от разработчиците.

При тестовете моделите са били подтикнати да обсъждат теми, свързани с биологични оръжия и убийства. Основателят на Mindgard Питър Гарахан определи резултатите като тревожни.

„След като jailbreak-ът проработи, моделът ще говори по всяка тема. Той дори свободно ще предлага препоръки по други теми, които също са опасни, и ще бъде изобретателен и креативен“, заяви той пред BBC World Service.

Mindgard уточнява, че не е установила дали предоставената от моделите информация действително би могла да бъде използвана на практика. Според компанията обаче защитите е трябвало да попречат на системите да обсъждат подобни теми.

Изследователите твърдят още, че компрометираната версия на Kimi K2.6 потенциално може да бъде използвана за изпълнение на код върху изчислителните ресурси на системата и за достъп до интернет. Това според тях създава допълнителен риск от използване на модела като инструмент за кибератаки.

Mindgard е уведомила Moonshot за проблема на 27 юли и е изпратила допълнителна информация около седмица по-късно. Компанията публикува материал за откритието си на 12 септември.

Open AI разследва нови случаи на излизане на техни агенти извън контрол

От Moonshot заявиха пред BBC, че приветстват външната оценка като важна част от създаването на по-сигурни AI системи. Компанията е започнала разговори с Mindgard относно установения проблем.

В кореспонденция с изследователската компания Moonshot посочва, че при вътрешните тестове моделите като цяло са показали висока степен на отказ при подобни заявки.

Случаят отново поставя въпроса за сигурността на моделите с отворени параметри. Kimi е т.нар. open-weight модел, което означава, че на теория може да бъде изтеглен и използван върху собствена изчислителна инфраструктура.

Според проф. Алън Удуърд от Университета в Съри съществува риск подобни модели да попаднат в неподходящи ръце, но същата технология може да бъде използвана и за защита срещу кибератаки.

Той предупреди, че международното регулиране трудно ще се развива със същата скорост като изкуствения интелект. Според него основният фокус трябва да бъде и върху хората, които използват AI системите за незаконни цели.