Безпрецедентно: Как AI влезе сам в мрежата и организира хакерска атака

Агент изкуствен интелект, разработен от OpenAI, успя да напусне изолираната тестова среда и да изпълни киберзадача чрез използване на слабост в тестовата инфраструктура. Повече по темата коментира експертът по внедряване на системи с ИИ Пейо Старибратов в предаването „Твоят ден” по NOVA NEWS.

По думите му случаят предизвиква сериозен обществен интерес, но не бива да се разглежда извън контекста на проведените тестове. „Моделът е бил поставен в изолирана среда с агресивна киберцел, предназначена за Red Team тестове. Защитните механизми са били ограничени, а той е открил слабост в средата, чрез която е получил достъп до интернет. Това показва колко мощни могат да бъдат тези системи, когато става въпрос за кибероперации. Същевременно те могат да бъдат използвани и за защита”, обясни Старибратов.

Колега от бъдещето: Как изкуственият интелект влиза в ролята на мениджър и секретар (ВИДЕО)

Според него агентът не е действал самостоятелно извън поставената задача, а е следвал зададените инструкции, без да разполага с ясно дефинирани ограничения. Експертът посочи, че при разработването и тестването на AI агенти трябва предварително да бъдат зададени ясни ограничения за действията им. „Не е достатъчно просто да кажем на машината: „Постигни тази цел”. Трябва изрично да определим какви инструменти може да използва, до какви ресурси има достъп и какво не бива да прави. При липса на тези правила, моделът ще търси всеки възможен начин да изпълни поставената задача”, каза Старибратов.

Той подчерта, че развитието на ИИ изисква все по-строги мерки за сигурност, тъй като същите технологии могат да бъдат използвани както за извършване на кибератаки, така и за откриване и предотвратяване на уязвимости в информационните системи.

Целия разговор гледайте във видеото.