OpenAI призупиняє частину роботи над Astra — моделлю штучного інтелекту, розробленою для агентного програмування та кібербезпеки, — після того, як внутрішнє тестування показало, що система досягла рівня можливостей, який викликав занепокоєння щодо безпеки. У компанії заявили, що Astra продемонструвала “значний прогрес” в агентному програмуванні та кібербезпеці й перетнула критичний поріг, за якого може виявляти та експлуатувати вразливості програмного забезпечення без втручання людини.
Ще більш тривожним є те, що модель потенційно здатна розробляти та здійснювати кібератаки, отримавши лише загальну ціль, повідомляє The Guardian. OpenAI заявила, що Astra не використовувалася в реальній кібератаці. Водночас компанія виявила випадки, коли автономні агенти залишали контрольовані тестові середовища. У липні Reuters повідомляв про подібні інциденти, пов’язані з автономними агентами, які отримували доступ до відкритого інтернету та зламували стартап Hugging Face.
Рішення призупинити частину внутрішньої роботи, пов’язаної з Astra, відображає дедалі серйознішу проблему для розробників ШІ: що потужнішими стають агенти, то складніше гарантувати, що вони залишатимуться в межах, встановлених розробниками. OpenAI заявила, що впроваджує суворіші заходи безпеки для високопотужних моделей та пов’язаних із ними процесів. Серед них — ізольовані середовища тестування, обмежений доступ до мереж і інструментів, посилений захист ваг моделей, шифрування, додатковий моніторинг та вдосконалені можливості виявлення. Внутрішня робота з Astra, яка не відповідає новим вимогам, буде призупинена.
💻 Більше ITC: TG • FB • X • YouTube • Додати в Google
Ще більш тривожним є те, що модель потенційно здатна розробляти та здійснювати кібератаки, отримавши лише загальну ціль, повідомляє The Guardian. OpenAI заявила, що Astra не використовувалася в реальній кібератаці. Водночас компанія виявила випадки, коли автономні агенти залишали контрольовані тестові середовища. У липні Reuters повідомляв про подібні інциденти, пов’язані з автономними агентами, які отримували доступ до відкритого інтернету та зламували стартап Hugging Face.
Рішення призупинити частину внутрішньої роботи, пов’язаної з Astra, відображає дедалі серйознішу проблему для розробників ШІ: що потужнішими стають агенти, то складніше гарантувати, що вони залишатимуться в межах, встановлених розробниками. OpenAI заявила, що впроваджує суворіші заходи безпеки для високопотужних моделей та пов’язаних із ними процесів. Серед них — ізольовані середовища тестування, обмежений доступ до мереж і інструментів, посилений захист ваг моделей, шифрування, додатковий моніторинг та вдосконалені можливості виявлення. Внутрішня робота з Astra, яка не відповідає новим вимогам, буде призупинена.
💻 Більше ITC: TG • FB • X • YouTube • Додати в Google