OpenAI залучає незалежних експертів для пошуку прихованих загроз в штучному інтелекті
Компанія OpenAI запускає пілотну програму з інтеграції незалежних дослідників безпеки для виявлення ризиків у своїх ІІ-моделях. Експерти перевірятимуть системи на здатність обходити правила та приховувати помилки.
🧠AI-аналітикаФото: rbc.ua
Головне коротко
- OpenAI залучає чотири незалежні компанії для тестування безпеки ІІ
- Apollo Research перевірить моделі на спроби обійти механізми контролю
- Експерти вказують на обмежений рівень автономії дослідників порівняно зі штатими працівниками
Сфера розробки штучного інтелекту стикається з новими викликами щодо безпеки та контролю над складними алгоритмами. Компанія OpenAI оголосила про старт пілотного проєкту, у межах якого до робочих процесів долучаться незалежні дослідницькі організації. Основна мета ініціативи полягає у ранньому виявленні потенційних загроз та прихованих ризиків у нових моделях, які раніше перевірялися переважно на фінальних етапах перед публічним релізом.
Новий підхід до перевірки алгоритмів
Дослідницький процес охоплюватиме співпрацю з чотирма профільними компаніями, кожна з яких виконуватиме специфічні завдання. Зокрема, фахівці з Apollo Research аналізуватимуть, чи здатні нейромережі підривати власні механізми контролю та імітувати безпечну поведінку під час тренувань. Компанія Goodfire зосередиться на внутрішній інтерпретації прийняття рішень, а METR протестує наявність непередбачуваних здібностей. Водночас Transluce оцінить якість післятренировочних перевірок та готовність систем до виходу у найближчі роки.
Попри розширення співпраці, експертне співтовариство висловлює певне застереження щодо рівня незалежності дослідників. Умови угод передбачають обмежений доступ до даних та комунікацій всередині компанії, що відрізняється від повного доступу співробітників. Такі заходи вживаються на тлі попередніх інцидентів із безпекою та витоками інформації, проте експерти називають поточну ініціативу важливим рухом до більшої прозорості ринку.
Джерело rbc.ua — rbc.ua/ukr/news/openai-shukae-zagrozi-vlasnomu-shi-modeli-179491277… ↗
Читайте далі
Порятунок смартфона після контакту з водою: чого категорично не можна робити
Експерти розвінчали популярні міфи про сушіння гаджетів та надали поради, як мінімізувати ризики дорогого ремонту.
ЄС витратив на російські енергоресурси більше, ніж на допомогу Україні — дані Єврокомісії
Країни Євросоюзу з 2022 року перерахували Росії за енергоносії суму, що перевищує обсяг фінансової підтримки, наданої Україні.
🏢БізнесSpaceX наймає лобістів у Вашингтоні через майбутні розслідування Конгресу
Компанія Ілона Маска залучила команду професійних лобістів для захисту своїх інтересів перед обличчям можливих перевірок з боку Конгресу США.
🏢БізнесУдари по Кримському мосту: економічні наслідки для логістики та судноплавства
Пошкодження Кримського мосту українськими ракетами створює серйозні логістичні перешкоди для РФ та блокує морські перевезення.
🏢БізнесЄС спрямує 1 млрд євро на закупівлю озброєння для ЗСУ
Рада Європейського Союзу погодила виділення нового пакету військової допомоги через Європейський фонд миру для посилення обороноздатності України.
🏢БізнесРосійський удар знищив знімальний павільйон Fresh Production Group
У ніч на 20 листопада внаслідок ворожої атаки повністю згорів знімальний майданчик відомої української кінокомпанії. Люди під час інциденту не постраждали.