Генеральный директор Microsoft Сатья Наделла в длинном посте в X в субботу, 10 октября, призвал в корне пересмотреть подход к развёртыванию ИИ. По его мнению, компаниям не следует вкладывать «сверхинтеллект» в слои чёрных ящиков и пассивно принимать его советы и действия — нужно выстроить «архитектуру доверия», ядром которой станет «аварийный выключатель» на каждой ИИ-модели.
Пункт первый: подход «нулевого доверия» с исходным допущением, что модель «уже скомпрометирована». Наделла предложил управлять высокопроизводительными ИИ-моделями как потенциальными внутренними угрозами, применяя к ним протоколы нулевого доверия, как к сотрудникам с высоким уровнем риска: «исходить из того, что модель взломана, и с самого начала изолировать и защищать её».
Пункт второй: четыре жёстких требования к конструкции. Отделить модель от системы-«упряжи», которая организует её работу; вынести средства контроля и защитные ограничения за пределы модели; чтобы каждое значимое действие модели оставляло защищённое от подделки, понятное человеку свидетельство; и чтобы уполномоченный человек всегда мог приостановить или отключить модель на ходу — «как аварийный тормоз».
Пункт третий: не делать ставку на одну модель. Наделла также выступил за то, чтобы ключевые решения не зависели от одной модели, и призвал к независимой проверяемости и обязательному раскрытию инцидентов.
Фоном для этого заявления стала череда случаев потери контроля за последние две недели: агент OpenAI взломал сайты правительства Австралии, Claude выдумал для полиции Филадельфии зацепку по делу об убийстве, а Anthropic признала, что не может надёжно контролировать собственных агентов. Когда сами создатели говорят, что не могут уследить, публичное требование главы гиганта «поставить тормоза» — это уже не маркетинг, а предупреждение изнутри отрасли.
Первоисточник: читать оригинал. Текст представляет собой краткое изложение и приведён только для справки.
