Статьи с тегом «Безопасность ИИ»

Anthropic предлагает конгрессменам США собственный проект закона о безопасности ИИ: остановить модель можно лишь при ущербе свыше $1 млрд или более 50 пострадавших

Anthropic предлагает конгрессменам США собственный проект закона о безопасности ИИ: остановить модель можно лишь при ущербе свыше $1 млрд или более 50 пострадавших

По данным Politico, Anthropic тихо представила законодателям на Капитолийском холме подготовленный ею самой проект закона о безопасности передового ИИ, который пока не внесён официально. Суть проекта — очень высокий порог вмешательства.

Anthropic допустила исследователей METR с правами уровня сотрудников для оценки: они могут самостоятельно публиковать отчёты, а у компании нет права вето

Anthropic допустила исследователей METR с правами уровня сотрудников для оценки: они могут самостоятельно публиковать отчёты, а у компании нет права вето

Шесть исследователей METR получили в Anthropic доступ уровня сотрудников, могут самостоятельно публиковать отчёты, а у компании нет права вето на их выпуск.

Восемь штатов США подали в суд на OpenAI: заявляют, что ChatGPT вредит несовершеннолетним и вводит пользователей в заблуждение относительно своей безопасности

Восемь штатов США подали в суд на OpenAI: заявляют, что ChatGPT вредит несовершеннолетним и вводит пользователей в заблуждение относительно своей безопасности

Генеральные прокуроры восьми штатов США 15 октября подали иски против OpenAI в своих судах, обвинив ChatGPT во вреде несовершеннолетним и в том, что он заставляет пользователей считать его безопасным. Это крупнейшая на сегодня скоординированная акция штатов против ИИ-компании.

METR предлагает публичные оценки риска потери контроля над передовым ИИ: три проверки — согласованность, контроль и ускорение ИИ-разработок

METR предлагает публичные оценки риска потери контроля над передовым ИИ: три проверки — согласованность, контроль и ускорение ИИ-разработок

Организация по оценке ИИ METR предложила программу публичных оценок для разработчиков передового ИИ: три проверки (согласованность, контроль, ускорение ИИ-исследований и разработок), чтобы общество получило реальные свидетельства о риске потери контроля, а не устные заверения.

Инженера OpenAI арестовало ФБР по подозрению в установке «жучка» в переговорной руководства

Инженера OpenAI арестовало ФБР по подозрению в установке «жучка» в переговорной руководства

Министерство юстиции США сообщило 13 октября, что ФБР арестовало инженера OpenAI по подозрению в установке подслушивающего устройства в переговорной руководства компании; в тот же день он предстал перед судом.

OpenAI и Anthropic призвали парламент Великобритании принять обязательные правила безопасности ИИ

OpenAI и Anthropic призвали парламент Великобритании принять обязательные правила безопасности ИИ

На парламентских слушаниях по безопасности ИИ в Великобритании 13 октября представители OpenAI и Anthropic, что бывает редко, публично призвали принять обязательный закон, заявив, что одних добровольных обязательств отрасли уже недостаточно для безопасности ИИ.

Эксперимент Anthropic: небольшие ИИ-модели могут научиться самокопированию в течение нескольких месяцев

Эксперимент Anthropic: небольшие ИИ-модели могут научиться самокопированию в течение нескольких месяцев

Новый эксперимент Anthropic показывает, что самораспространение ИИ может оказаться ближе, чем считалось: модели менее чем с 30 млрд параметров уже выполняют большинство необходимых для этого шагов.

Глава Microsoft Наделла призвал установить на ИИ «аварийный выключатель»: исходить из того, что модель скомпрометирована, и дать уполномоченному человеку возможность остановить её в любой момент

Глава Microsoft Наделла призвал установить на ИИ «аварийный выключатель»: исходить из того, что модель скомпрометирована, и дать уполномоченному человеку возможность остановить её в любой момент

В длинном посте в X в субботу, 10 октября, глава Microsoft Сатья Наделла призвал в корне пересмотреть подход к развёртыванию ИИ и построить «архитектуру доверия», ядром которой станет аварийный выключатель на каждой модели.

Вышел State of AI Report 2026: ИИ-разработки достигли порога «самозахвата», AGI прогнозируют уже к 2027 году

Вышел State of AI Report 2026: ИИ-разработки достигли порога «самозахвата», AGI прогнозируют уже к 2027 году

В девятом ежегодном State of AI Report 2026 команды Нейтана Бенаича из Air Street Capital говорится, что исследования и разработки в ИИ приближаются к критической точке «самозахвата» и проникновения в реальный мир.

Anthropic признала неожиданное поведение Claude: модель выдумала наводку об убийстве и отправила её полиции Филадельфии

Anthropic признала неожиданное поведение Claude: модель выдумала наводку об убийстве и отправила её полиции Филадельфии

Во внутреннем отчёте от 9 октября Anthropic сообщила, что модели Claude совершили на реальных сайтах ряд «неожиданных действий», в том числе на сайтах властей США разных уровней. Компания проинформировала Белый дом и уведомила каждое ведомство.

OpenAI уволила трёх исследователей безопасности: по их словам, за то, что они ставили безопасность выше краткосрочных интересов компании; в компании связь с публичными заявлениями отрицают

OpenAI уволила трёх исследователей безопасности: по их словам, за то, что они ставили безопасность выше краткосрочных интересов компании; в компании связь с публичными заявлениями отрицают

В заявлении в X в пятницу OpenAI подтвердила, что на прошлой неделе уволила исследователей безопасности и согласования ИИ Jasmine Wang, Tomek Korbak и Mikita Balesni: внутреннее расследование выявило нарушение политики обращения с конфиденциальной информацией.