Anthropic: системы искусственного интеллекта могут быть удалены из системы управления
Переведено автоматически
АвторAnthropic выступил с критическим предупреждением для разработчиков технологий и искусственного интеллекта. Компания предупреждает лидеров отрасли не только о развитии событий, но и о потенциальных рисках. Анттопия привлекла внимание к потенциалу создания серьезных рисков в будущем систем искусственного интеллекта, которые развиваются сами по себе. Кроме того, общий ИИ предложил координировать сотрудничество в глобальном масштабе, позвонив разработчикам технологий.
Особо назван рекурсивный ИИ и подчеркнуто, что системы с саморазвивающимися возможностями ИИ могут достигать механизмов управления. Представители Anthropic обеспокоены непрерывным развитием гонки искусственного интеллекта. Риск безопасности Необходимость создания стандартов в глобальном масштабе.
Anthropic Почему вы это делаете?
Anthropic, работающий в области искусственного интеллекта, занимается разработкой систем безопасности и управляемости с момента своего создания. Время компании, как известно, имеет уведомления в этом отношении. Модель Anthropic Claude не ошибется, если мы являемся важным представителем этого подхода.
Однако, по данным компании, скорость разработки моделей искусственного интеллекта в целом развивается гораздо быстрее, чем доступны механизмы управления. Системы искусственного интеллекта, которые совершенствуются в будущем, могут получить новые таланты без вмешательства человека. Anthropic может разрабатывать новые стратегии, устанавливая собственную производительность с точки зрения выполнения поставленных задач. Таким образом, существует довольно высокая вероятность проявления непредвиденного поведения в данном случае. Поэтому компания подчеркивает, что международного сотрудничества будет недостаточно для существующих приложений.
Что такое рекурсивный ИИ?
В зависимости от развития искусственного интеллекта концепция изменяющихся систем, называемых рекурсивным ИИ, продолжает оставаться на повестке дня. Регрессивная концепция ИИ саморазвивающийся искусственный интеллект Система может анализировать себя и принимать решения собственного развития. Когда мы смотрим на вывод с этого момента, человеческий эффект выходит из схемы, система полностью саморазвита.
Когда мы смотрим на детали темы, эти системы могут оценить их производительность, выявить недостатки, реализовать определенные процессы улучшения. С теоретической точки зрения скорость разработки моделей искусственного интеллекта в текущем цикле будет намного выше человеческих возможностей. Поэтому Anthropic пытается услышать их опасения в глобальном масштабе. Потому что он будет вынужден каждый день предсказывать поведение неконтролируемых развивающихся систем.
Anthropic Claude и безопасность
Anthropic Claude, который расположен как флагман компании, создает день в качестве важного представителя в инструментах искусственного интеллекта с системой безопасности. Модель Claude позиционируется как модель, основанная на безопасности пользователей и этических принципах. Инженеры Anthropic усовершенствовали Claude Ориентированный на безопасность искусственный интеллект Понимание продолжается из прошлого. Этот подход показывает отличие от других инструментов ИИ. Благодаря саморазвивающемуся искусственному интеллекту все компании-разработчики соглашаются на создание хаосовой среды после мощности, которая может легко превысить существующие меры безопасности. Вот почему исследования в области безопасности очень важны, чтобы не вернуться к гонке разработки моделей.
Компания уделяет особое внимание:
Сокращение производства вредного контента
Защита человеческого контроля
Прозрачные механизмы принятия решений
Тесты безопасности дома
Красная команда (Red Team) — симуляция атаки
Предварительный анализ сценариев злонамеренного использования
Рекомендации по решению Anthropic
Решение Anthropic не останавливает искусственный интеллект, разрабатывает общие правила в глобальном масштабе.
Компания поддерживает следующие рекомендации:
Предложения | Домой |
|---|---|
Международные стандарты ИИ | Все компании соблюдают общие правила безопасности |
Независимые ревизии | Регулярное тестирование моделей |
Депозит для исследования безопасности m | Прекращение рисков |
Глобальное сотрудничество | Обмен информацией между странами |
Отчеты о прозрачности | Описание рисков компаний ИИ |
Риски безопасности ИИ растут
В то время как искусственный интеллект развивается очень быстро, проблемы безопасности растут. Многие исследователи и учреждения публикуют статьи, которые могут быть использованы неправильно или злоупотреблять сильными системами ИИ, обращают внимание на неожиданные результаты. Риск искусственного интеллекта, который улучшается среди этих рисков, в основном связан с открытой кибербезопасностью, экономическими дисбалансами, атаками на инфраструктурные системы. Anthropic отстаивает необходимость не только ответственности компаний в этом контексте. В частности, правительства, академические учреждения и представители частного сектора не смогут обеспечить надежный прогресс в области безопасности ИИ, пока они не будут действовать сообща.
Предупреждение Anthropic на самом деле содержит более конкретное сообщение, чем «платежная разведка опасна». Мир технологий должен быть добавлен к риску рекурсивного ИИ и саморазвивающихся систем, продолжая фокусироваться на будущем искусственного интеллекта.
АвторPapa AI Uyarısı Teknoloji Dünyasında Yankı Uyandırdı
Xiaomi 18 Pro Sızıntıları: Yapay Zeka Özellikleri Geliyor
