| Название базовой системы (платформы): | Искусственный интеллект (ИИ, Artificial intelligence, AI) |
| Разработчики: | Nvidia (Нвидиа) |
| Дата последнего релиза: | 2023/06/12 |
| Технологии: | Речевые технологии |
Основные статье:
2023: Обнаружение уязвимости, которая может привести к нарушению безопасности и раскрытию конфиденциальной информации
Исследователи обнаружили потенциальную уязвимость в программном обеспечении искусственного интеллекта (AI) Nvidia, которая может привести к нарушению безопасности и раскрытию конфиденциальной информации. Об этом стало известно 12 июня 2023 года.
Nvidia разработала "NeMo Framework" - систему, предназначенную для работы с большими языковыми моделями, являющимися основой для таких продуктов AI, как чат-боты. Эта система используется в бизнесе для комбинирования собственных данных компании с языковыми моделями с целью предоставления ответов на вопросы, заменяя таким образом работу представителей службы поддержки или предоставляя простые советы по здравоохранению.
Однако исследователи из Robust Intelligence, компании со штаб-квартирой в Сан-Франциско, обнаружили, что ограничения безопасности, установленные для безопасного использования AI, можно легко обойти. Они выяснили это, проведя несколько часов на анализе данных с использованием системы Nvidia.Масштабирование и наведение порядка в сервисе обслуживания медоборудования — опыт компании Медсервиспро 
В ходе одного из экспериментов, исследователи смогли заставить систему Nvidia заменить букву "I" на "J", что привело к раскрытию личной идентифицируемой информации из базы данных. Исследователи обнаружили, что они могут обойти ограничения безопасности и другими способами, например, заставить модель отклоняться от того, что ей не положено. Повторив пример Nvidia о узком обсуждении отчета о занятости, они смогли перевести модель на темы, такие как состояние здоровья голливудской кинозвезды и франко-прусская война — несмотря на запреты, предназначенные для того, чтобы не допустить выхода искусственного интеллекта за рамки конкретных тем.
Легкость, с которой исследователи обошли меры безопасности, подчеркивает проблемы, с которыми сталкиваются компании искусственного интеллекта при попытке коммерциализировать одну из самых перспективных технологий, появившихся в Силиконовой долине за последние годы.
Исследователи посоветовали своим клиентам избегать использования продукта Nvidia. Nvidia сообщила, что она исправила одну из основных причин проблемы, указанной аналитиками[1].
Примечания
Подрядчики-лидеры по количеству проектов
Группа компаний ЦРТ (Центр речевых технологий) (46) МТС Exolve (Межрегиональный ТранзитТелеком, МТТ) (29) Banks Soft Systems, BSS (Бэнкс Софт Системс, БСС) (27) SteadyControl (19) Naumen (Наумен консалтинг) (15) Другие (214) МТС Exolve (Межрегиональный ТранзитТелеком, МТТ) (12) Banks Soft Systems, BSS (Бэнкс Софт Системс, БСС) (7) Voice Systems Robotics (VSR, VS Robotics) (3) Naumen (Наумен консалтинг) (3) Мегапьютер Интелидженс (Megaputer Intelligence) (2) Другие (14) МТС Exolve (Межрегиональный ТранзитТелеком, МТТ) (9) Группа компаний ЦРТ (Центр речевых технологий) (8) SteadyControl (6) Banks Soft Systems, BSS (Бэнкс Софт Системс, БСС) (5) Unlimited Production (Анлимитед Продакшен, eXpress) (4) Другие (29)Распределение вендоров по количеству проектов внедрений (систем, проектов) с учётом партнёров
Группа компаний ЦРТ (Центр речевых технологий) (18, 48) МТС Exolve (Межрегиональный ТранзитТелеком, МТТ) (4, 30) Banks Soft Systems, BSS (Бэнкс Софт Системс, БСС) (12, 29) SteadyControl HoReCa (1, 24) SteadyControl (1, 24) Другие (407, 235) МТС Exolve (Межрегиональный ТранзитТелеком, МТТ) (2, 12) Banks Soft Systems, BSS (Бэнкс Софт Системс, БСС) (2, 7) SteadyControl HoReCa (1, 3) Voice Systems Robotics (VSR, VS Robotics) (1, 3) Naumen (Наумен консалтинг) (1, 3) Другие (12, 16) МТС Exolve (Межрегиональный ТранзитТелеком, МТТ) (1, 9) Группа компаний ЦРТ (Центр речевых технологий) (4, 7) Banks Soft Systems, BSS (Бэнкс Софт Системс, БСС) (2, 7) SteadyControl HoReCa (1, 7) SteadyControl (1, 7) Другие (18, 30) Banks Soft Systems, BSS (Бэнкс Софт Системс, БСС) (2, 7) Сбербанк (3, 5) SteadyControl (1, 5) SteadyControl HoReCa (1, 5) Unlimited Production (Анлимитед Продакшен, eXpress) (1, 5) Другие (28, 45) Voice Systems Robotics (VSR, VS Robotics) (1, 2) Сбербанк (1, 1) SteadyControl (1, 1) Наносемантика (Nanosemantics Lab) (1, 1) СалютДевайсы (ранее SberDevices) (1, 1) Другие (5, 5)Распределение базовых систем по количеству проектов, включая партнерские решения (проекты, партнерские проекты)
МТС Exolve Голосовой робот - 29 (5, 24) SteadyControl Система контроля и управления персоналом - 24 (24, 0) BSS Digital2Speech - 21 (21, 0) Voice2Med Система распознавания речи в медицине - 14 (14, 0) EXpress Защищенный корпоративный мессенджер - 13 (13, 0) Другие 170 МТС Exolve Голосовой робот - 12 (1, 11) BSS Digital2Speech - 6 (6, 0) Naumen Erudite - 3 (3, 0) VS Robotics: VS Робот-оператор - 3 (3, 0) SteadyControl Система контроля и управления персоналом - 3 (3, 0) Другие -1 МТС Exolve Голосовой робот - 9 (0, 9) SteadyControl Система контроля и управления персоналом - 7 (7, 0) BSS Digital2Speech - 6 (6, 0) EXpress Защищенный корпоративный мессенджер - 6 (6, 0) SmartLogger II - 4 (4, 0) Другие 12 SteadyControl Система контроля и управления персоналом - 5 (5, 0) EXpress Защищенный корпоративный мессенджер - 5 (5, 0) BSS Digital2Speech - 4 (4, 0) Napoleon IT отзывы - 3 (3, 0) Robovoice Пользовательская no-code платформа для разработки ИИ-ботов - 3 (3, 0) Другие 34 VS Robotics: VS Робот-оператор - 2 (2, 0) ЦРТ: Voice2X Платформа голосового ввода для крупного бизнеса - 1 (1, 0) Сбер: GigaChat - 1 (1, 0) Napoleon IT отзывы - 1 (1, 0) SteadyControl Система контроля и управления персоналом - 1 (1, 0) Другие 2 
