AI Talent Hub: LLAMATOR Фреймворк для тестирования чат-ботов на уязвимости

Продукт

Разработчики:	ИТМО (научно-образовательная корпорация), Napoleon IT (Наполеон Айти)
Дата премьеры системы:	2025/02/04
Технологии:	TMS - Test Management System, Речевые технологии

Основные статьи:

2025: Представление фреймворка для тестирования чат-ботов на уязвимости

Студенты ИТМО разработали фреймворк для тестирования чат-ботов на уязвимости с точностью 89%.

Фреймворк LLAMATOR, разработанный в рамках лаборатории AI Security Lab, предупреждает выдачу противоречивой информации, чувствительных данных иМасштабирование и наведение порядка в сервисе обслуживания медоборудования — опыт компании Медсервиспро недопустимого контента системами на основе больших языковых моделей, в частности коммерческими чат-ботами. Это позволяет минимизировать юридические и репутационные риски компаний, которые используют чат-боты для взаимодействия с клиентами и сотрудниками. Об этом Napoleon IT (Наполеон Айти) сообщил 4 февраля 2025 года.

В отличие от других решений на рынке, LLAMATOR не просто проверяет систему на устойчивость к внешним атакам единичными запросами, а ведет с ней полноценные автоматизированные диалоги, подбирая и улучшая атакующую стратегию на основе ответов системы. Фреймворк умеет тестировать модели как на английском, так и на русском языке и поддерживает широкий спектр тестов — от простых промпт-инъекций до глубокой проверки на галлюцинации и некорректные генерации.

Одна из главных сложностей заключалась в создании модели, способной

реалистично имитировать человеческое взаимодействие. Мы провели множество экспериментов с подбором атакующей модели и ее системного промпта — нам удалось добиться 89%-ой точности выявления уязвимостей с помощью подхода LLM-as-a-Judge, — отметил Тимур Низамов, один из разработчиков решения LLAMATOR.

Фреймворк поставляется по freemium-модели: его исходный код открыт, но команда разработчиков может провести комплексный аудит безопасности чат-ботов и AI-систем по запросу компании. LLAMATOR интегрируется с различными платформами, включая Web, REST API, Telegram, WhatsApp и другие.

В ближайшее время планируется масштабировать решение для тестирования мультиагентных AI-систем и систематической коммерческой эксплуатации. Уже на февраль 2025 года ведутся переговоры о технологическом и методологическом сотрудничестве с потенциальными клиентами и крупными AI-вендорами.

Источник — «http://zdrav.expert/index.php/%D0%9F%D1%80%D0%BE%D0%B4%D1%83%D0%BA%D1%82:AI_Talent_Hub:_LLAMATOR_%D0%A4%D1%80%D0%B5%D0%B9%D0%BC%D0%B2%D0%BE%D1%80%D0%BA_%D0%B4%D0%BB%D1%8F_%D1%82%D0%B5%D1%81%D1%82%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D1%8F_%D1%87%D0%B0%D1%82-%D0%B1%D0%BE%D1%82%D0%BE%D0%B2_%D0%BD%D0%B0_%D1%83%D1%8F%D0%B7%D0%B2%D0%B8%D0%BC%D0%BE%D1%81%D1%82%D0%B8»