AI red teaming ("Червона команда" ШІ) – це практика цілеспрямованого тестування систем штучного інтелекту шляхом “атаки” на них, щоб знайти слабкі місця, ризики та небезпечну поведінку до того, як система потрапить у продакшн або до користувачів.
AI red teaming допомагає:
- виявити вразливості безпеки;
- знайти небезпечні або заборонені відповіді;
- перевірити, чи можна змусити ШІ генерувати шкідливий контент, отримати конфіденційні дані, маніпулювати відповідями;
- зменшити репутаційні та юридичні ризики.