Какие требования EU AI Act к high-risk системам?

Что хотят услышать интервьюеры:

Для high-risk AI-систем EU AI Act требует управляемого жизненного цикла: оценка и снижение рисков, качественные данные, прозрачная документация, логирование, человеческий контроль и кибербезопасность. Важно показать, что система не только точная, но и проверяемая, отслеживаемая и безопасная. Также ожидается понимание постмаркет-мониторинга и обязанностей по инцидентам.

Определение:

High-risk система по EU AI Act — это AI-система, применение которой может существенно повлиять на безопасность, права или жизненно важные интересы людей, например в найме, образовании, кредитовании, медицине, критической инфраструктуре. Для таких систем регламент вводит набор обязательных требований до вывода на рынок и после него. Смысл требований — сделать систему предсказуемой, проверяемой и подотчётной.

Пример использования:

Система скоринга кандидатов в процессе найма автоматически ранжирует резюме. Для high-risk режима нужно обеспечить документированное описание модели, контроль качества обучающих данных, возможность объяснить и отследить решения, журналирование входов и выходов, а также участие человека в финальном решении.

Пояснение кода:

Код не требуется, так как требования EU AI Act описывают организационные и технические меры, а не программный синтаксис. На практике это выглядит так: сначала команда проводит оценку рисков и проверяет данные на смещения и ошибки; затем оформляет техническую документацию и настраивает логирование; после запуска обеспечивает human oversight, мониторинг качества и процесс уведомления об инцидентах; при изменениях в модели пересматривает оценку соответствия и обновляет документы.

Ключевые моменты:

• Управление рисками на протяжении всего жизненного цикла системы.
• Требования к качеству данных: релевантность, репрезентативность, минимизация смещений.
• Техническая документация и ведение логов для проверки и аудита.
• Обязательный human oversight, чтобы человек мог контролировать и при необходимости оспаривать решение.
• Требования к точности, устойчивости и кибербезопасности.
• Постмаркет-мониторинг и обязанность реагировать на серьёзные инциденты и отклонения.