Quelles sont les caractéristiques de sécurité lors de la gestion de robots par apprentissage automatique?

La sécurité (safety) dans la gestion des robots avec ML comprend plusieurs aspects clés:

• Fiabilité et prévisibilité des modèles: Les modèles ML doivent être résistants aux erreurs et aux situations imprévues pour éviter des actions dangereuses du robot.

• Gestion de l'incertitude et des anomalies: le système doit pouvoir reconnaître lorsque les données d'entrée sortent du cadre d'apprentissage et passer en mode sécurisé.

• Vérification et validation des modèles: tests approfondis et vérifications de sécurité avant déploiement.

• Mécanismes de réserve et contrôle humain: possibilité de déconnecter le système ML ou d'intervenir par l'opérateur en cas de défaillance.

• Assurer la sécurité des données: protection contre les attaques visant à introduire des données déformées (attaques adversariales), pouvant conduire à des décisions incorrectes.

Dans la robotique, cela est critique, car les erreurs peuvent entraîner des dommages physiques ou des blessures.