¿Cuáles son las características de seguridad en la gestión de robots con aprendizaje automático?

La seguridad (safety) en la gestión de robots con ML incluye varios aspectos clave:

• Fiabilidad y predictibilidad de los modelos: Los modelos de ML deben ser resistentes a errores y situaciones imprevistas para evitar acciones peligrosas del robot.

• Manejo de incertidumbre y anomalías: el sistema debe ser capaz de reconocer cuándo los datos de entrada están fuera del conjunto de entrenamiento y cambiar a un modo seguro.

• Verificación y validación de modelos: pruebas exhaustivas y comprobaciones de seguridad antes de la implementación.

• Mecanismos de reserva y control humano: posibilidad de desconectar el sistema de ML o la intervención del operador en caso de fallos.

• Garantía de seguridad de los datos: protección contra ataques que introducen datos distorsionados (ataques adversariales), que pueden conducir a decisiones incorrectas.

En la robótica, esto es crítico, ya que los errores pueden causar daños físicos o lesiones.