Quais são as características de segurança na gestão de robôs com aprendizagem automática?

A segurança (safety) na gestão de robôs com ML inclui vários aspetos-chave:

• Confiabilidade e previsibilidade dos modelos: Os modelos de ML devem ser resistentes a erros e situações imprevistas para evitar ações perigosas do robô.

• Gestão de incerteza e anomalias: o sistema deve ser capaz de reconhecer quando os dados de entrada estão fora do conjunto de treino e passar para um modo seguro.

• Verificação e validação de modelos: testes rigorosos e verificações de segurança antes da implementação.

• Mecanismos de reserva e controlo humano: possibilidade de desligar o sistema de ML ou intervenção do operador em caso de falhas.

• Garantia da segurança dos dados: proteção contra ataques que introduzem dados distorcidos (ataques adversariais), que podem levar a decisões incorretas.

Na robótica, isto é crítico, pois erros podem levar a danos físicos ou ferimentos.