Quali sono le caratteristiche di sicurezza nella gestione dei robot con apprendimento automatico?

La sicurezza (safety) nella gestione dei robot con ML include diversi aspetti chiave:

• Affidabilità e prevedibilità dei modelli: I modelli ML devono essere resistenti agli errori e alle situazioni impreviste per evitare azioni pericolose del robot.

• Gestione dell'incertezza e delle anomalie: il sistema deve essere in grado di riconoscere quando i dati di input escono dal set di addestramento e passare a una modalità sicura.

• Verifica e validazione dei modelli: test approfonditi e controlli di sicurezza prima dell'implementazione.

• Meccanismi di riserva e controllo umano: possibilità di disattivare il sistema ML o intervenire manualmente in caso di malfunzionamenti.

• Garantire la sicurezza dei dati: protezione contro attacchi che introducono dati distorti (attacchi adversariali), che possono portare a decisioni errate.

In robotica, ciò è critico, poiché gli errori possono causare danni fisici o lesioni.