Jaké jsou bezpečnostní vlastnosti při řízení robota s ML?

Bezpečnost (safety) při řízení robotů s ML zahrnuje několik klíčových aspektů:

• Spolehlivost a předvídatelnost modelů: Modely ML musí být odolné vůči chybám a nepředvídaným situacím, aby nedocházelo k nebezpečným akcím robota.

• Řízení nejistoty a anomálií: systém musí být schopen rozpoznat, kdy vstupní data přesahují tréninkovou sadu, a přepnout do bezpečného režimu.

• Ověření a validace modelů: důkladné testování a bezpečnostní kontroly před nasazením.

• Záložní mechanismy a lidská kontrola: možnost vypnout ML systém nebo zasáhnout operátora v případě poruch.

• Zajištění bezpečnosti dat: ochrana před útoky, které zavádějí zkreslená data (adversariální útoky), jež mohou vést k nesprávným rozhodnutím.

V robotice je to kritické, protože chyby mohou vést k fyzickému poškození nebo zraněním.