Wat zijn de veiligheidskenmerken bij het beheer van robots met machine learning?

Veiligheid (safety) bij ML-gestuurde robotica omvat verschillende kernaspecten:

• Betrouwbaarheid en voorspelbaarheid van modellen: ML-modellen moeten bestand zijn tegen fouten en onvoorziene situaties om gevaarlijke acties van de robot te voorkomen.

• Omgaan met onzekerheid en anomalieën: het systeem moet kunnen herkennen wanneer invoergegevens buiten de trainingsset vallen en overschakelen naar een veilige modus.

• Verificatie en validatie van modellen: grondige tests en veiligheidscontroles voorafgaand aan implementatie.

• Reservesystemen en menselijke controle: mogelijkheid om het ML-systeem uit te schakelen of ingrijpen door de operator in geval van storingen.

• Zorg voor gegevensbeveiliging: bescherming tegen aanvallen die vervormde gegevens (adversariale aanvallen) introduceren, wat kan leiden tot verkeerde beslissingen.

In robotica is dit kritisch, omdat fouten kunnen leiden tot fysieke schade of verwondingen.