Čo je jailbreak a ako s ním boju výrobcovia?

Jailbreak — je pokus o obilaženje ugrađenih ograničenja i filtera u velikim modelima jezika (LLM), kako bi ih natjerao da generiraju neželjeni, opasni ili zabranjeni sadržaj. To se postiže pomoću posebno sastavljenih upita (prompt) koji "varaju" model.

Dobavljači se bore protiv jailbreaka na sljedeće načine:

• Treningom modela s dodatnim podacima s negativnim primjerima kako bi prepoznao i odbacio štetne upite.
• Uvođenjem filtara i sustava moderacije koji analiziraju odgovore i blokiraju neprimjeren sadržaj.
• Korištenjem višeslojnih sigurnosnih sustava, uključujući provjeru konteksta i ograničenje pristupa određenim funkcijama.
• Kontinuiranim ažuriranjem i poboljšanjem modela i politika sigurnosti na temelju novih metoda jailbreaka.

Tako, borba protiv jailbreaka je skup mjera usmjerenih na očuvanje sigurnosti i etike u korištenju AI-ja.