რა არის CQL (კონსერვატიული Q-განათლება)?
sobes.tech AI
პასუხი AI-სგან
კონსერვატიული Q-განათლება (CQL) არის ძლიერი და საიმედო გაძლიერების სწავლების მეთოდი, რომელიც მიზნად ისახავს offline რეჟიმში (offline RL) სწავლების სტაბილურობისა და სანდოობის გაუმჯობესებას. კლასიკურ Q-განათლებაში, აგენტი სწავლობს მოლოდინული ჯილდოს მაქსიმიზაციას, განახლებით ღირებულების ფუნქციას (Q-ფუნქციას) გამოცდილების საფუძველზე. თუმცა, ფიქსირებული მონაცემთა ნაკრების გამოყენებით (გარემოსთან ურთიერთქმედების გარეშე), კლასიკური მეთოდები შეიძლება გადამეტანონ მოქმედებებს, რაც იწვევს ცუდ პოლიტიკებს.
CQL ამ პრობლემას აგვარებს, დამატებით ზიანის ფუნქციაში აკრძალვით მოქმედებების გადამეტებას, რომლებიც არ არის წარმოდგენილი სასწავლო ნაკრებში. ეს მოდელს უფრო კონსერვატიულს ხდის, ამცირებს Q-ღირებულებებს გაურკვეველ ან იშვიათ მოქმედებებზე და ამით ამცირებს ცუდ სტრატეგიებს არჩევის რისკს.
საერთო ჯამში, CQL-ში მინიმალიზდება შემდეგი ზიანის ფუნქცია:
Loss = MSE(Q(s,a), target) + \\
\alpha (E_{a \sim \pi}[Q(s,a)] - E_{a \sim D}[Q(s,a)])
სადაც $D$ არის სასწავლო ნაკრების მოქმედებების განაწილება, ხოლო $\pi$ არის აგენტის პოლიტიკა. ამ გზით, CQL აძლიერებს მონაცემებზე სწავლას და კონსერვატიულად ამცირებს გადამეტებას.