Praktický úkol
AI navrhuje trénovat LoRA na všech 2 milionech nezpracovaných dialogů. Jaká je nejzralejší odpověď kandidáta?
- Důvěra v AI: velký korpus sám vyrovná chyby.
- Nejprve změnit prompt, aniž bychom měnili data.
- Vytrénovat LoRA na očištěné části a porovnat ji s základním modelem.
- Před tréninkem zkontrolovat náhodný vzorek označení.
- Nejprve zkontrolovat data a kvalitu podle témat na samostatném setu, poté omezeně trénovat LoRA.
- Trénovat na celém korpusu, ale snížit řád LoRA.