Zadanie praktyczne
AI proponuje wytrenować LoRA na wszystkich 2 milionach nieoczyszczonych dialogów. Która odpowiedź kandydata jest najbardziej dojrzała?
- Zaufać AI: duży zbiór sam zrekompensuje błędy.
- Najpierw zmienić prompt, nie zmieniając danych.
- Wytrenować LoRA na oczyszczonej części i porównać z modelem bazowym.
- Sprawdzić losową próbkę oznaczeń przed treningiem.
- Najpierw sprawdzić dane i jakość według tematów na osobnym zestawie, następnie ograniczenie treningu LoRA.
- Trenować na całym korpusie, ale zmniejszyć rangę LoRA.