Čo je Dreambooth a ako sa mu vyhnúť?

Dreambooth je metóda jemného doladenia generatívnych modelov, ako sú difúzne modely, na malom súbore obrázkov s cieľom naučiť model generovať nové obrázky s unikátnymi, personalizovanými objektmi alebo štýlmi. Zvyčajne sa používa na vytváranie vlastných generatívnych modelov, ktoré môžu reprodukovať konkrétne objekty alebo postavy.

Aby sa predišlo preučeniu (overfittingu) pri použití Dreambooth, aplikujú sa nasledujúce prístupy:

• Použitie regularizácie, ako je L2 regularizácia alebo dropout.
• Obmedzenie počtu epochov tréningu a kontrola metrík kvality na validačnom súbore.
• Použitie techniky "prior preservation loss", ktorá pomáha zachovať všeobecné znalosti modelu bez zabudnutia základných reprezentácií.
• Pridanie rozmanitosti do tréningového súboru, napríklad prostredníctvom augmentácie obrázkov.
• Použitie nízkej rýchlosti učenia na jemné doladenie modelu.

Príklad nastavenia tréningu Dreambooth s kontrolou nad preučovaním:

# Pseudokód
model = load_pretrained_diffusion_model()
train_dataset = load_custom_images()
optimizer = Adam(model.parameters(), lr=1e-5)

for epoch in range(num_epochs):
    for batch in train_dataset:
        loss = compute_loss(model, batch) + prior_preservation_loss(model, batch)
        loss.backward()
        optimizer.step()
        optimizer.zero_grad()
    if validation_loss_increases():
        break  # skoré zastavenie

Týmto spôsobom Dreambooth umožňuje prispôsobiť generatívny model špecifickým úlohám a správne riadenie procesu tréningu pomáha predchádzať preučovaniu.