Dreambooth nima va overfittingdan qanday qochish mumkin?

Dreambooth — bu difüzyon modellari kabi generativ modellarning kichik rasm to'plamida nozik sozlash usulidir va modelga noyob, shaxsiylashtirilgan ob'ektlar yoki uslublar bilan yangi rasmlar yaratishni o'rgatish uchun ishlatiladi. Odatda, u ma'lum ob'ektlar yoki personajlarni takrorlay oladigan maxsus generativ modellar yaratish uchun ishlatiladi.

Dreamboothni ishlatishda ortiqcha moslashuvdan (overfitting) saqlanish uchun quyidagi yondashuvlar qo'llaniladi:

• L2 yoki dropout kabi tartibga solish usullaridan foydalanish.
• Trening epoxalar sonini cheklash va validatsiya to'plamidagi sifat metriklarini nazorat qilish.
• "prior preservation loss" texnikasidan foydalanish, bu modelning umumiy bilimlarini saqlashga yordam beradi va asosiy tasvirlarni unutmaslikni ta'minlaydi.
• Trening to'plamiga xilma-xillik qo'shish, masalan, rasm augmentatsiyasi orqali.
• Modelni nozik sozlash uchun kichik o'rganish tezligini qo'llash.

Ortiqcha moslashuvni nazorat qilish bilan Dreambooth trening konfiguratsiyasiga misol:

# Pseudokod
model = load_pretrained_diffusion_model()
train_dataset = load_custom_images()
optimizer = Adam(model.parameters(), lr=1e-5)

for epoch in range(num_epochs):
    for batch in train_dataset:
        loss = compute_loss(model, batch) + prior_preservation_loss(model, batch)
        loss.backward()
        optimizer.step()
        optimizer.zero_grad()
    if validation_loss_increases():
        break  # erta to'xtash

Shu tarzda, Dreambooth modelni ma'lum vazifalarga moslashtirish imkonini beradi, va trening jarayonini to'g'ri boshqarish ortiqcha moslashuvdan saqlashga yordam beradi.