Dreambooth nədir və overfitting-dən necə qaçınmaq olar?

Dreambooth — bu difüzyon modelləri kimi generativ modellərin kiçik şəkil dəstində incə tənzimlənməsi metodudur və modeli unikal, fərdiləşdirilmiş obyektlər və ya üslublərlə yeni şəkillər yaratmağa öyrətmək məqsədilə istifadə olunur. Ümumiyyətlə, müəyyən obyektləri və ya personajları təkrarlaya bilən xüsusi generativ modellər yaratmaq üçün istifadə edilir.

Dreambooth istifadə edərkən overfitting (aşırı öyrənmə) qarşısını almaq üçün aşağıdakı yanaşmalar tətbiq edilir:

• L2 və ya dropout kimi tənzimləmə metodlarından istifadə.
• Təlim epoxalarının sayını məhdudlaşdırmaq və validasiya dəstində keyfiyyət metriklərini nəzarətdə saxlamaq.
• "prior preservation loss" texnikasından istifadə, bu modelin ümumi biliklərini qorumağa və əsas təsvirləri unutmamağa kömək edir.
• Təlim dəstinə müxtəliflik əlavə etmək, məsələn, şəkil artırma yolu ilə.
• Modelin incə tənzimlənməsi üçün aşağı öyrənmə dərəcəsindən istifadə.

Overfitting-i nəzarət edən Dreambooth təlim konfiqurasiyasına nümunə:

# Pseudokod
model = load_pretrained_diffusion_model()
train_dataset = load_custom_images()
optimizer = Adam(model.parameters(), lr=1e-5)

for epoch in range(num_epochs):
    for batch in train_dataset:
        loss = compute_loss(model, batch) + prior_preservation_loss(model, batch)
        loss.backward()
        optimizer.step()
        optimizer.zero_grad()
    if validation_loss_increases():
        break  # erkən dayandırma

Beləliklə, Dreambooth xüsusi tapşırıqlara uyğun generativ modeli tənzimləməyə imkan verir və düzgün təlim idarəsi overfitting-i qarşısını almağa kömək edir.