Bilgisayar Görüşü görevleri için hangi dönüştürücüleri biliyorsunuz (ViT, Swin, DeiT, DETR, BEiT)?

Bilgisayar Görüşü görevlerinde, dönüştürücüler görüntüleri ve videoları işlemek için kullanılır, klasik konvolüsyonel sinir ağlarını yerine veya tamamlayıcı olarak. Ana mimariler:

• ViT (Vision Transformer) — görüntüler için başarılı ilk dönüştürücü, resmi parçalara ayırıp bunları NLP'deki kelimeler gibi token dizisi olarak işler.

• Swin Transformer — hiyerarşik yapı ve pencere tabanlı dikkat mekanizmaları kullanımıyla ViT'nin geliştirilmesi, bu da verimli ölçeklendirme ve yerel bağlamların dikkate alınmasını sağlar.

• DeiT (Data-efficient Image Transformer) — daha küçük veri setlerinde iyi sonuçlar elde etmeye olanak tanıyan eğitim yöntemleriyle ViT'nin optimizasyonu.

• DETR (Detection Transformer) — nesne tespiti görevi için dönüştürücü, konvolüsyonel ağlar ve dönüştürücüleri birleştirerek doğrudan nesne tahminleri yapar, karmaşık sonrası işlemlere gerek yok.

• BEiT (Bidirectional Encoder representation from Image Transformers) — maskeleme ve geri kazanım kullanarak görüntüler üzerinde ön eğitim yöntemi, NLP'deki BERT'e benzer.

Her biri farklı görevleri çözer ve mimari yenilikler ve eğitim yöntemleriyle görsel verilerin işlenme verimliliğini artırır.