Кайсы негизги ыкмалар жана трансформаторлордун архитектуралары бар?

Трансформаторлордун негизги архитектуралары жана жакындаштары төмөнкүлөрдү камтыйт:

1. Түптөлгөн трансформатор (Vaswani жана башка, 2017) — негизги архитектура, ал өз-өзүнө көңүл буруу механизмин колдонуп, тариздерди рекурсия жана конволюцияларсыз иштетет. Ал энкодер жана декодерден турат.

2. BERT (Трансформаторлордон эки тараптуу энкодерлердин өкүлдөрү) — трансформатордун гана энкодер бөлүгүн колдонуп, жашырылган тил тапшырмасында үйрөтүлөт, бул эки тараптуу контекстти эске алууга мүмкүндүк берет.

3. GPT (Генеративдүү алдын ала үйрөтүлгөн трансформатор) — трансформатордун декодер бөлүгүнө негизделген, текстти түзүү үчүн колдонулат, автогрессивдүү үйрөтүлөт.

4. Transformer-XL — узун тариздерди иштетүү үчүн рекуррент эс механизми менен оригинал трансформаторду өркүндөтүү.

5. T5 (Тексттен-текстке өткөрүү трансформатору) — бардык NLP тапшырмаларын текстти текстке айландыруу катары формалаштырган бирдиктүү жакындоо.

6. Vision Transformer (ViT) — сүрөттөрдү иштетүү үчүн трансформаторлорду ыңгайлаштыруу, сүрөттү бөлүктөргө бөлүп, аларды тариз катары иштетүү.

Ар бир ушул жакындоо көңүл буруу механизмине негизделген, бирок конкреттүү тапшырмалар жана маалымат түрлөрүнө ылайыкташтырылган.