Տոկենի ID և embeddings-ներից հետո, ինչ է հենց մուտք գործում decoder-ին՝ ներկայացումների ձևը ինչ է, ինչպես է ավելացվում դիրքային տեղեկատվությունը և հետո ինչ է տեղի ունենում։