¿Cómo se calcula la parametrización del transformador (cantidad de parámetros en función de d_model y las capas)?

La cantidad de parámetros del transformador (el número total de parámetros) depende de varios componentes clave, principalmente del tamaño del modelo (d_model) y del número de capas (L).

Los parámetros principales incluyen:

• Los pesos de las capas lineales en el mecanismo de atención (consulta, clave, valor, salida) — cada uno de aproximadamente d_model × d_model.
• Los parámetros de las capas de normalización y codificación posicional (generalmente insignificantes en comparación con los demás).
• Los parámetros de la red feed-forward dentro de cada capa — generalmente son dos capas lineales con tamaños d_model × d_ff y d_ff × d_model, donde d_ff es el tamaño de la capa interna (generalmente 4 veces mayor que d_model).

Fórmula aproximada para los parámetros de una capa:

Parámetros de la capa ≈ 4 × (d_model × d_model) + 2 × (d_model × d_ff) + 2 × (d_ff × d_model)

Teniendo en cuenta que d_ff ≈ 4 × d_model, el resultado final es aproximadamente:

Parámetros de la capa ≈ 4 × d_model² + 8 × d_model² + 8 × d_model² = 20 × d_model²

El número total de parámetros del transformador con L capas:

Total ≈ L × 20 × d_model²

Esta es una estimación simplificada, que no considera los parámetros de los embeddings y normalización, pero proporciona una comprensión de la dependencia de d_model y del número de capas.