Что такое плотный вектор (dense embedding)? Как он получается? Какой у него размер?

Плотный вектор (dense embedding) — это числовое представление объекта (например, слова, документа, изображения) в виде вектора фиксированной длины, где каждый элемент — вещественное число. В отличие от разреженных векторов (sparse vectors), где большинство элементов равны нулю, плотный вектор содержит значимые значения во всех или большинстве своих компонент.

Как получается плотный вектор:

• Обучение нейросети или другой модели, которая преобразует исходные данные в вектор фиксированной размерности.
• Например, в NLP используются модели word2vec, GloVe, BERT, которые обучаются на большом корпусе текстов и выдают для каждого слова или предложения плотный вектор.

Размер плотного вектора зависит от задачи и модели, обычно это от нескольких десятков до нескольких сотен или тысяч чисел. Например, word2vec часто использует размерность 100-300, BERT — 768 или 1024.

Плотные векторы удобны для вычисления сходства, кластеризации, классификации и других задач машинного обучения.