Что такое sequence packing при тренировке LLM?

Sequence packing — это техника подготовки входных данных при тренировке больших языковых моделей (LLM), которая позволяет эффективно использовать вычислительные ресурсы.

Идея в том, чтобы упаковать несколько коротких последовательностей (текстов) в одну длинную последовательность, заполняя пустое пространство между ними специальными токенами-разделителями. Это помогает:

• Максимально заполнить фиксированную длину входа модели (например, 512 или 1024 токена).
• Уменьшить количество пустых или заполненных токенов (padding), что повышает эффективность обучения.

Например, если у вас есть несколько коротких предложений, вместо того чтобы обрабатывать каждое отдельно с большим количеством padding, вы объединяете их в один батч, разделяя специальными токенами:

[Sequence1 tokens] <SEP> [Sequence2 tokens] <SEP> [Sequence3 tokens]

Это позволяет модели видеть несколько примеров за один проход и экономит память и время обучения.

Sequence packing особенно полезен при fine-tuning LLM, где данные могут быть разной длины и важно эффективно использовать вычислительные ресурсы.