Что такое p-тюнинг?

P-тюнинг (prompt tuning) — это метод адаптации больших языковых моделей, при котором вместо дообучения всей модели оптимизируется небольшой набор параметров, добавленных в виде специальных "подсказок" (prompt) к входным данным.

Идея в том, чтобы найти оптимальные векторы (параметры подсказок), которые при подаче вместе с запросом позволяют модели выдавать нужные ответы, не меняя веса самой модели.

Преимущества p-тюнинга:

• Значительно меньше параметров для обучения.
• Быстрее и дешевле, чем полное дообучение.
• Позволяет эффективно адаптировать модель под конкретные задачи.

Пример: вместо обучения всей модели для классификации, мы обучаем только несколько параметров, которые добавляются к тексту запроса и направляют модель к нужному ответу.