Что такое constrained decoding (regex, JSON schema)?

Constrained decoding — это метод ограничения пространства возможных выходных последовательностей при генерации текста или других структур с помощью моделей, например, больших языковых моделей (LLM). Ограничения задаются с помощью формальных описаний, таких как регулярные выражения (regex) или JSON Schema, чтобы гарантировать, что сгенерированный результат соответствует определённым правилам или формату.

Например, если нужно сгенерировать JSON-объект, соответствующий определённой схеме, constrained decoding позволит модели генерировать только те токены, которые не нарушают структуру JSON и требования схемы. Это повышает качество и корректность вывода.

Пример:

• Regex: ограничить генерацию так, чтобы она соответствовала шаблону email-адреса.
• JSON Schema: ограничить генерацию JSON-объекта с обязательными полями и типами данных.

Таким образом, constrained decoding помогает контролировать и направлять генерацию, снижая вероятность ошибок и повышая релевантность результатов.