Какие приёмы повышают точность маленьких LLM (Llama 3 8B, Mistral 7B) на сложных задачах?

Для повышения точности маленьких LLM (например, Llama 3 8B, Mistral 7B) на сложных задачах часто используют следующие приёмы:

• Chain-of-Thought prompting — побуждение модели генерировать промежуточные рассуждения, что помогает лучше понять и решить задачу.
• Few-shot learning — предоставление нескольких примеров в запросе, чтобы направить модель.
• Self-consistency — генерация нескольких ответов и выбор наиболее частого или согласованного.
• Использование внешних инструментов — например, калькуляторов или баз знаний для проверки и уточнения ответов.
• Декомпозиция задачи — разбивка сложной задачи на более простые подзадачи.

Пример Chain-of-Thought:

Вопрос: Если у меня есть 3 яблока и я куплю ещё 2, сколько всего яблок?
Ответ (Chain-of-Thought): У меня было 3 яблока. Я купил ещё 2 яблока. Значит, всего у меня 3 + 2 = 5 яблок.