Что такое emergent abilities у LLM и есть ли консенсус в их существовании?

Emergent abilities (возникающие способности) у больших языковых моделей (LLM) — это навыки или поведение, которые не были явно запрограммированы или предсказуемы на основе меньших моделей, но появляются при увеличении масштаба модели (числа параметров, объёма данных).

Примеры таких способностей включают:

• Способность к сложному рассуждению или логике
• Понимание и генерация кода
• Многошаговые рассуждения

Что касается консенсуса, то в научном сообществе ведутся активные дискуссии. Многие исследования подтверждают наличие таких способностей, но нет единого мнения о том, являются ли они действительно "возникающими" или результатом масштабирования и обучения на больших данных. Некоторые считают, что это просто постепенное улучшение, а не качественный скачок.

Таким образом, emergent abilities — это наблюдаемые новые навыки у LLM при масштабировании, но их природа и границы пока остаются предметом исследований и обсуждений.