Что такое constitutional AI и какова его идея?

Constitutional AI — это подход к обучению больших языковых моделей (LLM), при котором модель обучается следовать заранее определённому набору правил или «конституции». Идея заключается в том, чтобы встроить эти правила в процесс генерации ответов, обеспечивая этичность, безопасность и соответствие нормам без необходимости постоянного вмешательства человека.

Вместо того чтобы полагаться только на примеры или обратную связь от человека, модель получает набор инструкций (конституцию), которые направляют её поведение. Это помогает уменьшить нежелательные или вредоносные ответы и повысить качество взаимодействия.

Пример: если конституция запрещает генерировать контент, нарушающий права человека, модель будет автоматически избегать таких ответов, даже если в обучающих данных есть подобные примеры.