Как оценивали качество Text-to-SQL агента?

Качество Text-to-SQL агента обычно оценивают по нескольким ключевым метрикам:

• Точность (Accuracy): насколько сгенерированный SQL-запрос соответствует ожидаемому (эталонному) запросу. Часто используют exact match — полное совпадение с эталоном.
• Execution Accuracy: проверка, что сгенерированный запрос при выполнении на базе данных возвращает тот же результат, что и эталонный.
• BLEU или другие метрики схожести текста: для оценки лексического сходства, хотя они менее информативны для SQL.

Для оценки обычно берут тестовый набор пар (естественный язык, эталонный SQL), генерируют запросы и сравнивают с эталоном. Также важна проверка на синтаксическую корректность и безопасность сгенерированного SQL.

Пример: если есть вопрос "Покажи всех пользователей старше 30", эталонный SQL — SELECT * FROM users WHERE age > 30;. Если агент сгенерировал точно такой же запрос, это считается успешным.

Иногда дополнительно проводят ручной анализ ошибок и тестируют на различных типах запросов для оценки устойчивости модели.