Text-to-SQL'i nasıl uyguladın? %91 doğruluğu nasıl ölçtün?

Для реализации Text-to-SQL обычно используют модели на основе трансформеров, обученные на парах естественных языков и соответствующих SQL-запросов.

Основные шаги:

1. Сбор и подготовка датасета с парами (текст, SQL).
2. Предобработка данных (токенизация, нормализация).
3. Обучение seq2seq модели (например, T5, BART) на задаче генерации SQL по тексту.
4. Тонкая настройка и валидация.

Для замера точности 91% использовалась метрика точного совпадения (exact match) — процент сгенерированных SQL-запросов, которые полностью совпадают с эталонными. Также можно использовать метрики семантического совпадения или выполнение запросов и сравнение результатов.

Пример оценки:

from sklearn.metrics import accuracy_score

y_true = [...]  # эталонные SQL

y_pred = [...]  # сгенерированные SQL

accuracy = accuracy_score(y_true, y_pred)
print(f"Точность: {accuracy * 100:.2f}%")