Что хотят услышать интервьюеры:

Нужно показать, что извлечение данных часто тормозит не Python, а сам запрос, объём данных и способ доступа к БД. Обычно ждут перечисление практических методов: индексы, выбор только нужных полей, пагинация, батчевое чтение, кэширование и профилирование запросов. Важно понимать, что сначала оптимизируют SQL и схему, а уже потом код.

Определение:

Ускорение извлечения данных из базы — это набор приёмов, которые уменьшают время выполнения запросов и объём передаваемых данных. Обычно это достигается за счёт сокращения числа обращений к БД, более эффективных планов выполнения, меньшего количества строк и колонок в результате, а также правильной работы с соединениями и кэшем.

Пример использования:

Например, если нужно выгрузить список заказов за последний день, не стоит делать SELECT * по всей таблице и тащить все поля в память. Лучше выбрать только нужные колонки, ограничить выборку по дате, добавить индекс по полю фильтрации и читать результаты пачками.

import psycopg2

conn = psycopg2.connect("dbname=test user=test password=test")
cur = conn.cursor()

cur.execute("""
    SELECT id, created_at, total
    FROM orders
    WHERE created_at >= NOW() - INTERVAL '1 day'
    ORDER BY created_at DESC
    LIMIT 1000
""")

rows = cur.fetchall()
for row in rows:
    print(row)

cur.close()
conn.close()

Пояснение кода:

Код показывает более быстрый подход к выборке: запрашиваются только нужные поля id, created_at, total, а не вся строка. Фильтр по дате сокращает объём данных, ORDER BY делает результат предсказуемым, а LIMIT ограничивает размер выборки. В реальных больших объёмах вместо fetchall() часто используют построчную обработку или курсор с батчами, чтобы не грузить всё в память сразу.

Ключевые моменты:

Использовать индексы по полям, которые участвуют в WHERE, JOIN, ORDER BY.
Выбирать только нужные колонки вместо SELECT *.
Ограничивать объём данных через LIMIT, пагинацию или фильтры по времени/статусу.
Читать большие выборки батчами или через стриминг, а не fetchall() на миллионы строк.
Уменьшать число запросов: объединять их, избегать N+1, использовать JOIN там, где это уместно.
Профилировать запросы через EXPLAIN/EXPLAIN ANALYZE и проверять реальные узкие места.

Какие методы ты знаешь для ускорения процесса извлечения данных из базы данных?