Hogyan lehet felgyorsítani a lekérdezést egy 100 millió soros táblában? Miért nem lehet egyszerűen indexeket hozzáadni minden mezőhöz?

Ускорить выборку из таблицы с 100 миллионами строк можно несколькими способами:

• Использовать индексы только на тех полях, которые участвуют в условиях WHERE, JOIN или сортировках. Индексы позволяют быстро находить нужные записи без полного сканирования.
• Применять партиционирование таблицы по логическим признакам (например, по дате), чтобы запросы обрабатывали только нужные партиции.
• Кэшировать часто запрашиваемые данные.
• Использовать денормализацию или материализованные представления для ускорения сложных запросов.
• Ограничивать выборку (LIMIT) и использовать пагинацию.

Почему нельзя просто добавить индексы на все поля:

• Индексы занимают дополнительное место на диске и в памяти.
• При вставке, обновлении и удалении данных индексы требуют дополнительной работы, что замедляет операции записи.
• Избыточные индексы могут ухудшить производительность, если СУБД будет выбирать неэффективные планы выполнения.
• Не все поля подходят для индексации (например, поля с высокой кардинальностью или часто изменяемые).

Поэтому индексы нужно добавлять осознанно, анализируя реальные запросы и нагрузку.