Что хотят услышать интервьюеры:

Для крупных коллекций в MongoDB обычно используют фильтрацию по индексам, правильную проекцию полей и обработку данных порциями, а не через полную выборку. Важно уметь уменьшать объём передаваемых данных и не заставлять базу делать лишнюю работу. Для тяжёлых сценариев также применяют агрегацию, пагинацию и, при необходимости, партиционирование данных.

Определение:

Эффективная работа с крупными коллекциями в MongoDB — это набор приёмов, которые уменьшают количество сканируемых документов, объём возвращаемых данных и нагрузку на память и сеть. Основная цель — получать только нужные документы и только нужные поля, используя индексируемые запросы и постраничную или потоковую обработку.

Пример использования:

Например, есть коллекция заказов на миллионы записей. Если нужно показать только последние 20 заказов конкретного пользователя, стоит искать по userId и дате, иметь индекс на эти поля и возвращать только нужные поля.

const orders = await db.collection('orders')
  .find(
    { userId: userId, createdAt: { $gte: fromDate } },
    { projection: { _id: 1, createdAt: 1, total: 1, status: 1 } }
  )
  .sort({ createdAt: -1 })
  .limit(20)
  .toArray();

Пояснение кода:

Код здесь показывает типичный способ ускорить работу с большой коллекцией:

find(...) ограничивает выборку только заказами одного пользователя и только за нужный период.
projection уменьшает размер ответа, возвращая только id, дату, сумму и статус.
sort({ createdAt: -1 }) сортирует по дате от новых к старым.
limit(20) не даёт выбрать лишние документы.
Чтобы запрос работал быстро на больших объёмах, для userId и createdAt обычно нужен соответствующий индекс.

Если нужна обработка большого массива данных целиком, лучше не делать toArray() на миллионы документов, а использовать курсор и читать данные порциями.

const cursor = db.collection('orders')
  .find({ status: 'new' })
  .batchSize(500);

for await (const order of cursor) {
  // обработка одного документа
}

Ключевые моменты:

Использовать индексы по полям, которые часто участвуют в find, sort и join-подобных сценариях через $lookup.
Возвращать только нужные поля с помощью projection.
Избегать полной выгрузки больших коллекций в память, предпочитая курсоры и обработку по частям.
Для списков использовать limit и корректную пагинацию; на очень больших смещениях skip может быть дорогим.
По возможности строить запросы так, чтобы MongoDB могла использовать индекс, а не сканировала всю коллекцию.
Для сложной аналитики использовать aggregate() только с продуманными стадиями и фильтрацией как можно раньше.

Какие методы можно применить для повышения эффективности работы с крупными коллекциями в MongoDB?