Для обработки миллионов задач в очереди без превышения лимитов по памяти и времени выполнения можно использовать подходы, основанные на распределённой обработке и поэтапной работе с задачами:

Использование внешних очередей сообщений — например, RabbitMQ, Kafka, Redis Streams. Они позволяют хранить задачи вне памяти приложения и обеспечивают надёжную доставку.
Пакетная обработка (batch processing) — разбивать задачи на небольшие партии, обрабатывать их по частям, чтобы не превышать лимиты по времени и памяти.
Горизонтальное масштабирование — запускать несколько воркеров, которые параллельно обрабатывают задачи из очереди.
Идёмпотентность задач — чтобы при повторной обработке не было побочных эффектов.
Использование cron или планировщиков задач для запуска обработчиков с ограничением времени выполнения.
Хранение состояния обработки — чтобы при сбое можно было продолжить с последнего обработанного элемента.

Пример на PHP с использованием Redis и пакетной обработки:

$redis = new Redis();
$redis->connect('127.0.0.1', 6379);

$batchSize = 100;

while (true) {
    $tasks = [];
    for ($i = 0; $i < $batchSize; $i++) {
        $task = $redis->lPop('task_queue');
        if ($task === false) {
            break;
        }
        $tasks[] = $task;
    }

    if (empty($tasks)) {
        break; // Очередь пуста
    }

    foreach ($tasks as $task) {
        // Обработка задачи
        processTask($task);
    }

    // Можно добавить sleep для контроля нагрузки
    usleep(100000); // 0.1 секунды
}

function processTask($task) {
    // Логика обработки
}

Такой подход позволяет не загружать память, контролировать время выполнения и масштабироваться при необходимости.

Как бы ты реализовал обработку больших объёмов задач (миллионы в очереди), не упираясь в лимиты по памяти и времени выполнения?