Насколько быстро будет работать линейный перебор всех backend-ов при высоком RPS (например, 30 000 RPS и 10 backend-ов)?

Линейный перебор всех backend-ов при высоком RPS (например, 30 000 запросов в секунду и 10 backend-ов) будет работать очень неэффективно и, скорее всего, станет узким местом в системе. При таком подходе каждый запрос обрабатывается последовательно, проверяя backend-ы один за другим, что увеличивает задержку и снижает пропускную способность.

Для высоких нагрузок обычно применяют параллельные или асинхронные вызовы, балансировку нагрузки, кэширование и другие оптимизации. Линейный перебор может быть приемлем для небольших нагрузок, но при 30 000 RPS он приведет к значительным задержкам и риску перегрузки backend-ов.

Пример: если каждый backend отвечает за 1 мс, то 10 backend-ов последовательно — это до 10 мс на запрос, что при 30 000 RPS уже 300 000 мс суммарного времени, что невозможно без параллелизма.