В одном из проектов я участвовал в разработке распределённой системы обработки данных для финансовой компании. Система состояла из нескольких микросервисов, взаимодействующих через очередь сообщений (Kafka) и использующих базу данных Cassandra для хранения больших объёмов данных.

Самый высоконагруженный сервис обрабатывал до 50 тысяч запросов в секунду с минимальной задержкой. Для обеспечения масштабируемости мы использовали горизонтальное масштабирование, балансировщики нагрузки и кэширование на уровне сервиса (Redis). Также применялись техники идемпотентности и согласованности данных в распределённой среде.

Пример архитектуры:

Клиентские запросы идут на API Gateway
Запросы распределяются на несколько экземпляров микросервиса
Микросервисы обмениваются сообщениями через Kafka
Данные сохраняются в Cassandra с репликацией
Кэширование часто запрашиваемых данных в Redis

Такой подход позволил обеспечить отказоустойчивость и высокую производительность при большой нагрузке.

Расскажите об опыте работы с распределёнными системами и о самом высоконагруженном сервисе — сколько там была нагрузка?