Что хотят услышать интервьюеры:

Если у топика две партиции, а consumer всего один, то один consumer сможет читать обе партиции, но параллелизм будет ограничен одним процессом. Сообщения внутри каждой партиции сохранят порядок, а обработка между партициями может идти независимо. Если нагрузка высокая, один consumer станет узким местом.

Определение:

В Kafka партиция — это единица параллелизма и упорядочивания. Один consumer из consumer group может читать несколько партиций, но каждая партиция в группе в один момент времени назначается только одному consumer’у. Если consumer один, он получает все партиции топика и читает их последовательно или с ограниченной внутренней параллельностью приложения.

Пример использования:

Допустим, есть топик orders с двумя партициями: orders-0 и orders-1, и один сервис-обработчик.

# Упрощённый пример логики обработки сообщений
from kafka import KafkaConsumer

consumer = KafkaConsumer(
    'orders',
    bootstrap_servers=['localhost:9092'],
    group_id='order-service',
    auto_offset_reset='earliest'
)

for message in consumer:
    print(f"partition={message.partition}, offset={message.offset}, value={message.value}")

В этом случае один consumer будет получать сообщения и из orders-0, и из orders-1. Если в одну партицию сообщения приходят быстрее, чем consumer успевает их обрабатывать, начнёт расти лаг.

Пояснение кода:

KafkaConsumer(...) создаёт одного потребителя в группе order-service.
При подписке на топик orders Kafka назначит этому consumer’у обе партиции, потому что других consumer’ов в группе нет.
Цикл for message in consumer читает сообщения из всех назначенных партиций.
Поле message.partition показывает, из какой партиции пришло сообщение.
Порядок сообщений гарантируется только внутри одной партиции, но не между двумя партициями.

Ключевые моменты:

Один consumer может читать несколько партиций.
При одном consumer’е все партиции топика окажутся закреплены за ним.
Порядок сообщений сохраняется только внутри каждой партиции.
Параллелизм ограничен: масштабирования по consumer’ам нет.
При высокой нагрузке один consumer может не успевать обрабатывать сообщения, и будет расти consumer lag.
Если нужна лучшая пропускная способность, обычно увеличивают число consumer’ов в группе до числа партиций или близко к нему.

Какие последствия возникают при использовании двух партиций и одного потребителя в Kafka?