Как оценить медианное время ответа сервиса при большом объеме логов, не помещающихся в память?

Для оценки медианного времени ответа сервиса при большом объеме логов, которые не помещаются в память, можно использовать алгоритмы потоковой обработки данных (streaming algorithms). Один из подходов — алгоритм "Selection Algorithm" с ограниченной памятью или приближённые методы, например, алгоритм Тарского (T-Digest) или P² (P-square) для оценки квантилей.

Примерный подход:

1. Читаем логи по частям (чанкам), последовательно обрабатывая каждую запись.
2. Для каждого времени ответа обновляем структуру данных, которая хранит приближённое распределение.
3. По окончании обработки получаем приближённое значение медианы без необходимости хранить все данные.

Это позволяет эффективно работать с большими данными и получать медиану с приемлемой точностью.

Если использовать Python, можно применить библиотеку tdigest:

from tdigest import TDigest

tdigest = TDigest()

with open('logs.txt') as f:
    for line in f:
        response_time = float(line.strip())  # предположим, что в каждой строке время ответа
        tdigest.update(response_time)

median = tdigest.percentile(50)
print(f"Медианное время ответа: {median}")

Такой подход масштабируем и подходит для потоковой обработки больших объемов данных.