Python-да 100 гигабайттық файлды қалай оқуға болады?

Өте үлкен файлды (мысалы, 100 ГБ) Python-да оқу үшін оны бөліктерге бөліп оқу керек, барлық файлды жадқа жүктемей. Әдетте, жол бойынша оқу немесе блоктармен оқу пайдаланылады.

Жол бойынша оқудың мысалы:

with open('large_file.txt', 'r') as file:
    for line in file:
        # жолды өңдеу
        process(line)

Егер блоктық өңдеу қажет болса (мысалы, бинарлы деректер үшін):

def read_in_chunks(file_object, chunk_size=1024*1024):  # 1 МБ
    while True:
        data = file_object.read(chunk_size)
        if not data:
            break
        yield data

with open('large_file.bin', 'rb') as f:
    for chunk in read_in_chunks(f):
        process(chunk)

Мұндай тәсіл файлды жадтың толып кетуінсіз өңдеуге мүмкіндік береді.