Как парсить большие XML-файлы в ZIP и загружать в ClickHouse на Python?

Для парсинга больших XML-файлов, упакованных в ZIP, и загрузки данных в ClickHouse на Python можно использовать потоковый подход, чтобы не загружать весь файл в память.

1. Распаковка ZIP и потоковое чтение XML:

import zipfile
import xml.etree.ElementTree as ET

with zipfile.ZipFile('data.zip') as z:
    with z.open('file.xml') as f:
        # Используем итеративный парсер
        context = ET.iterparse(f, events=('end',))
        for event, elem in context:
            if elem.tag == 'record':  # пример тега записи
                # обработка элемента
                data = extract_data(elem)  # функция извлечения данных
                # загрузка в ClickHouse
                insert_to_clickhouse(data)
                elem.clear()  # освобождаем память

2. Загрузка в ClickHouse:

Используйте официальный клиент clickhouse-driver или clickhouse-connect для пакетной вставки данных:

from clickhouse_driver import Client

client = Client('localhost')

batch = []
BATCH_SIZE = 1000

def insert_to_clickhouse(data):
    batch.append(data)
    if len(batch) >= BATCH_SIZE:
        client.execute('INSERT INTO table_name VALUES', batch)
        batch.clear()

# В конце загрузки не забудьте вставить остаток
if batch:
    client.execute('INSERT INTO table_name VALUES', batch)

Такой подход позволяет обрабатывать большие файлы без переполнения памяти и эффективно загружать данные в ClickHouse.