Чӣ гуна бояд мушкили коркарди файлҳои калон дар Pandas, ки дар хотира ҷой намегиранд, пешгирӣ кард?

Барои коркарди файлҳои калон дар Pandas, ки дар хотира ҷой намегиранд, метавон чанд роҳро истифода бурд:

1. Хондани қисмӣ (chunking) Параметри chunksize-ро дар функсияҳои хондан, масалан pd.read_csv(), истифода баред, то маълумотро қисм-кисма бор кунед ва онҳоро ҷудогона коркард кунед:

import pandas as pd

chunksize = 10**6  # шумораи сатрҳо дар як қисм
for chunk in pd.read_csv('large_file.csv', chunksize=chunksize):
    # коркарди ҳар қисм ҷудогона
    process(chunk)

2. Истифодаи китобхонаҳо барои кор бо маълумоти калон

   • Dask DataFrame — API, ки бо Pandas мувофиқ аст, аммо ҳисобҳои пинҳонӣ ва коркарди тақсимшударо дастгирӣ мекунад.
   • Vaex — барои кор бо маҷмӯаҳои бузурги маълумот бидуни бор кардани ҳамаашон ба хотира.

3. Оптимизатсияи намудҳои маълумот Вақте ки маълумотро мехонед, намудҳои сутунҳоро равшан муайян кунед, то истифодаи хотираро кам кунед (масалан, category барои сутунҳои матнӣ бо арзишҳои такроршаванда).

4. Истифодаи базаҳои додаҳо ё форматҳое, ки дастгирии боркунии қисмӣ доранд Маълумотро ба базаи додаҳо (масалан, SQLite) бор кунед ва дар қисмҳо саволҳо иҷро кунед.

Бо ҳамҷоя кардани хондани қисмӣ ва оптимизатсияи намудҳо, шумо метавонед бо самаранокӣ бо файлҳои калон дар Pandas кор кунед.