Jaké metody znáte pro urychlení procesu extrakce dat z databáze?

Pro urychlení extrakce dat z databáze v Pythonu lze použít několik metod:

• Optimalizace dotazů: používejte pouze potřebná pole, vyhýbejte se nadbytečným JOINům, aplikujte filtry na úrovni dotazu.
• Indexy v databázi: ujistěte se, že často používaná pole mají vytvořené indexy.
• Použití ORM s lazy loadingem: aby se nenahrávala zbytečná data.
• Caching: ukládejte často požadovaná data do paměti (například pomocí Redis).
• Batching: načítání dat po dávkách, aby nedošlo k přetížení paměti.
• Asynchronní dotazy: používejte knihovny jako asyncio pro paralelní vykonávání dotazů.

Příklad s použitím indexů a optimalizovaného dotazu v SQLAlchemy:

from sqlalchemy import create_engine, select
from models import User

engine = create_engine('postgresql://user:pass@localhost/db')

with engine.connect() as conn:
    stmt = select(User.id, User.name).where(User.active == True)
    result = conn.execute(stmt)
    users = result.fetchall()

Zde jsou vybírána pouze potřebná pole a filtrují se aktivní uživatelé, což urychluje extrakci dat.