Как NumPy и Pandas работают с GIL?

GIL (Global Interpreter Lock) в Python ограничивает одновременное выполнение байткода Python в одном процессе, что влияет на многопоточность.

NumPy и Pandas реализованы на C/C++ и используют расширения, которые могут освобождать GIL во время выполнения вычислительно интенсивных операций. Это позволяет выполнять такие операции параллельно, несмотря на GIL.

Например, при вызове функции NumPy, которая выполняет тяжелые вычисления, GIL может быть освобожден, чтобы другие потоки могли работать параллельно.

Однако, если операции включают вызовы чистого Python-кода, GIL все равно блокирует одновременное выполнение.

Пример:

import numpy as np
import threading

def compute():
    a = np.random.rand(1000000)
    b = np.fft.fft(a)  # освобождает GIL во время вычислений

threads = [threading.Thread(target=compute) for _ in range(4)]
for t in threads:
    t.start()
for t in threads:
    t.join()

Таким образом, NumPy и Pandas частично обходят ограничения GIL за счет реализации на низком уровне.