Что такое CUDA streams и асинхронное выполнение?

CUDA streams — это последовательности команд (ядра, копирования памяти и т.д.), которые выполняются на GPU в порядке их добавления в поток. Несколько потоков могут выполняться параллельно, если аппаратные ресурсы позволяют.

Асинхронное выполнение в CUDA означает, что команды, отправленные в stream, не блокируют CPU: CPU может продолжать работу, пока GPU выполняет задачи. Это позволяет перекрывать вычисления и передачу данных, повышая производительность.

Пример: можно запускать вычисления в одном stream, а параллельно копировать данные в другой, чтобы максимально эффективно использовать GPU и шину передачи данных.