Name: Sobes.tech
Rating: 4.9 (250 reviews)

Для эффективного запуска и управления около 100 тысяч горутин в Go важно учитывать несколько аспектов:

Использование пула воркеров — вместо запуска всех горутин одновременно, создайте пул фиксированного размера (например, несколько сотен), и распределяйте задачи между ними. Это снижает нагрузку на планировщик и уменьшает потребление памяти.
Контроль ресурсов — горутины легковесны, но каждая использует стек (по умолчанию несколько килобайт), поэтому важно избегать запуска слишком большого количества одновременно без контроля.
Использование каналов для синхронизации — для управления жизненным циклом горутин и передачи данных между ними.
Контекст (context.Context) — для отмены и таймаутов.

Пример простого пула воркеров:

package main

import (
    "fmt"
    "sync"
)

func worker(id int, jobs <-chan int, results chan<- int, wg *sync.WaitGroup) {
    defer wg.Done()
    for j := range jobs {
        // Обработка задачи
        results <- j * 2
    }
}

func main() {
    const numJobs = 100000
    const numWorkers = 100

    jobs := make(chan int, numJobs)
    results := make(chan int, numJobs)

    var wg sync.WaitGroup

    for w := 1; w <= numWorkers; w++ {
        wg.Add(1)
        go worker(w, jobs, results, &wg)
    }

    for j := 1; j <= numJobs; j++ {
        jobs <- j
    }
    close(jobs)

    wg.Wait()
    close(results)

    // Обработка результатов
    count := 0
    for r := range results {
        _ = r // использовать результат
        count++
    }
    fmt.Println("Обработано задач:", count)
}

Такой подход позволяет эффективно управлять большим числом задач с помощью ограниченного количества горутин.

Каким образом можно эффективно запустить и управлять большим числом горутин, например, около 100 тысяч?