Jak efektivně spustit a spravovat velké množství gorutin, například přibližně 100 tisíc?

Pro efektivní spuštění a správu přibližně 100 000 gorutin v Go je důležité vzít v úvahu několik aspektů:

1. Použití pracovní poolu — místo spouštění všech gorutin najednou vytvořte pevně stanovenou velikost poolu (například několik set) a rozdělte úkoly mezi ně. To snižuje zátěž plánovače a snižuje spotřebu paměti.

2. Kontrola zdrojů — gorutiny jsou lehké, ale každá používá zásobník (výchozí několik kilobajtů), proto je důležité se vyhnout spuštění příliš velkého počtu najednou bez kontroly.

3. Použití kanálů pro synchronizaci — pro správu životního cyklu gorutin a přenos dat mezi nimi.

4. Kontext (context.Context) — pro zrušení a časové limity.

Příklad jednoduchého pracovní poolu:

package main

import (
    "fmt"
    "sync"
)

func worker(id int, jobs <-chan int, results chan<- int, wg *sync.WaitGroup) {
    defer wg.Done()
    for j := range jobs {
        // Zpracování úkolu
        results <- j * 2
    }
}

func main() {
    const numJobs = 100000
    const numWorkers = 100

    jobs := make(chan int, numJobs)
    results := make(chan int, numJobs)

    var wg sync.WaitGroup

    for w := 1; w <= numWorkers; w++ {
        wg.Add(1)
        go worker(w, jobs, results, &wg)
    }

    for j := 1; j <= numJobs; j++ {
        jobs <- j
    }
    close(jobs)

    wg.Wait()
    close(results)

    // Zpracování výsledků
    count := 0
    for r := range results {
        _ = r // použití výsledku
        count++
    }
    fmt.Println("Počet zpracovaných úkolů:", count)
}

Tento přístup umožňuje efektivně spravovat velké množství úkolů s omezeným počtem gorutin.