Kako efikasno pokrenuti i upravljati velikim brojem gorutina, na primer oko 100 hiljada?

Za efikasno pokretanje i upravljanje oko 100.000 gorutina u Go-u, važno je uzeti u obzir nekoliko aspekata:

1. Korišćenje bazena radnika (worker pool) — umesto pokretanja svih gorutina odjednom, kreirajte bazen fiksne veličine (na primer, nekoliko stotina) i raspoređujte zadatke među njima. Ovo smanjuje opterećenje planera i smanjuje potrošnju memorije.

2. Kontrola resursa — gorutine su lagane, ali svaka koristi stog (po defaultu nekoliko kilobajta), stoga je važno izbegavati pokretanje prevelikog broja istovremeno bez kontrole.

3. Korišćenje kanala za sinhronizaciju — za upravljanje životnim ciklusom gorutina i prenos podataka između njih.

4. Kontekst (context.Context) — za otkazivanje i vremenska ograničenja.

Primer jednostavnog bazena radnika:

package main

import (
    "fmt"
    "sync"
)

func worker(id int, jobs <-chan int, results chan<- int, wg *sync.WaitGroup) {
    defer wg.Done()
    for j := range jobs {
        // Obrada zadatka
        results <- j * 2
    }
}

func main() {
    const numJobs = 100000
    const numWorkers = 100

    jobs := make(chan int, numJobs)
    results := make(chan int, numJobs)

    var wg sync.WaitGroup

    for w := 1; w <= numWorkers; w++ {
        wg.Add(1)
        go worker(w, jobs, results, &wg)
    }

    for j := 1; j <= numJobs; j++ {
        jobs <- j
    }
    close(jobs)

    wg.Wait()
    close(results)

    // Obrada rezultata
    count := 0
    for r := range results {
        _ = r // korišćenje rezultata
        count++
    }
    fmt.Println("Broj obrađenih zadataka:", count)
}

Ovaj pristup omogućava efikasno upravljanje velikim brojem zadataka sa ograničenim brojem gorutina.