Como pode iniciar e gerir eficazmente um grande número de goroutines, por exemplo, cerca de 100 mil?

Para lançar e gerir eficientemente cerca de 100.000 goroutines em Go, é importante considerar vários aspetos:

1. Utilização de um grupo de trabalhadores — em vez de lançar todas as goroutines de uma só vez, crie um grupo de tamanho fixo (por exemplo, algumas centenas) e distribua as tarefas entre eles. Isto reduz a carga no agendador e diminui o consumo de memória.

2. Controlo de recursos — as goroutines são leves, mas cada uma usa uma pilha (por padrão, alguns quilobytes), por isso é importante evitar lançar demasiadas simultaneamente sem controlo.

3. Utilização de canais para sincronização — para gerir o ciclo de vida das goroutines e a transferência de dados entre elas.

4. Contexto (context.Context) — para cancelamentos e tempos limite.

Exemplo de um grupo simples de trabalhadores:

package main

import (
    "fmt"
    "sync"
)

func worker(id int, jobs <-chan int, results chan<- int, wg *sync.WaitGroup) {
    defer wg.Done()
    for j := range jobs {
        // Processamento da tarefa
        results <- j * 2
    }
}

func main() {
    const numJobs = 100000
    const numWorkers = 100

    jobs := make(chan int, numJobs)
    results := make(chan int, numJobs)

    var wg sync.WaitGroup

    for w := 1; w <= numWorkers; w++ {
        wg.Add(1)
        go worker(w, jobs, results, &wg)
    }

    for j := 1; j <= numJobs; j++ {
        jobs <- j
    }
    close(jobs)

    wg.Wait()
    close(results)

    // Processamento dos resultados
    count := 0
    for r := range results {
        _ = r // usar o resultado
        count++
    }
    fmt.Println("Tarefas processadas:", count)
}

Esta abordagem permite gerir eficazmente um grande número de tarefas com um número limitado de goroutines.