What is a worker pool in Go and when would you use it?

Worker pool в Go — это паттерн организации параллельной обработки задач с ограниченным числом горутин (воркеров), которые берут задачи из общей очереди и обрабатывают их.

Зачем использовать:

• Контроль над количеством одновременно выполняющихся горутин, чтобы не создавать слишком много и не перегружать систему.
• Повышение производительности за счёт повторного использования горутин.
• Упрощение управления задачами и их распределения.

Пример использования:

package main

import (
	"fmt"
	"sync"
)

func worker(id int, jobs <-chan int, results chan<- int, wg *sync.WaitGroup) {
	defer wg.Done()
	for j := range jobs {
		// Обработка задачи
		fmt.Printf("Worker %d processing job %d\n", id, j)
		results <- j * 2
	}
}

func main() {
	jobs := make(chan int, 5)
	results := make(chan int, 5)
	var wg sync.WaitGroup

	// Запускаем 3 воркера
	for w := 1; w <= 3; w++ {
		wg.Add(1)
		go worker(w, jobs, results, &wg)
	}

	// Отправляем 5 задач
	for j := 1; j <= 5; j++ {
		jobs <- j
	}
	close(jobs)

	wg.Wait()
	close(results)

	// Читаем результаты
	for r := range results {
		fmt.Println("Result:", r)
	}
}

В этом примере три воркера параллельно обрабатывают задачи из канала jobs. Такой подход эффективен для ограниченного параллелизма и управления ресурсами.