Como era feita a gestão de carga no sistema?

A gestão de carga em sistemas C/C++ geralmente é realizada de várias maneiras:

• Balanceamento de threads: distribuição de tarefas entre threads para uso uniforme dos recursos da CPU.
• Uso de filas de tarefas: as tarefas são colocadas em uma fila e processadas à medida que os recursos são liberados.
• Pool de threads: criação de um número limitado de threads que são reutilizados para executar tarefas, para evitar os custos associados à criação e destruição de threads.
• Monitoramento e adaptação: acompanhamento da carga atual e alteração dinâmica dos parâmetros (por exemplo, o número de threads).

Exemplo de um pool de threads simples em C++11:

#include <iostream>
#include <thread>
#include <vector>
#include <queue>
#include <mutex>
#include <condition_variable>
#include <functional>

class ThreadPool {
    std::vector<std::thread> workers;
    std::queue<std::function<void()>> tasks;
    std::mutex queue_mutex;
    std::condition_variable condition;
    bool stop = false;

public:
    ThreadPool(size_t threads) {
        for(size_t i = 0; i < threads; ++i)
            workers.emplace_back([this] {
                for(;;) {
                    std::function<void()> task;
                    {
                        std::unique_lock<std::mutex> lock(this->queue_mutex);
                        this->condition.wait(lock, [this]{ return this->stop || !this->tasks.empty(); });
                        if(this->stop && this->tasks.empty())
                            return;
                        task = std::move(this->tasks.front());
                        this->tasks.pop();
                    }
                    task();
                }
            });
    }

    template<class F>
    void enqueue(F&& f) {
        {
            std::unique_lock<std::mutex> lock(queue_mutex);
            tasks.emplace(std::forward<F>(f));
        }
        condition.notify_one();
    }

    ~ThreadPool() {
        {
            std::unique_lock<std::mutex> lock(queue_mutex);
            stop = true;
        }
        condition.notify_all();
        for(std::thread &worker: workers)
            worker.join();
    }
};