Golang

8247

O que estavam a fazer cache? Alguns diretórios?

/* Precisamos transferir dados de uma fonte para um consumidor. A fonte fornece os dados em pequenos lotes (~dez registros), enquanto o consumidor funciona de forma mais eficiente com lotes maiores. Um exemplo real é a transferência de dados de filas do tipo Kafka para o banco de dados Clickhouse. Fonte: - Praticamente infinita. - A fonte nunca retorna mais de MaxItems registros em uma única chamada a Next. - Dentro de uma "sessão" (uma chamada à função Pipe), a fonte retorna novos dados a cada chamada a Next. - No entanto, após reiniciar, a fonte começará da posição "confirmada" anterior, indicada por cookie. Portanto, *cada* valor de cookie retornado por Next, após salvar os dados no receptor, deve ser confirmado com uma chamada a Commit, na mesma ordem em que foram retornados por Next. Receptor: - Não pode processar mais de MaxItems de uma vez. Nível básico: É necessário implementar a função func Pipe(p Producer, c Consumer) error que lê dados da fonte, os agrupa em um buffer de tamanho não maior que MaxItems e os salva no receptor, e depois confirma o progresso na fonte. */ const MaxItems = 9999 type Producer interface { // Next retorna: // - lote de itens a serem processados // - cookie para ser confirmado quando o processamento estiver concluído // - erro Next() (items []any, cookie int, err error) // Commit é usado para marcar o lote de dados como processado Commit(cookie int) error } type Consumer interface { Process(items []any) error } func Pipe(p Producer, c Consumer) error { var buf []any var cookies []int for { items, cookie, err := p.Next() if err != nil { return err } buf = append(buf, items...) cookies = append(cookies, cookie) if len(buf) >= MaxItems { if err := c.Process(buf); err != nil { return err } for _, c := range cookies { if err := p.Commit(c); err != nil { return err } } buf = buf[:0] cookies = nil } } if len(buf) > 0 { if err := c.Process(buf); err != nil { return err } for _, c := range cookies { if err := p.Commit(c); err != nil { return err } } } return nil }