Golang

8247

Čo ste cache-ovali? Nejaké adresáre?

/* Potrebujeme preniesť údaje z určitého zdroja na určitého spotrebiteľa. Pri tom zdroj odovzdáva údaje v malých balíčkoch (~ desiatky záznamov), a spotrebiteľ efektívnejšie pracuje s väčšími dávkami. Reálny príklad - dodávka údajov z frontov typu Kafka do databázy Clickhouse. Zdroj: - Podmienečne nekonečný. - Zdroj nikdy nevracia viac ako MaxItems záznamov v jednom volaní Next. - V rámci jednej "relácie" (jedného volania funkcie Pipe) zdroj vždy vráti nové údaje pri každom volaní Next. - Avšak, po reštarte začne zdroj od predchádzajúcej "potvrdenej" pozície, určené cookie. Preto, *každá* hodnota cookie, ktorú vrátil volanie Next, po uložené údajov v prijímači, musí byť fixovaná volaním Commit, a to prísne v rovnakom poradí, v akom ich vrátil Next. Prijímateľ: - Nemôže spracovať viac ako MaxItems naraz. Základná úroveň: Je potrebné implementovať funkciu func Pipe(p Producer, c Consumer) error ktorá číta údaje zo zdroja, skupinu ich do bufferu veľkosti najviac MaxItems a uloží ich do prijímateľa, a následne fixuje pokrok v zdroji. */ const MaxItems = 9999 type Producer interface { // Next vracia: // - dávku položiek na spracovanie // - cookie na potvrdenie po ukončení spracovania // - chybu Next() (items []any, cookie int, err error) // Commit sa používa na označenie dávky údajov ako spracovanej Commit(cookie int) error } type Consumer interface { Process(items []any) error } func Pipe(p Producer, c Consumer) error { var buf []any var cookies []int for { items, cookie, err := p.Next() if err != nil { return err } buf = append(buf, items...) cookies = append(cookies, cookie) if len(buf) >= MaxItems { if err := c.Process(buf); err != nil { return err } for _, c := range cookies { if err := p.Commit(c); err != nil { return err } } buf = buf[:0] cookies = nil } } if len(buf) > 0 { if err := c.Process(buf); err != nil { return err } for _, c := range cookies { if err := p.Commit(c); err != nil { return err } } } return nil }