Golang

/* Biz müəyyən bir mənbədən müəyyən bir istehlakçıya məlumat ötürməliyik. Mənbə kiçik partiyalar (~on qeyd) şəklində məlumat verir, halbuki, istehlakçı böyük partiyalar (~minlərlə qeyd) ilə daha səmərəli işləyir. Həqiqi nümunə Kafka tipli növbələrdən məlumatların Clickhouse bazasına ötürülməsidir. Mənbə: - Demək olar ki, sonsuz. - Mənbə heç vaxt Next çağırışında MaxItems-dən çox qeyd qaytarmır. - Bir "sessiya" (bir Pipe funksiyasının çağırışı) çərçivəsində, mənbə hər Next çağırışında yeni məlumatlar qaytarır. - Ancaq, yenidən başlatdıqdan sonra, mənbə əvvəlki "təsdiqlənmiş" mövqedən, cookie ilə göstərilən yerdən başlayır. Buna görə, Next tərəfindən qaytarılan hər cookie dəyəri, məlumatlar qəbul ediciyə saxlandıqdan sonra, Commit çağırışı ilə təsdiqlənməlidir, və yaşıdları ilə eyni ardıcıllıqda. Qəbul edən: - Eyni zamanda MaxItems-dən çox işləyə bilməz. Əsas səviyyə: func Pipe(p Producer, c Consumer) error funksiyasını həyata keçirmək lazımdır, bu mənbədən məlumat oxuyur, onları MaxItems-dən çox olmayan bufferdə qruplaşdırır və qəbulçiyə saxlayır, sonra isə mənbədə irəliləyişi təsdiqləyir. Çətinlik: Next, Process və Commit metodları şəbəkə çağırışları ilə əlaqəlidir və çox vaxt ala bilər. Prosesin sürətini artırmaq üçün, oxuma, yazma və irəliləyişi təsdiqləmə proseslərini paralel həyata keçirmək lazımdır. Belə ki, Process və ya Commit çağırışları zamanı, mənbədən oxuma və yeni bufferin formalaşması davam etsin. */ const MaxItems = 9999 type Producer interface { // Next aşağıdakıları qaytarır: // - işlənəcək elementlər partiyası // - təsdiqləmə üçün cookie // - xəta Next() (items []any, cookie int, err error) // Commit, məlumat partiyasını işlənmiş kimi işarələmək üçün istifadə olunur Commit(cookie int) error } type Consumer interface { Process(items []any) error } func Pipe(p Producer, c Consumer) error { // TODO }

Senior

Яндекс

173

Go dilində select əməliyyatı necə həyata keçirilir və o, kanallarla necə işləyir?

Junior — Middle