Как да прехвърлим данни от материализиран изглед в Greenplum към ClickHouse?
Data Engineer
Каква беше ролята ти в екип от 4 човека и как виждаш кариерата си след 3-4 години, какви цели си поставяш?
Колко добре познавате Python?
Как работеше с аналитичните функции (функции за прозорец)?
Общо колко изтегляния имаше — високопрофилни задачи, нишки?
Даваме метаданни на входа, и той създава поток въз основа на тези метаданни — как това ще позволи бързо прехвърляне на съществуващите потоци от стари системи към планираните?
Голямото съхранение беше — колко трудно беше да го поддържате ръчно в обеми и обекти?
В CTE се използва много памет — когато имаме голямо потребление на памет, какво се случва с данните?
Как да заредим данни от Kafka в ClickHouse чрез streaming за отчети в реално време?
Що се отнася до заявката, можем да видим какво се случва с данните, включително какви типове join-ове — какви типове join-ове можем да видим там?
Складът беше построен по схемата Data Vault — ти също го развиваше, поддържаше ли? Ръчно добавяше хъбове, линкове?
С Kafka няма нищо трудно, важното е да обработите данните — какви нюанси трябва да имате предвид?
Какъв тип четене се използва в ClickHouse?
Имаше ли лидер или някой друг ръководеше екипа от 4 човека?
Вече имаш ли някакви предложения за работа?
Swap файловете — как влияят на производителността? Кога още могат да възникнат swap файлове?
Кой тип повече принадлежи на Greenplum — OLTP или OLAP?
Как може да се прехвърлят данни от Greenplum и Trino към ClickHouse?
В тази схема Trino отговаря за обработката на данните — как стекът от технологии позволява разделянето на съхранението и изчисленията?
Data Vault е удобен инструмент, но става много обекти. Можеш ли да обясниш разликата между хъбове, линкове и сателити?