Data Engineer
Какво е проследимост? Имали ли сте опит с нея?
Какви видове JOIN има в SQL (логически и физически)?
Кое из изразите на мястото [...] автоматично ще доведе до създаване на индекс? На мобилната платформа има хоризонтално превъртане на кода create table some_table( col_name [...] ); unique references other_table(col_name) not null serial integer check (col_name > 0)
Какви предимства носи патърнът Стратегия при рефакторирането на този код?
Работили ли сте с Git? Какво съхранявахте в Git?
Какво е shuffle в Spark и защо е необходим?
Подробно опишете алгоритъма за улавяне на инкремента от източника, за да не се губи нищо при промяна на честотата на зареждане.
Swap файловете — как влияят на производителността? Кога още могат да възникнат swap файлове?
Как да актуализирате таблица в ClickHouse така, че потребителите да не забележат нищо (атомарна замяна)?
Проверките на качеството на данните ги правехте сами или изискванията идваха от бизнеса/клиентите?
Моля, разкажете ни защо ви интересува тази ваканция.
Какво е нормализиране и денормализиране, кога са необходими?
Разкажете за вашия опит с Airflow (оркестратор). С какво сте работили?
Какво трябва да направите, ако искате да промените клона, към който сочи подмодулът? - Подмодулите не поддържат смяна на клонове - Изтрийте подмодула и го добавете отново с желания клон - Променете клона в подмодула и направете комит в основното хранилище - Изпълнете git checkout на желания клон в подмодула и запишете промените в основното хранилище - Изпълнете git submodule update --branch, като посочите новия клон
Разкажи ми за предишния си проект, какви бяха задълженията ти?
Какви SQL заявки пишеш: прости проверки или сложни скриптове за витрини?
Какво е CTE (Общ Табличен Израз)?
Зареждали ли сте данни от Spark в S3 във формат Parquet, а след това от Parquet в Greenplum — как протича процесът на зареждане?
Колко реалистични са плановете на компанията за изграждане на система за събиране, нормализиране и анализ на данни?
Разкажи ми за партиционирането. Какви интересни операции си трябвало да извършиш?