Data Engineer
Обяснете как технически работи Git LFS и какви предимства предоставя в сравнение със стандартния Git при работа с големи файлове.
Какво жертва базата данни при бързо зареждане на данни (COPY в Postgres, BULK INSERT)?
Дял на трафика от ботов Екипът за борба с измамите е разработил механизъм за откриване на трафика от ботове в сайта на магазина: когато бот влезе в сайта, към параметрите на неговия URL се добавя поднизът "bot" (без значение от големината на буквите). Ако user_id е бил определен като бот поне веднъж през декември, той винаги трябва да се счита за бот. Изследвайте набора от данни с посещенията на потребителите на сайта и изчислете дела на ботовете от общия брой потребители през декември 2024 г. (закръглете до една десетична точка). Формат на въвеждане Таблица visits: - event_date (date) — дата на посещението - user_id (int) — уникален идентификатор на потребителя - url (string) — линк, по който е осъществено посещението Данните не съдържат пропуски или некоректни стойности. Формат на изхода Заявката трябва да върне таблица с полета: - share (float) — делът на ботовете от общия брой потребители през декември, закръглен до една десетична точка.
Какви са вашите очаквания за заплата?
Какво е идемпотентност в DAG/задача в Airflow?
Какво е SQL инжекция?
Какви видове индекси има в PostgreSQL?
Какво е VACUUM в PostgreSQL? За какво е нужен?
Как работи компресирането в ClickHouse?
Как да възстановите работата от отдалечена клонка, ако при опит да изпълните `git checkout hotfix/missing-footer` получите съобщение за грешка, че клонът не е намерен?
Разкажи ми за архитектурата на съхранението: как беше разделена на слоеве, какви са характеристиките на всеки слой?
Как да парсирате големи XML файлове в ZIP и да ги заредите в ClickHouse с помощта на Python?
Как се чете файл от HDFS, например Parquet — цял или на блокове?
AstonРазкажи за себе си — опит в работата, стек от технологии
СБЕРКакво прави OPTIMIZE в ClickHouse и защо не трябва да го стартирате безразсъдно?
Как работеше с аналитичните функции (функции за прозорец)?
МВидеоКой тип повече принадлежи на Greenplum — OLTP или OLAP?
МВидеоКакво е YARN и за какво е нужен?
AstonКак може да се случи SQL инжекция чрез полето за въвеждане на дата?
Кои оператори на Airflow използвахте? Как взаимодействахте с dbt чрез Airflow?