Data Engineer
Nel processo di lavoro con git bisect, ti sei trovato di fronte a un commit che non può essere verificato a causa dell'assenza dell'ambiente necessario. Cosa bisogna fare in questa situazione? - Ripetere il comando git bisect start con altri hash - Saltare questo commit con il comando git bisect skip - Resettare il bisect con il comando git bisect reset - Segnare il commit come buono con il comando git bisect good - Segnare il commit come cattivo con il comando git bisect bad
Cos'è una partizione in ClickHouse e secondo quale principio viene scelta?
Come analizzare grandi file XML in ZIP e caricarli in ClickHouse usando Python?
Qual è la differenza tra UNION e UNION ALL? Quali condizioni devono essere soddisfatte?
СБЕРQuale tipo di lettura viene utilizzato in ClickHouse?
МВидеоSpiega come funziona tecnicamente Git LFS e quali vantaggi offre rispetto a Git standarde quando si lavora con file di grandi dimensioni.
Cosa sacrifica il database durante il caricamento rapido dei dati (COPY in Postgres, BULK INSERT)?
Come funziona Merge Join (unione con ordinamento)?
СБЕРCome si possono eliminare i dati da ClickHouse?
Quali problemi può individuare la tracciabilità?
Perché avete scelto specificamente DBT? Quali sono i vantaggi e gli svantaggi di questo framework?
СБЕРCos'è l'idempotenza in DAG/task in Airflow?
Cos'è un'iniezione SQL?
Cosa fa OPTIMIZE in ClickHouse e perché non bisogna avviarlo senza pensarci?
Quota di traffico dei bot Il team antifrode ha sviluppato un meccanismo per rilevare il traffico dei bot sul sito del negozio: quando un bot accede al sito, viene aggiunta la sottostringa "bot" (senza distinzione tra maiuscole e minuscole) ai parametri del suo URL. Se l'user_id è stato identificato come bot almeno una volta a dicembre, deve essere sempre considerato come bot. Esamina il dataset delle visite degli utenti al sito e calcola la quota di bot rispetto al numero totale di utenti a dicembre 2024 (arrotondando a una cifra decimale). Formato di input Tabella visits: - event_date (date) — data della visita - user_id (int) — identificativo unico dell'utente - url (string) — link attraverso cui è stata effettuata la visita I dati non contengono valori mancanti o errati. Formato di output La query deve restituire una tabella con i campi: - share (float) — quota di bot rispetto al totale degli utenti a dicembre, arrotondata a una cifra decimale.
Cos'è YARN e a cosa serve?
AstonCome funziona la compressione in ClickHouse?
Qual è la differenza tra EXPLAIN e EXPLAIN ANALYZE?
Cos'è VACUUM in PostgreSQL? A cosa serve?
Come viene letto un file da HDFS, ad esempio Parquet — interamente o a blocchi?
Aston