Data Engineer
Dit is in realtime, hoe implementeer je dit tussen Kafka en ClickHouse Spark?
МВидеоWe hebben een pipeline-engine nodig — een mechanisme dat het mogelijk maakt om zeer snel stroom te creëren door contracten en parameters aan te leveren. Hoe zou je dit op een hoger niveau implementeren?
МВидеоHoe werkt partitionering in Hive en hoe wordt het fysiek weergegeven in het bestandssysteem?
AstonWordt ACID nageleefd in Greenplum?
МВидеоWelke methoden bestaan er om gegevens te verwijderen in ClickHouse?
Heeft u ervaring met de bibliotheek Langchain? Welke taken hebt u ermee opgelost?
Iceberg is een engine waarmee je van S3 een database kunt maken, het voldoet zelfs aan ACID. Wat is het nadeel ervan?
МВидеоWat is het doel van het verdelen van gegevens in blokken in HDFS?
AstonWat zijn dode rijen in de database?
Welke operators van Airflow heb je gebruikt? Hoe heb je via Airflow met dbt gecommuniceerd?
Wat betreft de query, kunnen we zien wat er met de gegevens gebeurt, inclusief welke soorten joins — welke soorten joins we daar kunnen zien?
МВидео-- Oorspronkelijke stretch-tabel -- Het is nodig om NULL-waarden in te vullen met de vorige niet-NULL waarde per id - naar beneden uitvullen id | ttime | val ---|-------|----- 1 | 07:30 | NULL 1 | 09:21 | 10 1 | 13:53 | NULL 1 | 16:12 | NULL 2 | 09:42 | 133 2 | 15:20 | NULL 2 | 21:33 | NULL 3 | 08:01 | NULL 3 | 11:41 | 8 3 | 14:23 | NULL 3 | 16:17 | NULL 3 | 19:54 | 2 4 | 13:10 | 312 4 | 14:42 | NULL 4 | 16:31 | 7 4 | 17:44 | NULL id | ttime | val ---|-------|----- 1 | 07:30 | NULL 1 | 09:21 | 10 1 | 13:53 | 10 1 | 16:12 | 10 2 | 09:42 | 133 2 | 15:20 | 133 2 | 21:33 | 133 3 | 08:01 | NULL 3 | 11:41 | 8 3 | 14:23 | 8 3 | 16:17 | 8 3 | 19:54 | 2 4 | 13:10 | 312 4 | 14:42 | 312 4 | 16:31 | 7 4 | 17:44 | 7 -- SQL-query om de gewenste tabel te verkrijgen SELECT id, ttime, COALESCE(val, LAST_VALUE(val) OVER(PARTITION BY id ORDER BY ttime)) as val FROM stretch
Wat is GIL (Global Interpreter Lock)?
Gegeven een string van nullen en enen. Schrijf een functie func() die het maximale aantal opeenvolgende enen retourneert. Bijvoorbeeld: func("010111011") -> 3
КуперHoe bekijk je het uitvoeringsplan van een query in Oracle? Hoe verschilt EXPLAIN PLAN van EXPLAIN ANALYZE?
AstonHoe zie je je deelname aan het project gezien de beschreven samenstelling van het team?
Analyse van gebruikersactiviteit in reclamecampagnes Het bedrijf houdt een registratie bij van gebeurtenissen gerelateerd aan reclamecampagnes. Er worden twee tabellen verstrekt: • campaigns — lijst van reclamecampagnes met hun identificaties en namen; • events — gebeurtenissen van gebruikers per campagne met informatie over het type gebeurtenis (bijvoorbeeld 'click' (klik)) en de tijd. Het is nodig om voor elke campagne een rapport te maken met de volgende indicatoren: • Totaal aantal gebeurtenissen. • Aantal unieke gebruikers die gebeurtenissen hebben uitgevoerd. • Tijd van de eerste en laatste gebeurtenis per campagne. • Rangorde van de campagne op basis van het afnemende totale aantal gebeurtenissen. Rangorde is een nummer dat aan elke rij in de resultaatset wordt toegekend op basis van de gegevensvolgorde. Als twee of meer rijen dezelfde waarde hebben, krijgen ze dezelfde rang, maar wordt de volgende rang overgeslagen. Het rapport moet alleen campagnes bevatten die gebeurtenissen hebben gehad: campagnes zonder gebeurtenissen worden niet meegenomen. De uiteindelijke rapportage moet eerst gesorteerd worden op de rangorde van de campagne in oplopende volgorde, en vervolgens op campaign_name in alfabetische volgorde. Invoerformaat • campaign_name (string) — naam van de reclamecampagne • start_date (timestamp) — startdatum en -tijd van de campagne • end_date (timestamp) — einddatum en -tijd van de campagne Tabel events: • event_id (int) — unieke identificatie van het evenement • user_id (int) — unieke identificatie van de gebruiker die het evenement heeft uitgevoerd • campaign_id (int) — unieke identificatie van de campagne • event_type (string) — type gebeurtenis, bijvoorbeeld 'click' of 'conversion' • event_time (timestamp) — datum en tijd van het evenement De gegevens bevatten geen ontbrekende of onjuiste waarden. Uitvoerformaat De query moet een tabel retourneren met de velden in deze volgorde: • campaign_name (string) — naam van de reclamecampagne • total_events (int) — totaal aantal gebeurtenissen gerelateerd aan de campagne • unique_users (int) — aantal unieke gebruikers die gebeurtenissen hebben uitgevoerd • first_event_time (timestamp) — datum en tijd van de eerste gebeurtenis van de campagne • last_event_time (timestamp) — datum en tijd van de laatste gebeurtenis van de campagne • campaign_rank (int) — rangorde van de campagne op basis van het afnemende totale aantal gebeurtenissen Sorteer de gegevens op de rangorde van de campagne in oplopende volgorde, en vervolgens op campaign_name in alfabetische volgorde.
Wat is het verschil tussen generators en lijsten in Python?
Waarom zal de volgende query geen gebruik maken van de index als er een normale B-tree index op id is gemaakt in de tabel records? select * from records where id % 2 = 0 - Voor id is een GIN-type index nodig - Indexen werken niet met uitdrukkingen in WHERE - % is een vergelijking, geen filtering - limit en offset zijn verplicht voor indexoptimalisatie - De query verwijst naar een numeriek veld, niet naar een tekstveld
Maak een lijst van dure boekingen Vraag Hoe kun je een lijst maken van boekingen op de dag van [telefoon] die de kosten voor de lid (of gast) meer dan $30 laten bedragen? Onthoud dat gasten verschillende kosten hebben dan leden (de vermelde kosten zijn per halfuur 'slot'), en dat de gastgebruiker altijd ID 0 is. Voeg in je output de naam van de faciliteit, de naam van het lid geformatteerd als één kolom, en de kosten toe. Sorteer op aflopende kosten, en gebruik geen subqueries.