რა იწვევს ახალი სამუშაოს შექმნას Spark-ში და როგორ იყოფა სამუშაო სტადიონებად და დავალებებად?
Data Engineer
მოკლედ ახსენით, როგორ არის მოწყობილი Spark-ის არქიტექტურა: რა კომპონენტები არსებობს და როგორ ურთიერთქმედებენ SQL-საკითხის შესრულების დროს.
რა არის პარტიცირება? რა არის შარდინგი? რა არის რეპლიკაცია?
რას ემსახურება სვეტის ჯგუფი Parquet ფაილის სტრუქტურაში?
SELECT client_id, ФИО, SUM(suma) AS total_amount FROM clients JOIN transactions ON clients.client_id = transactions.client_id WHERE дата = '2025-05-01' GROUP BY client_id, ФИО;
თუ ჩვენ დავაყენებთ ტრანზაქციის თარიღის ფილტრის პირობას WHERE (მარცხნივ LEFT JOIN-ის შემდეგ), ეს შეზღუდავს პირველ სქემას (მომხმარებლებს)?
## მოდის პრობლემა # რიცხვების სიაა. დაწერეთ ფუნქცია, რომელიც ამ სიაში მოდას იპოვის. # find_mode([1, 2, 3, 3, 4, 5]) #> 3
რა დააბრუნებს find_mode ფუნქცია სიის [1, 2, 3, 3, 4, 5]თვის? ნაბიჯ-ნაბიჯ ახსენი.
-- t1 -- num --------- -- 1 -- 2 2 null null 4 -- t2 -- num --------- -- [ტელეფონი] null null 5 არჩევა a.num როგორც a_num, b.num როგორც b_num t1-დან a მარცხენა JOIN t2 b-ზე a.num = b.num;
რა განსხვავებაა პარტიციონირებასა და შარდინგს შორის?
Parquet შენახვის ფორმატი და CSV შორის რა განსხვავებაა?
მითხარით, სად მუშაობდით სისტემური ანალიტიკოსის როლში და რა დავალებებს ასრულებდით?
რა მეთოდები (ტიპები) გაქვთ მონაცემთა ისტორიის შენახვის? როგორ იკრიბება ისტორია სვეტებში?
თქვენ თვითონ ჩაატარეთ მონაცემების ხარისხის შემოწმებები, თუ მოთხოვნები ბიზნესიდან/მომხმარებლებიდან მოდიოდა?
შეიძლება თუ არა, რომ Spark-ში AQE (Adaptive Query Execution) ოპტიმიზატორთან მუშაობდი? როგორ მუშაობს ის, იცოდი?
Spark-ში რა სახის ფიზიკური JOIN-ები არსებობს?
როგორ გამოვიტანოთ თითოეული მომხმარებლის ბოლო სრული სახელი, თუ მხოლოდ დაწყების თარიღი არის ცნობილი (დასრულების თარიღი უცნობია)?
რომელი სამუშაო ფორმატი უფრო მოსახერხებელია თქვენთვის — ოფისი, ჰიბრიდი ან დისტანციური? ჩვენ ორი ოფისი გვაქვს, კუტუზოვსკისსა და ტულაში.
რომელი ფიზიკური JOIN მექანიზმი გამოიყენება ტრანზაქციის ცხრილის და კალენდრის ცხრილის შეუერთებისას არასათანადო პირობით (თარიღი <= თარიღი)?
რა ნიშნავს UNBOUNDED PRECEDING ფანჯრის ფუნქციის საზღვრებში?