გაქვს დროის სერიებთან და PySpark-თან გამოცდილება?

დიახ, PySpark-ში დროის სერიის გამოცდილება მოიცავს დიდი მოცულობის მონაცემების დამუშავებას დროის ნიშნებით, აგრეგირებას, მოძრავ ფანჯრებს და მოდელების გამოყენებას პროგნოზებისთვის.

PySpark-ში დროის სერიის სამუშაოსთვის ხშირად გამოიყენება pyspark.sql.functions მოდულის ფუნქციები, მაგალითად, window დროის ინტერვალების მიხედვით ჯგუფის გასაკეთებლად.

საათობრივი მონაცემების აგრეგირების მაგალითი:

from pyspark.sql import SparkSession
from pyspark.sql.functions import window, avg

spark = SparkSession.builder.getOrCreate()

data = [
    ("2024-06-01 10:05:00", 10),
    ("2024-06-01 10:15:00", 20),
    ("2024-06-01 11:00:00", 30),
]

schema = "timestamp STRING, value INT"
df = spark.createDataFrame(data, schema=schema)
df = df.withColumn("timestamp", df["timestamp"].cast("timestamp"))

შედეგი = df.groupBy(window("timestamp", "1 საათი")).agg(avg("value").alias("საშუალო_მნიშვნელობა"))
შედეგი.show(truncate=False)

ეს მიდგომა საშუალებას აძლევს ეფექტურად დაამუშავოთ და გაანალიზოთ დროის სერიული მონაცემები დიდ მონაცემთა ნაკადებზე.