Zaman seriyaları və PySpark ilə təcrübəniz varmı?

Bəli, PySpark-də zaman seriyaları ilə işləmək təcrübəsi böyük həcmdə məlumatların vaxt nişanları ilə işlənməsini, toplama, hərəkətli pəncərələr və proqnozlaşdırma modellərinin tətbiqini əhatə edir.

PySpark-də zaman seriyaları ilə işləmək üçün tez-tez pyspark.sql.functions modulundan funksiyalar istifadə olunur, məsələn, vaxt intervalları üzrə qruplaşdırmaq üçün window.

Saatlıq məlumatların toplanması nümunəsi:

from pyspark.sql import SparkSession
from pyspark.sql.functions import window, avg

spark = SparkSession.builder.getOrCreate()

data = [
    ("2024-06-01 10:05:00", 10),
    ("2024-06-01 10:15:00", 20),
    ("2024-06-01 11:00:00", 30),
]

schema = "timestamp STRING, value INT"
df = spark.createDataFrame(data, schema=schema)
df = df.withColumn("timestamp", df["timestamp"].cast("timestamp"))

nəticə = df.groupBy(window("timestamp", "1 saat")).agg(avg("value").alias("orta_dəyər"))
result.show(truncate=False)

Bu yanaşma böyük məlumat dəstələrində zaman seriyalarını səmərəli işləməyə və analiz etməyə imkan verir.