Уақыттық қатарлар мен PySpark-те тәжірибеңіз бар ма?

Иә, PySpark-та уақыттық қатарлармен жұмыс істеу тәжірибесі уақыт белгілері бар үлкен деректерді өңдеуді, жинақтауды, айналмалы терезелерді және болжау модельдерін қолдануды қамтиды.

PySpark-та уақыттық қатарлармен жұмыс істеу үшін жиі pyspark.sql.functions модулінен функциялар пайдаланылады, мысалы, уақыт интервалдары бойынша топтастыру үшін window.

Уақыт бойынша деректерді жинақтау мысалы:

from pyspark.sql import SparkSession
from pyspark.sql.functions import window, avg

spark = SparkSession.builder.getOrCreate()

data = [
    ("2024-06-01 10:05:00", 10),
    ("2024-06-01 10:15:00", 20),
    ("2024-06-01 11:00:00", 30),
]

schema = "timestamp STRING, value INT"
df = spark.createDataFrame(data, schema=schema)
df = df.withColumn("timestamp", df["timestamp"].cast("timestamp"))

result = df.groupBy(window("timestamp", "1 hour")).agg(avg("value").alias("avg_value"))
result.show(truncate=False)

Мұндай тәсіл үлкен деректердегі уақыттық қатарларды тиімді өңдеуге және талдауға мүмкіндік береді.