Middle

Убакыт катарлары жана PySpark менен тажрыйбаңыз барбы?

sobes.tech AI

AIден жооп

Ооба, PySparkтеги убакыт сериялары боюнча тажрыйба чоң көлөмдөгү маалыматтарды убакыт белгилери менен иштетүүнү, топтоо, жылжууучу терезелер жана алдын-ала болжау моделдерин колдонууңу камтыйт.

PySparkта убакыт сериялары менен иштөө үчүн көбүнчө pyspark.sql.functions модулунан функцияларды колдонушат, мисалы, убакыт интервалдары боюнча топтоо үчүн window.

Сааттык маалыматтарды топтоо мисалы:

from pyspark.sql import SparkSession
from pyspark.sql.functions import window, avg

spark = SparkSession.builder.getOrCreate()

data = [
    ("2024-06-01 10:05:00", 10),
    ("2024-06-01 10:15:00", 20),
    ("2024-06-01 11:00:00", 30),
]

schema = "timestamp STRING, value INT"
df = spark.createDataFrame(data, schema=schema)
df = df.withColumn("timestamp", df["timestamp"].cast("timestamp"))

жыйынтык = df.groupBy(window("timestamp", "1 саат")).agg(avg("value").alias("орта_баа"))
жыйынтык.show(truncate=False)

Бул ыкма чоң маалыматтар топтомунда убакыт серияларын натыйжалуу иштетүүгө жана талдоого мүмкүндүк берет.

Мурунку Кийинки