Sobes.tech
Հարցազրույցի օգնություն
Ռեսուրսներ
Հարցազրույցի պատրաստում
Ռեսուրսներ
Աշխատանքի որոնում
Ռեսուրսներ
Իրավական
Վերադարձ դեպի հարցեր
Senior

Ելնելով այն հանգամանքից, որ մենք մեծ գովազդային ցանց ենք։ Մենք տեղադրում ենք բաններ գործընկեր կայքերում ամբողջ աշխարհում։ Մենք պետք է նախագծենք իրական ժամանակում իրադարձությունների հավաքման և մշակման համակարգ։ Այս տվյալները շատ կարևոր են երկու նպատակների համար՝ Հաշվարկ՝ գովազդատուներից սեղմումների համար գումար կորզել։ Վերլուծություն՝ ներկայիս արդյունավետությունը ցուցադրել անձնական վահանակում (CTR, ցուցադրություններ) Մուտքային տվյալներ (բեռի հաշվարկի համար) Դուք ինքնուրույն պետք է գնահատեք անհրաժեշտ հզորությունները (RPS, տրաֆիկ, պահեստավորում), հիմնվելով հետևյալ մետրիկաներին՝ Գործընկեր ցանցը՝ 500,000 ակտիվ կայք։ Տրաֆիկը՝ միջինում, յուրաքանչյուր կայք ստանում է 2 էջ դիտում секундին։ Գովազդային բլոկներ՝ Յուրաքանչյուր էջում միաժամանակ ցուցադրվում է 3 բաններ։ Փոխարկում՝ Միջին CTR (Click-Through Rate) 1% է։ Անհամապատասխանություն՝ Պիկ բեռը (երեկոյան ժամերը) միջինից 4 անգամ բարձր է։ Եվենթների չափը՝ (ID բանների, ID կայքի, UserID, Timestamp, տեսակի իրադարձություն) մոտ 500 բայթ է։ Տեխնիկական պահանջներ Near Real-Time: Տվյալները վերլուծական ինտերֆեյսում պետք է հայտնվեն առավելագույնը 10 վայրկյան ուշացումով։ Հավաստիություն՝ Կլիկների կորուստը անընդունելի է (այդ դեպքում գումարի անմիջական կորուստ է): Ցուցադրումների կորուստը՝ մինչև 0.01%։ Մասշտաբայնություն՝ Սիստեմը պետք է հեշտությամբ ընդլայնվի՝ աճող հարթակների թվի հետ։

sobes.tech AI

Պատասխան AI-ից

Для проектирования системы сбора и обработки событий в реальном времени для крупной рекламной сети с указанными параметрами, рассмотрим ключевые аспекты:

Оценка нагрузки

  • Активных сайтов: 500,000
  • Просмотры страниц в секунду на сайте: 2
  • Баннеры на странице: 3
  • CTR: 1%
  • Пиковая нагрузка: ×4
  • Размер события: 500 байт

Расчёт событий в секунду (RPS):

  • Просмотры страниц: 500,000 × 2 = 1,000,000 в секунду
  • Показов баннеров: 1,000,000 × 3 = 3,000,000 показов в секунду
  • Клики: 3,000,000 × 1% = 30,000 кликов в секунду

Пиковая нагрузка: 3,000,000 × 4 = 12,000,000 показов и 30,000 × 4 = 120,000 кликов в секунду.

Трафик данных

  • Показ: 500 байт × 12,000,000 = ~6 ГБ/сек
  • Клик: 500 байт × 120,000 = ~60 МБ/сек

Архитектура системы

  1. Сбор данных:

    • Использовать легковесные агенты или SDK на сайтах для отправки событий.
    • Протоколы: HTTP/2, gRPC или Kafka Producer для высокой пропускной способности.

  2. Приём и буферизация:

    • Использовать распределённый брокер сообщений (например, Apache Kafka) для устойчивого приёма и буферизации событий.
    • Настроить партиционирование по ID сайта или баннера для масштабируемости.

  3. Обработка:

    • Потоковая обработка с помощью систем типа Apache Flink, Kafka Streams или собственного сервиса на Go.
    • Клики обрабатывать с гарантией доставки (exactly-once или at-least-once).
    • Показов можно допускать небольшую потерю (0.01%), использовать компромиссы в обработке.

  4. Хранение:

    • Для биллинга — база данных с транзакционной поддержкой (например, PostgreSQL, CockroachDB).
    • Для аналитики — OLAP-хранилище или колоночная БД (ClickHouse, Druid) для быстрых агрегаций.

  5. Отображение данных:

    • Кэширование агрегированных данных для быстрого доступа в личном кабинете.
    • Обновление данных с задержкой не более 10 секунд.

Масштабируемость и надёжность

  • Горизонтальное масштабирование всех компонентов.
  • Репликация и резервирование брокеров и баз данных.
  • Мониторинг и алерты на потерю данных и задержки.

Итог

  • Система должна выдерживать до 12 млн событий в секунду на пике.
  • Использовать распределённые технологии для приёма и обработки.
  • Обеспечить гарантии доставки для кликов и минимальные потери для показов.
  • Обеспечить near real-time обновление аналитики с задержкой до 10 секунд.
ՆախորդՀաջորդը