Golang

ScyllaDB kasutamine enne tootjat on antipattern. Kuidas korraldada duplikaatide eemaldamine õigesti?

Oletame, että olemme suuri mainosverkosto. Sijoitamme bannereita yhteistyösivustoille ympäri maailmaa. Meidän on suunniteltava järjestelmä tapahtumien keräämiseen ja käsittelyyn reaaliajassa. Nämä tiedot ovat kriittisiä kahdelle tarkoitukselle: Laskutus: Rahan veloittaminen mainostajilta klikkauksista. Analytiikka: Kampanjoiden nykyisen tehokkuuden (CTR, näyttökerrat) näyttäminen henkilökohtaisessa hallintapaneelissa. Syötteen tiedot (kuormituksen laskemista varten) Sinun tulee arvioida itse tarvittavat kapasiteetit (RPS, liikenne, tallennustila), perustuen seuraaviin mittareihin: Kumppaniverkosto: 500 000 aktiivista sivustoa. Liikenne: Keskimäärin jokainen sivusto saa 2 sivun katselukertaa sekunnissa. Mainoslohkot: Jokaisella sivulla näytetään samanaikaisesti 3 banneria. Konversio: Keskimääräinen CTR (Click-Through Rate) on 1%. Epäsäännöllisyys: Huippukuormitus (illalla) on 4 kertaa suurempi kuin keskiarvo. Tapahtuman koko: Tapahtuman kohde (Banner ID, Sivusto ID, UserID, Timestamp, tapahtuman tyyppi) painaa noin 500 tavua. Tekniset vaatimukset Near Real-Time: Tiedot analytiikkaliittymässä tulisi näkyä enintään 10 sekunnin viiveellä. Luotettavuus: Klikkien menetys ei ole hyväksyttävää (tämä tarkoittaa suoraa rahallista menetystä). Näyttöjen menetys (impressions) on hyväksyttävää enintään 0,01%. Skaalautuvuus: Järjestelmän tulisi olla helposti laajennettavissa kasvavan alustojen määrän myötä.

Miks meil on vaja salvestada toorandmed S3 salvestusse? Kas on õige, kas TTL Redisil 5 minutit või on parem hoida neid kauem — 24 tundi, ja kasutada ScyllaDB-d andmete kontrolli allikana?