Waarom wordt segmentio/kafka-go gebruikt, is het één bibliotheek of twee? Hoe werken producer en consumer?

segmentio/kafka-go is een Go-bibliotheek voor werken met Apache Kafka, ontwikkeld door Segment. Het biedt een gebruiksvriendelijke en efficiënte API voor Kafka-producers en -consumers.

Producer in kafka-go stuurt berichten naar Kafka-topics. Het beheert serialisatie, partitionering en bevestigingen van levering.

Consumer leest berichten uit de topics, ondersteunt offsetbeheer, load balancing tussen consumenten en foutafhandeling.

Voorbeeld van het maken van een producer en het verzenden van een bericht:

import (
    "context"
    "github.com/segmentio/kafka-go"
)

func produce() error {
    w := kafka.Writer{
        Addr:     kafka.TCP("localhost:9092"),
        Topic:    "example-topic",
        Balancer: &kafka.LeastBytes{},
    }
    defer w.Close()

    err := w.WriteMessages(context.Background(),
        kafka.Message{
            Key:   []byte("Key-A"),
            Value: []byte("Hello Kafka"),
        },
    )
    return err
}

Dus, kafka-go is een uniforme bibliotheek die de belangrijkste scenario's voor werken met Kafka in Go dekt, de integratie vereenvoudigt en de betrouwbaarheid verhoogt.