რა უკეთესია: Fluentd თუ Logstash?

Fluentd და Logstash-ის არჩევა დამოკიდებულია კონკრეტულ მოთხოვნებზე და ინფრასტრუქტურაზე:

შედარება:

მახასიათებელი	Fluentd	Logstash
განვითარების ენა	Ruby, C	JRuby
პროდუქტიულობა	მაღალი, რესურსების დაბალი მოხმარება	შეიძლება იყოს მაღალი, დამოკიდებულია კონფიგურაციაზე
არქიტექტურა	მსუბუქი დომენი, მოდულური	JVM-ბაზირებული, მოითხოვს მეტ რესურსს
პლაგინები	აქტიური საზოგადოება, მრავალი პლაგინი	დიდი რაოდენობით პლაგინები, Elastic ეკოსისტემა
კონფიგურაცია	JSON-ს მსგავსი, მარტივი გასაგებად	DSL, უფრო მოქნილი
ინტეგრაცია	Kubernetes/Docker-ის შესანიშნავი ინტეგრაცია	ღრმა ინტეგრაცია Elastic ეკოსისტემასთან
მასშტაბირება	მაღალი	მაღალი

Fluentd უკეთესია, თუ:

• გჭირდებათ მსუბუქი აგენტი დაბალი რესურსებით.
• მუშაობთ კონტეინერიზებულ გარემოებში (Docker, Kubernetes).
• მნიშვნელოვანია პროდუქტიულობა და დაბალი ლატენცია.
• გსურთ მარტივი კონფიგურაცია.

Logstash უკეთესია, თუ:

• უკვე იყენებთ Elastic ეკოსისტემას (Elasticsearch, Kibana).
• გჭირდებათ ღრმა ინტეგრაცია სხვადასხვა მონაცემთა წყაროსთან და სისტემებთან.
• საჭიროა მოქნილი და რთული მონაცემების დამუშავება.
• რესურსების მცირე მოხმარება არ არის კრიტიკული ფაქტორი.

საბოლოოდ, არჩევანი დამოკიდებულია თქვენს პრიორიტეტებზე. თუ გსურთ მარტივობა, მსუბუქობა და კარგი ინტეგრაცია ღრუბლოვან გარემოებთან, Fluentd შეიძლება იყოს საუკეთესო არჩევანი. თუ მნიშვნელოვანია ღრმა ინტეგრაცია Elasticsearch-ის და გაფართოებული მონაცემების დამუშავების შესაძლებლობები, Logstash იქნება სასურველი:

# Fluentd კონფიგურაციის მაგალითი (tail-დან შესვლა)
<source>
  @type tail
  path /var/log/containers/*.log
  pos_file /var/log/fluentd-containers.log.pos
  tag kubernetes.*
  format json
</source>

# Logstash კონფიგურაციის მაგალითი (filebeat-დან შესვლა)
input {
  beats {
    port => 5044
  }
}
filter {
  json {
    source => "message"
    remove_field => ["message"]
  }
}
output {
  elasticsearch {
    hosts => ["elasticsearch:9200"]
    index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}"
  }
}