რა იცით ELK და EFK ელასტიკური სტეკის შესახებ?

ელასტიკ სტეკი (ELK) — ეს ცენტრალიზებული ლოგების შეგროვებისა, ანალიზისა და ვიზუალიზაციის ინსტრუმენტების ნაკრებია. EFK — მისი ვარიანტია, რომელიც შეცვლის Logstash-ს Fluentd-ით.

ELK-ის კომპონენტები:

• Elasticsearch: გავრცელებული საძიებო და ანალიტიკური ძრავი Lucene-ზე დაფუძნებით. გამოიყენება ლოგების შენახვა, ინდექსირება და ძიება.
• Logstash: მონაცემების დამუშავების კონვეიერი. იღებს მონაცემებს სხვადასხვა წყაროებიდან, ფილტრავს, გარდაქმნის და აგზავნის Elasticsearch-ში.
• Kibana: ვებ-ინტერფეისი მონაცემების ვიზუალიზაციისთვის, რომლებიც შენახულია Elasticsearch-ში. საშუალებას აძლევს შექმნას დაფები, გრაფიკები და განახორციელოს ინტერაქტიული ანალიზი.

სტეკის შემადგენლობაში ხშირად შედის Beats — მსუბუქი აგენტები სერვერებიდან მონაცემების შეგროვებისთვის (Filebeat — ლოგებისთვის, Metricbeat — მეტრიკებისთვის და ა.შ.).

EFK-ის კომპონენტები:

• Elasticsearch: ანალოგიურად ELK-ს, გამოიყენება შენახვისა და ძიებისთვის.
• Fluentd: ღია წყაროს ლოგების კონსოლიდატორი. ასრულებს იგივე ფუნქციებს, რაც Logstash, მაგრამ ხშირად მიიჩნევა უფრო მსუბუქად და აქვს უფრო მოქნილი პლაგინების სისტემა. განსაკუთრებით პოპულარულია კონტეინერული გარემოებში (Kubernetes).
• Kibana: ვიზუალიზაციისთვის გამოიყენება.

ძირითადი ფუნქციები და უპირატესობები:

• ლოგების ცენტრალიზაცია: ლოგების შეგროვება მრავალი სერვერიდან და პროგრამიდან ერთ ადგილას.
• ძებნა და ანალიზი: დიდი მონაცემების სწრაფი ძიება და რთული ანალიზი.
• მონიტორინგი და შეტყობინებები: ტენდენციების ვიზუალიზაცია, ანომალიების გამოვლენა და შეტყობინებების კონფიგურაცია.
• შეცდომების აღმოფხვრა: ინციდენტებისა და სისტემების შეცდომების სწრაფი გამოვლენა.
• მასშტაბირება: ყველა კომპონენტის ჰორიზონტალური მასშტაბირება.

Logstash და Fluentd-ის შედარება:

მახასიათებელი	Logstash	Fluentd
არქიტექტურა	JVM-ზე დაფუძნებული, მონოლითური	Ruby/C-ზე დაფუძნებული, მოდულური, პლაგინებით
მეხსიერება	ხშირად მაღალი მოხმარება	ნაკლები მოთხოვნები მეხსიერებაზე
პროდუქტიულობა	კარგი, მაგრამ შეიძლება იყოს მძიმე	ხშირად უფრო ეფექტურია მაღალი დატვირთვით
გარემო	ტრადიციული სერვერული გარემო, VM	განსაკუთრებით პოპულარული კონტეინერებში (Docker, K8s)
პლაგინები	ბევრი ინტეგრირებული პლაგინი	დიდი რაოდენობით საზოგადოების მიერ შექმნილი პლაგინები
კონფიგურაცია	საკუთარი სინტაქსი	JSON ან YAML

გამოყენების მაგალითი:

# Filebeat კონფიგურაციის მაგალითი — Docker ლოგების შეგროვება Kubernetes-ში
- module: docker
  containers:
    ids: '*'
    stream: 'stdout' # მხოლოდ stdout-ის ლოგების შეგროვება
    paths:
      - /var/lib/docker/containers/${data.docker.container.id}/*.log

  processors:
  - add_kubernetes_metadata:
      in_cluster: true # ავტომატურად დამატება Kubernetes მეტადატებს

# Fluentd კონფიგურაციის მაგალითი — ლოგების გაგზავნა Elasticsearch-ში
<source>
  @type forward
  port 24224
  bind 0.0.0.0
</source>

<match kubernetes.**>
  @type elasticsearch
  host elasticsearch-logging.default.svc.cluster.local # Elasticsearch-ის მისამართი
  port 9200
  logstash_format true
  logstash_prefix kubernetes
  <buffer>
    flush_interval 5s
  </buffer>
</match>

ELK და EFK არჩევანი დამოკიდებულია ინფრასტრუქტურის სპეციფიკაზე, ინსტრუმენტებზე მერყეობაზე და შესრულებისა და რესურსების მოთხოვნებზე. კონტეინერული გარემოებში EFK ხშირად არის სასურველი ვარიანტი, რადგან Fluentd მსუბუქია და ინტეგრირებულია Kubernetes-თან.