В чем отличие между Fluentd и Logstash?

Logstash — это серверный конвейер обработки данных с открытым исходным кодом, который динамически принимает данные из множества источников, преобразует их и отправляет в выбранные места назначения. Он является частью стека ELK (Elasticsearch, Logstash, Kibana).

Fluentd — это Сборщик данных с открытым исходным кодом для унифицированного логирования. Он имеет модульную структуру и более легковесен по сравнению с Logstash, что делает его подходящим для микросервисных архитектур и развертывания на конечных узлах.

Основные отличия:

Пример конфигурации Fluentd для сбора логов и их отправки в Elasticsearch:

# source plugin to collect logs from a file
<source>
  @type tail
  path /var/log/myapp/access.log
  pos_file /var/log/td-agent/pos/access.log.pos
  tag myapp.access
  format apache
</source>

# match plugin to send logs to Elasticsearch
<match myapp.access>
  @type elasticsearch
  host elasticsearch.example.com
  port 9200
  logstash_format true
  logstash_prefix myapp
  index_name myapp_logs
  type_name myapp_type
</match>

Пример конфигурации Logstash для сбора логов и их отправки в Elasticsearch:

# input plugin to collect logs from a file
input {
  file {
    path => "/var/log/myapp/access.log"
    start_position => "beginning"
  }
}

# filter plugin to parse log data
filter {
  grok {
    match => { "message" => "%{COMBINEDAPACHELOG}" }
  }
}

# output plugin to send logs to Elasticsearch
output {
  elasticsearch {
    hosts => ["elasticsearch.example.com:9200"]
    index => "myapp-logs-%{+YYYY.MM.dd}"
  }
}