Logstash详解

一、Logstash集群

Logstash允许用户创建具有高可用性的节点集群，以便更好地处理日志或其他时间相关事件。集群中的每个节点都可以独立运行，并处理节点群集中的子集。通过运行Logstash集群，可以实现高可扩展性，高可用性和容错性。

下面是一个使用Logstash集群的示例：

input {
  beats {
    port => 5044
  }
}

filter {
  if [fields][type] == "apache" {
    grok {
      match => { "message" => "%{COMBINEDAPACHELOG}" }
    }
  }
}

output {
  elasticsearch {
    hosts => [ "localhost:9200" ]
  }
}

二、Logstash官网

Logstash官网提供了大量关于Logstash的信息和资源，包括各种文档，API参考，插件库等。用户可以从中了解到Logstash的所有信息，并且可以得到官方支持。

以Logstash官网提供的下载为例，下面是从官网上下载最新版本Logstash的命令：

curl -L -O https://artifacts.elastic.co/downloads/logstash/logstash-7.10.0.tar.gz
tar -xzf logstash-7.10.0.tar.gz
cd logstash-7.10.0/

三、Logstash配置

Logstash的配置由三个部分组成：输入（input），过滤（filter）和输出（output）。 每个部分都可以有多个插件，用户可以根据实际情况修改配置文件。下面是一个简单的示例：

input {
  stdin {}
}

filter {
  grok {
    match => { "message" => "%{COMBINEDAPACHELOG}" }
  }
}

output {
  stdout { codec => rubydebug }
}

四、Logstash启动命令

在Linux系统上，可以通过如下命令启动Logstash：

bin/logstash -f config/logstash.conf

如果要在后台运行Logstash，请使用如下命令：

bin/logstash -f config/logstash.conf --daemon

五、Logstash是什么

Logstash是一种开源的数据收集引擎，主要用于收集、转换和存储各种格式的日志和事件数据。它支持多种输入源，例如文件，Socket，各类消息队列，以及开放式协议等。Logstash还可以使用其他Elastic Stack工具（如Beats，Elasticsearch和Kibana）进行数据分析。

六、Logstash端口号

Logstash默认使用的端口号是9600，用户可以使用telnet命令测试端口是否开放，如下所示：

$ telnet localhost 9600
Trying 127.0.0.1...
Connected to localhost.
Escape character is '^]'.

七、Logstash原理

Logstash的工作原理是通过在系统上安装Logstash，并使用配置文件指定将应该处理的日志或事件位置。Logstash把这些识别出来的信息打包并存储到一个地方，以便其他软件工具可以轻松地使用这些数据进行分析或存储。

八、Filebeat和Logstash关系

Filebeat和Logstash都是ELK的组成部分，它们都可以用于日志收集。Filebeat是一种轻量级的数据传输工具，用于将日志或其他时间相关数据从文件系统直接转发到Elasticsearch。而Logstash是一个功能比较完善的日志收集引擎，支持多种输入源和输出目的地，可以用于日志的解析和转换。

九、Logstash使用教程

下面是一个简单的使用Logstash的教程。首先安装Logstash并创建一个配置文件，然后启动Logstash并将日志写入到一个文件中：

input {
  stdin {}
}

output {
  file {
    path => "/tmp/output.log"
  }
}

$ bin/logstash -f config/logstash.conf
Hello, world

  

十、Logstash日志解析

日志解析是Logstash的一项非常重要的功能，用户可以使用不同的插件解析各种格式的日志。下面是一个解析Apache日志的示例：

input {
  beats {
    port => 5044
  }
}

filter {
  if [fields][type] == "apache" {
    grok {
      match => { "message" => "%{COMBINEDAPACHELOG}" }
    }
  }
}

output {
  elasticsearch {
    hosts => [ "localhost:9200" ]
  }
}