logstash怎么读

一、基础概念

Logstash是一种用来收集、处理和转发日志的工具。它可以轻松地收集各种来源的日志，并将其发送至指定位置。Logstash可以从多种数据源获取数据，如文件、网络、MQ、编码器等，并将数据转换为统一的格式。

在Logstash中，数据流程由三个部分组成：输入(Input)、过滤(Filter)和输出(Output)。 输入通常定义了从哪里获取数据，如文件、TCP、UDP等。过滤器提供了处理和转换收集到的数据的工具，如对数据进行解析、分类、过滤和重构等。输出定义了Logstash将处理后的数据发送到哪个位置，如Elasticsearch、Hadoop等。

二、输入的配置

在Logstash中，可以通过配置文件为输入数据源进行配置。下面是一个从指定目录读取.log文件的示例代码：

input {
  file {
    path => "/path/to/log/*.log"
    type => "log_type"
    sincedb_path => "/dev/null"
  }
}

其中，`file`表示使用文件输入插件，`path`表示文件路径模式，`type`是附加到event的type字段的值，`sincedb_path`则表示是否从上次读取的位置继续读取。

三、过滤器的配置

在输入的基础上，可以使用过滤器对数据进行处理和转换。下面是使用grok插件来解析收集到的日志数据的示例代码：

filter {
  if [type] == "log_type" {
    grok {
      match => {
        "message" => "%{TIMESTAMP_ISO8601:timestamp}%{SPACE}%{LOGLEVEL:loglevel} %{DATA:class} - %{GREEDYDATA:log_message}"
      }
    }
  }
}

这里使用了条件语句`if`来选择匹配指定类型的事件。`grok`表示使用grok插件，`match`则表示使用指定的匹配方式解析`message`字段的值，并将解析后的字段存储在不同的字段中。

四、输出的配置

在输入和过滤器处理后，数据需要被输出到指定位置。这里以输出到Elasticsearch为例：

output {
  elasticsearch {
    hosts => ["localhost:9200"]
    index => "logstash-%{+YYYY.MM.dd}"
    document_type => "log_type"
  }
}

`elasticsearch`表示使用Elasticsearch输出插件，`hosts`表示Elasticsearch的地址和端口，`index`则表示输出的索引名称，`document_type`表示插件将匹配的events映射到指定的type。

五、常用插件

Logstash提供了丰富的插件来满足不同数据源和处理场景的需求，如：

• Grok插件：用于从非结构化日志中提取结构化数据。
• CSV插件：用于从CSV文件中解析数据。
• Aggregate插件：用于按照指定条件对事件进行聚合。
• Throttle插件：用于减速处理速率。
• Metrics插件：用于收集、计算并报告各种指标。
• 等

在实际应用中，根据需求选择合适的插件可以有效地提升数据处理效率和效果。