Logstash安装及配置详解

一、Logstash安装教程

Logstash是一个基于JVM平台的开源数据收集引擎。具有解析、转换、过滤、存储、分析日志等功能，广泛应用于日志收集和分析。下面是Logstash的安装教程：

1. 下载Logstash安装包：访问官方网站https://www.elastic.co/downloads/logstash ，下载相应版本的zip文件。

2. 解压安装包文件：将zip文件解压到任意目录下，注意不要包含中文。

3. 运行Logstash：进入Logstash安装目录后，运行bin/logstash -e 'input { stdin { } } output { stdout {} }'，即可运行Logstash。

二、Logstash中文文档

在Logstash官网上提供了详细的中文文档，包括Logstash的介绍、安装与配置、插件开发等。这对于初学者来说十分友好，可以快速上手Logstash的基本操作。

三、Logstash安装配置

Logstash安装后需要进行配置才能使用。配置文件位于安装目录下的config目录中，包括input、filter、output等部分。以下是一个简单的配置文件示例：

input {
  stdin {}
}

output {
  stdout {}
}

以上示例中，input部分直接从终端读取数据，filter部分没有定义任何规则，output部分将数据输出到终端。

四、Logstash安装阿里云SLS input

阿里云SLS input可以在Logstash中直接读取阿里云SLS的数据。安装步骤如下：

1. 在Logstash的安装根目录下创建一个目录sls，并下载阿里云SLS input插件的jar文件：mkdir sls，进入目录后，下载插件：curl -O https://github.com/aliyun/aliyun-log-logstash-input/releases/download/3.0.0/aliyun-log-logstash-input.jar

2. 修改配置文件：在配置文件的input部分添加如下内容：

input {
  aliyunsls {
    endpoint => "http://cn-hangzhou.log.aliyun.com"
    access_key_id => "" # 阿里云SLS访问密钥
    access_key_secret => "
   " # 阿里云SLS访问密钥的密钥
    project => "
    " # 阿里云SLS项目名称
    logstore => "
     " # 阿里云SLS日志库名称
    codec => plain {
      charset => "UTF-8"
    }
  }
}

     
    
   
  

五、Logstash安装目录

Logstash安装目录包含多个子目录，其中比较重要的是config和bin目录。config目录中包含Logstash的配置文件，bin目录中包含Logstash的执行脚本。其他目录包括data、logs、plugins等。

六、Logstash安装与使用

Logstash安装后，可以通过命令行使用。以下是一些常用的命令：

1. 启动Logstash，使用配置文件：bin/logstash -f config/file.conf

2. 启动Logstash，运行测试配置：bin/logstash -e 'input { stdin { } } output { stdout {} }'

3. 插件安装：bin/logstash-plugin install logstash-filter-json

七、Logstash安装插件

Logstash有多种插件可供安装，可以扩展Logstash的功能。以下示例安装了一个名为logstash-filter-flowcounter的插件：

1. 在Logstash的安装目录中，运行bin/logstash-plugin install logstash-filter-flowcounter命令，安装插件。

2. 修改配置文件：在配置文件中添加如下内容：

filter {
  flowcounter {
    by_field => "src_ip"
    count_field => "packets"
  }
}

以上示例中，使用flowcounter插件统计数据包数。

八、Logstash配置详解

Logstash配置文件由三个部分组成：input、filter、output。input部分是从哪里获取数据，filter部分对数据进行解析和处理，output部分将处理后的数据输出。

以下是一个比较完整的Logstash配置文件示例：

input {
  file {
    path => "/var/log/nginx/access.log"
    start_position => "beginning"
  }
}
filter {
  grok {
    match => { "message" => "%{COMBINEDAPACHELOG}" }
  }
  date {
    match => [ "timestamp" , "dd/MMM/yyyy:HH:mm:ss Z" ]
  }
}
output {
  elasticsearch {
    hosts => ["localhost:9200"]
    index => "access_log"
  }
  stdout { codec => rubydebug }
}

九、Logstash配置文件

Logstash配置文件是使用YAML格式编写的。以下是一个简单的配置文件示例：

input {
  stdin {}
}

filter {
  grok {
    match => { "message" => "%{COMBINEDAPACHELOG}" }
  }
}

output {
  stdout {
    codec => rubydebug
  }
}

十、Logstash filter

Logstash的filter部分用于对数据进行处理和过滤，可以使用多种插件实现。以下是一个filter部分的示例：

filter {
  grok {
    match => { "message" => "%{COMBINEDAPACHELOG}" }
  }
  date {
    match => [ "timestamp" , "dd/MMM/yyyy:HH:mm:ss Z" ]
  }
}

以上示例中，使用grok插件和date插件对数据进行解析和处理。