目录
[隐藏]
1|1logstash的概念及特点。
概念：logstash是一个数据采集、加工处理以及传输(输出)的工具。
特点：
– 所有类型的数据集中处理
– 不同模式和格式数据的正常化
– 自定义日志格式的迅速扩展
– 为自定义数据源轻松添加插件
1|2logstash安装配置。
1|3logstash配置语句详解。
logstash配置文件包含三个配置部分，分别为：input{}、filter{}、output{}。
{} 定义区域，区域内可以定义一个或多个插件，通过插件对数据进行收集，加工处理，输出。
数据类型：
- 布尔值类型: ssl_enable => true
- 字节类型: bytes => “1MiB”
- 字符串类型: name => “xkops”
- 数值类型: port => 22
- 数组: match => [“datetime”,”UNIX”]
- 哈希: options => {key1 => “value1”,key2 => “value2”}
- 编码解码: codec => “json”
- 路径: file_path => “/tmp/filename”
条件判断：
1|4logstash常用插件
类型：
- input类：也就是在input区域内定义使用的插件。
- codec类：定于处理数据格式，如plain,json，json_lines等格式。这个可以定义在input、output区域中。
- filter类：也就是在filter区域内定义使用的插件。
- output类：也就是在output区域内定义使用的插件。
- 各类插件地址：https://github.com/logstash-plugins
input类插件
input类插件，常用的插件：file、tcp、udp、syslog，beats等。
①.file插件：
实例:
②.tcp插件:
实例：
③udp插件：
实例：
*提示：如果前一个终端收到日志，则证明udp插件工作正常。
④.syslog插件：
实例：
codec类插件
codec类插件，常用的插件：plain、json、json_lines、rubydebug、multiline等。
①.plain插件：
②.json插件：
③.json_lines插件：(json文本过长时使用)
④.rubedebug插件:
实例：
⑤.multiline插件：(处理错误日志)
filter类插件
filter插件，常用的filter插件：json、grok等。
①.json插件：
实例：
②.grok插件
grok插件解析各种非结构化的日志数据插件。
grok有丰富的patterns,查看方式：
实例：
提示：grok在线工具使用：https://grokdebug.herokuapp.com/
③.kv插件
kv插件解析处理key-value键值对数据
output类插件
output插件：
- ①.file插件
- ②.tcp/udp插件
- ③.redis/kfaka
- ④.elasticsearch
附录：
redis配置：