目录
[隐藏]
1|1logstash的概念及特点。
概念:logstash是一个数据采集、加工处理以及传输(输出)的工具。
特点:
– 所有类型的数据集中处理
– 不同模式和格式数据的正常化
– 自定义日志格式的迅速扩展
– 为自定义数据源轻松添加插件
1|2logstash安装配置。
1|3logstash配置语句详解。
logstash配置文件包含三个配置部分,分别为:input{}、filter{}、output{}。
{} 定义区域,区域内可以定义一个或多个插件,通过插件对数据进行收集,加工处理,输出。
数据类型:
- 布尔值类型: ssl_enable => true
- 字节类型: bytes => “1MiB”
- 字符串类型: name => “xkops”
- 数值类型: port => 22
- 数组: match => [“datetime”,”UNIX”]
- 哈希: options => {key1 => “value1”,key2 => “value2”}
- 编码解码: codec => “json”
- 路径: file_path => “/tmp/filename”
条件判断:
1|4logstash常用插件
类型:
- input类:也就是在input区域内定义使用的插件。
- codec类:定于处理数据格式,如plain,json,json_lines等格式。这个可以定义在input、output区域中。
- filter类:也就是在filter区域内定义使用的插件。
- output类:也就是在output区域内定义使用的插件。
- 各类插件地址:https://github.com/logstash-plugins
input类插件
input类插件,常用的插件:file、tcp、udp、syslog,beats等。
①.file插件:
实例:
②.tcp插件:
实例:
③udp插件:
实例:
*提示:如果前一个终端收到日志,则证明udp插件工作正常。
④.syslog插件:
实例:
codec类插件
codec类插件,常用的插件:plain、json、json_lines、rubydebug、multiline等。
①.plain插件:
②.json插件:
③.json_lines插件:(json文本过长时使用)
④.rubedebug插件:
实例:
⑤.multiline插件:(处理错误日志)
filter类插件
filter插件,常用的filter插件:json、grok等。
①.json插件:
实例:
②.grok插件
grok插件解析各种非结构化的日志数据插件。
grok有丰富的patterns,查看方式:
实例:
提示:grok在线工具使用:https://grokdebug.herokuapp.com/
③.kv插件
kv插件解析处理key-value键值对数据
output类插件
output插件:
- ①.file插件
- ②.tcp/udp插件
- ③.redis/kfaka
- ④.elasticsearch
附录:
redis配置: