社工库搭建教程四

说明

本篇主要讲述使用Logstash(点击直达)将数据导入到Elasticsearch中。

安装

同样Logstash也是一个绿色的软件，但是如果导入数据的话，这里还需要一些配置文件才能正确的使用。

配置

导入说明

这里我将使用之前泄露的12306.txt为例进行txt导入操作，此txt实际是等同于一个csv文件。
其中一行的内容格式如下：
2***@qq.com----6**5----郑**----3325***0011----z6**05----1506**64----27466**6@qq.com
其中敏感数据已经打了码，但数据格式为：邮箱、密码、姓名、身份证、账号、手机

首先创建一个配置文件内容如下，配置比较简单就不单独介绍了。

input {
	file {
		path           => "E:/elastic/database/12306.txt"
		start_position => "beginning"
		type           => "12306"
		ignore_older   => 1
	}
}

filter {
	csv {
		columns   => ["email", "password", "real_name", "identity_card", "account", "phone"]
		separator => "----"
	}
}

output {
	stdout {
		codec => rubydebug
	}
	elasticsearch {
		hosts => ["127.0.0.1:9200"]
		index => "12306"
	}
}

导入

使用cmd进入到bin目录下，然后执行如下命令：

logstash.bat -f E:\elastic\database\12306.conf

其中12306.conf的内容就是上面的配置文件。请保持Elasticsearch为开启状态。配置完成之后，我们需要修改一下12306.txt，否则Logstash不会读取内容。Windows用户主要file.path中的反斜杠。

配置

如果以上都没有问题，那么登陆http://127.0.0.1:5601就可以查看具体的内容了。

首次使用Kibana大致的需要一下操作。

查询

此处搜索所有姓王的账号，搜索关键词：王*

结束

本篇到此结束