Splunk - 数据摄取


Splunk 中的数据摄取是通过“添加数据”功能进行的,该功能是搜索和报告应用程序的一部分。登录后,Splunk 界面主屏幕将显示“添加数据”图标,如下所示。

食入1

单击此按钮后,我们将看到一个屏幕,供我们选择计划推送到 Splunk 进行分析的数据的来源和格式。

收集数据

我们可以从Splunk的官方网站获取数据进行分析。保存此文件并将其解压缩到本地驱动器中。打开该文件夹后,您可以找到三个具有不同格式的文件。它们是一些网络应用程序生成的日志数据。我们还可以收集 Splunk 提供的另一组数据,可从 Splunk 官方网页获取。

我们将使用这两个集合中的数据来了解 Splunk 各种功能的工作原理。

上传数据

接下来,我们从上一段提到的保存在本地系统中的mailsv文件夹中选择文件secure.log 。选择文件后,我们使用右上角的绿色下一步按钮进入下一步。

摄入2

选择源类型

Splunk 具有内置功能来检测所摄取数据的类型。它还为用户提供了选择与 Splunk 选择的数据类型不同的数据类型的选项。单击源类型下拉列表后,我们可以看到 Splunk 可以摄取并启用搜索的各种数据类型。

在下面给出的当前示例中,我们选择默认源类型。

摄入3

输入设置

在数据摄取的这一步中,我们配置从中摄取数据的主机名。以下是可供选择的主机名选项 -

恒定值

它是源数据所在的完整主机名。

路径上的正则表达式

当你想用正则表达式提取主机名时。然后在正则表达式字段中输入要提取的主机的正则表达式。

路径中的段

当您想要从数据源路径中的段中提取主机名时,请在“段号”字段中输入段号。例如,如果源路径为 /var/log/ 并且您希望第三段(主机服务器名称)作为主机值,请输入“3”。

接下来,我们选择要在输入数据上创建的索引类型以进行搜索。我们选择默认的索引策略。摘要索引仅通过聚合创建数据的摘要并在其上创建索引,而历史索引用于存储搜索历史记录。下图清楚地描绘了这一点 -

摄入4

查看设置

单击下一步按钮后,我们会看到所选设置的摘要。我们检查它并选择“下一步”完成数据的上传。

摄入5

完成加载后,将出现以下屏幕,其中显示成功的数据摄取以及我们可以对数据采取的进一步可能的操作。

摄入6