红联Linux门户
Linux协助

5 个有用的开源日志剖析东西

发布时刻:2019-05-23 00:00:00来历:不知道作者:admin

监控网络活动既重要又繁琐,以下这些东西可以使它更简略。

监控网络活动是一项繁琐的作业,但有充沛的理由这样做。例如,它答应你查找和查询作业站和连接到网络的设备及服务器上的可疑登录,一同确认办理员滥用了什么。你还可以盯梢软件装置和数据传输,以实时辨认潜在问题,而不是在损坏发作后才进行盯梢。

这些日志还有助于使你的公司恪守适用于在欧盟范围内运营的任何实体的通用数据保护法令(GDPR)。假如你的网站在欧盟可以阅读,那么你就有恪守的该法令的资历。

日志记载,包含盯梢和剖析,应该是任何监控根底设置中的一个根本进程。要从灾祸中康复 SQL Server 数据库,需求业务日志文件。此外,经过盯梢日志文件,DevOps 团队和数据库办理员(DBA)可以坚持最佳的数据库功用,又或许,在网络进犯的情况下找到未经授权活动的依据。因而,定时监督和剖析体系日志非常重要。这是一种从头创立导致呈现任何问题的事情链的牢靠办法。

现在有许多开源日志盯梢器和剖析东西可供运用,这使得为活动日志挑选适宜的资源比你幻想的更简略。自在和开源软件社区供给的日志规划适用于各种站点和操作体系。以下是五个我用过的最好的东西,它们并没有特别的次序。

Graylog

Graylog 于 2011 年在德国创立,现在作为开源东西或商业解决方案供给。它被规划成一个会集式日志办理体系,承受来自不同服务器或端点的数据流,并答应你快速阅读或剖析该信息。

Graylog 在体系办理员中有着杰出的名誉,由于它易于扩展。大多数 Web 项目都是从小规划开端的,但它们或许指数级增加。Graylog 可以均衡后端服务网络中的负载,每天可以处理几 TB 的日志数据。

IT 办理员会发现 Graylog 的前端界面易于运用,并且功用强壮。Graylog 是环绕仪表板的概念构建的,它答应你挑选你以为最有价值的方针或数据源,并快速查看一段时刻内的趋势。

当发作安全或功用事情时,IT 办理员期望可以尽或许地依据症状追根溯源。Graylog 的查找功用使这变得简略。它有内置的容错功用,可运转多线程查找,因而你可以一同剖析多个潜在的要挟。

Nagios

Nagios 始于 1999 年,开端是由一个开发人员开发的,现在现已开展成为办理日志数据最牢靠的开源东西之一。当时版别的 Nagios 可以与运转 Microsoft Windows、Linux 或 Unix 的服务器集成。

它的主要产品是日志服务器,旨在简化数据搜集并使体系办理员更简略拜访信息。Nagios 日志服务器引擎将实时捕获数据,并将其供给给一个强壮的查找东西。经过内置的设置导游,可以轻松地与新端点或运用程序集成。

Nagios 最常用于需求监控其本地网络安全性的安排。它可以审阅一系列与网络相关的事情,并协助主动分发警报。假如满意特定条件,乃至可以将 Nagios 装备为运转预界说的脚本,然后答应你在人员介入之前解决问题。

作为网络审计的一部分,Nagios 将依据日志数据来历的地理方位过滤日志数据。这意味着你可以运用地图技能构建全面的仪表板,以了解 Web 流量是怎么活动的。

Elastic Stack (ELK Stack)

Elastic Stack,一般称为 ELK Stack,是需求挑选许多数据并了解其日志体系的安排中最受欢迎的开源东西之一(这也是我个人的独爱)。

它的主要产品由三个独立的产品组成:Elasticsearch、Kibana 和 Logstash:

  • 望文生义, Elasticsearch 旨在协助用户运用多种查询语言和类型在数据集之中找到匹配项。速度是它最大的优势。它可以扩展成由数百个服务器节点组成的集群,轻松处理 PB 级的数据。
  • Kibana 是一个可视化东西,与 Elasticsearch 一同作业,答运用户剖析他们的数据并构建强壮的陈述。当你第一次在服务器集群上装置 Kibana 引擎时,你会看到一个显现着计算数据、图表乃至是动画的界面。
  • ELK Stack 的最终一部分是 Logstash,它作为一个朴实的服务端管道进入 Elasticsearch 数据库。你可以将 Logstash 与各种编程语言和 API 集成,这样你的网站和移动运用程序中的信息就可以直接供给给强壮的 Elastic Stalk 查找引擎中。

ELK Stack 的一个共同功用是,它答应你监督构建在 WordPress 开源网站上的运用程序。与盯梢办理日志和 PHP 日志的大多数开箱即用的安全审计日志东西比较,ELK Stack 可以挑选 Web 服务器和数据库日志。

糟糕的日志盯梢和数据库办理是导致网站功用欠安的最常见原因之一。没有定时查看、优化和清空数据库日志,不只会下降站点的运转速度,还或许导致其彻底溃散。因而,ELK Stack 关于每个 WordPress 开发人员的东西包来说都是一个优异的东西。

LOGalyze

LOGalyze 是一个坐落匈牙利的安排,它为体系办理员和安全专家构建开源东西,以协助他们办理服务器日志,并将其转换为有用的数据点。其主要产品可供个人或商业用户免费下载。

LOGalyze 被规划成一个巨大的管道,其间多个服务器、运用程序和网络设备可以运用简略方针拜访协议(SOAP)办法供给信息。它供给了一个前端界面,办理员可以登录界面来监控数据集并开端剖析数据。

在 LOGalyze 的 Web 界面中,你可以运转动态陈述,并将其导出到 Excel 文件、PDF 文件或其他格局。这些陈述可以根据 LOGalyze 后端办理的多维计算信息。它乃至可以跨服务器或运用程序组合数据字段,借此来协助你发现功用趋势。

LOGalyze 旨在不到一个小时内完结装置和装备。它具有预先构建的功用,答应它以法令所要求的格局搜集审计数据。例如,LOGalyze 可以很简略地运转不同的 HIPAA 陈述,以保证你的安排恪守健康法令并坚持合规性。

Fluentd

假如你地点安排的数据源坐落许多不同的方位和环境中,那么你的方针应该是尽或许地将它们会集在一同。不然,你将难以监控功用并防备安全要挟。

Fluentd 是一个强壮的数据搜集解决方案,它是彻底开源的。它没有供给完好的前端界面,而是作为一个搜集层来协助安排不同的管道。Fluentd 在被世界上一些最大的公司运用,可是也可以在较小的安排中施行。

Fluentd 最大的优点是它与当今最常用的技能东西兼容。例如,你可以运用 Fluentd 从 Web 服务器(如 Apache)、智能设备传感器和 MongoDB 的动态记载中搜集数据。怎么处理这些数据彻底取决于你。

Fluentd 根据 JSON 数据格局,它可以与由杰出的开发人员创立的 500 多个插件一同运用。这使你可以将日志数据扩展到其他运用程序中,并经过最少的手工操作从中取得更好的剖析。

写在最终

假如出于安全原因、政府合规性和衡量生产力的原因,你还没有运用活动日志,那么现在开端改动吧。商场上有许多插件,它们可以与多种环境或渠道一同作业,乃至可以在内部网络上运用。不要等发作了严峻的事情,才采纳一个积极主动的办法去保护和监督日志。


via: https://opensource.com/article/19/4/log-analysis-tools

作者:Sam Bocetta 选题:lujun9972 译者:MjSeven 校正:wxy

引荐教程