日志分析管理系统

  雄智科技集多年在软件、网络、安全行业的产品研发经验,结合现代企业网络管理的特点和目标,自主研发了一套可视化网络日志分析与审计系统――Quark DLM。该系统为用户提供了一套基于网络设备、安全设备以及其他设备的智能化日志集中分析与审计平台,简化了管理工作量,提高了管理工作效率。

  Quark DLM系统是定位于为用户提供一个统一的日志汇总平台,实现对多种网络系统、安全系统以及其他系统的日志集中搜集、展现与分析,实现对整个网络系统的基于物理拓扑的日志监控、分析与审计,以便管理员实现基于网络平台和面向应用的事前管理、事中监控和事后分析。 本系统实现了跨厂商、跨平台、跨地区的统一日志分析与审计,为用户提供面向对象的综合网络资源统一管理,对网络系统中的网络设备和安全设备进行全面监控和实时告警,确保网络系统、网络设备、安全设备的正常运行。

  本系统主要由日志接收代理、过滤分析中心、日志数据库、审计系统管理器四个部分组成,可以根据网络规模、网络流量、组网设备、拓扑结构采用不同的组网设计和安装配置策略,以适应不同的性能和审计目标的要求。

  1) 日志接收代理 收集网络中各种运行设备的日志信息,过滤后发送给过滤分析中心处理。日志接收代理是日志审计系统的触角。日志审计系统主要通过日志接收代理收集各类网络设备发送来的系统日志信息。

  2) 过滤分析中心 接收日志代理转发的日志信息,经过统计分析引擎处理后,集中保存在日志数据库,通过审计系统管理台将分析前、后的结果呈现给用户。

  4) 系统管理平台 提供给用户一个方便、直观的管理接口。通过管理器用户可以查看日志、报表等各种信息结果。 本系统部署方式如下图所示,网络中的各种运行设备只需简单配置,将日志发送到日志分析系统所在主机上即可。

  Quark DLM系统通过提供一个统一的日志集中管理平台,系统通过提供一个统一的集中管理平台,实现对日志采集、分析过滤中心、日志数据库的集中管理。具体功能如下:日志功能

  日志采集:通过设置日志收集源和日志代理来定义收集哪些设备的哪些日志;并根据设置的内容接收设备发送来的日志信息;

  过滤分析:根据过滤条件,丢弃不需要的日志类型;实时监控需要监控的各类日志;对审计日志能够提供完整性保护,防止非授权用户对日志信息进行修改;

  审计日志数据自动归档:提供对日志数据归档功能;将接收到的指定类型的日志,按照规定格式进行分析,保存,供统计分析使用;

  日志查询:支持按照日志类型查询日志;支持按照日志格式查询日志;支持按照审计设备查询日志;可以生成日志生成分析报表和趋势图,帮助管理员发现系统漏洞和安全事件以及其发生的规律;能够保存较长时间范围内的系统日志信息;

  报表统计任务:支持以多种方式查询网络中的日志记录信息,以报表的形式显示;统计报表的生成是基于日志源的,管理员通过输入相应的参数来有计划地订制一批报表任务,报表任务可根据用户预先设定的条件立即执行或按一定周期执行;

  报表模版:日志审计系统内置了丰富的报表模板供用户使用, 报表模板定义了报表中显示的日志内容;

  能够管理需要采集日志的设备IP地址以及设备类型,提供添加/修改/删除管理设备IP地址及设备类型的功能;

  在该拓扑图上,能够动态实时反映的网络布线信息,设备运行状态及链路的流量变化情况等,帮助用户一目了然的掌控整个网络的实时运行状态;

  通过网络监控系统,可以显示网络拓扑、关联和管理事件、监视网络的健康状况、采集网络性能数据以及报表管理。

  当网络中的设备出现故障,机器死机或网络联路断掉,系统能在短时间内生成报警信号,并在拓扑图中将该设备标记出来,便于网络管理人员发现诊断;

  日志采集接收所有发送到本系统的日志信息,根据需要管理的设备列表,过滤不在列表内的设备日志,将可管理的设备日志传递给日志过滤系统;日志过滤系统根据可管理得日志类型,过滤不符合规则的日志,然后将正确日志类型的日志传递给日志分析系统;日志分析系统根据指定的日志格式,分析收到的日志,将日志按照指定格式,分类保存在数据库中。

  1) 日志的收集 通过本地代理的接收方式收集来自网络中不同设备日志及实时监视信息,同时将收集到的信息根据统一的信息格式进行标准化处理。

  2) 事件的处理 对接收到的已格式化的事件信息进行处理,首先按审计策略进行事件的过滤,然后对大量的同类事件进行归并处理,避免产生事件风暴。事件的归并能简化后续的分析及方便用户的查看。处理后的事件分别发送至实时检测引擎及数据库系统。

  3) 实时检测 对处理后的事件进行实时的审计,根据事件的不同,系统设有多个不同的审计引擎。基于审计分析引擎的应用,可以根据制定的响应策略对不同事件进行不同方式的响应。

  4) 事件的可视化分析 通过对系统数据库中历史数据的分析,从不同角度(按网络设备、时间、事件类型等),按系统预设的不同模板生成分析结果,并根据用户的要求通过丰富的图表来显示分析的结果。分析涵盖了对事件的归类统计及事件的变化发展趋势。

  本系统的存在对终端用户透明,而不影响终端用户的正常工作。只需对需要采集日志的网络设备作简单配置(配置系统将系统日志发送到指定服务器即可),易于管理和维护的。

  系统全面支持安全设备(如防火墙等)、网络设备(如交换机、路由器等)多种产品的系统日志数据的采集和分析。支持对不同日志格式的分类、筛选、最大效率保存;日志自动导出、导入、删除、备份、恢复等日志管理功能。提供了多样、灵活的日志信息查询,同时支持按用户设定的条件进行不同日志的相关查询,帮助管理员实现更加全面、深入的分析事件。

  微内核(Micro-Kernel)是经典的高可靠性OS设计模式,本系统为了实现系统可靠性与性能的平衡采用了一种类似微内核的系统模式。可以通过在系统内核上简单地添加或移去功能插件来满足不同用户的要求并实现对系统的扩展。建立在内核之上的分立功能插件实现了错误的隔离,从而提高了系统安全性。这一系统模式贯穿了系统的各个部分。

  本系统的数据文件及其部分系统的配置采用XML文件形式存储,XML不仅提供了清晰的结构化的信息表现能力,同时作为一种流行的标准的信息交换形式,使得系统的数据及信息可以在不同平台及系统间自由交换,为与系统、平台进行有效整合提供了保障。

  本系统具有强大的过滤、聚合、统计与分析能力,可以在全面采集设备日志信息的基础上,为管理员提供实用、精简、完备的网络状态使用信息。 本系统具有独特的数据清理技术,通过剪裁、过滤、聚合等技术手段,有效地剔除了重复的、冗余的和细枝末节的数据,可以在确保关键信息不丢失的前提下,将庞杂、无序的各种日志组合成完备、紧凑的网络行为数据,最大程度地减少数据存储的空间,提高分析效率。 基于XML模板的数据分析引擎是日志分析与审计系统的核心技术。数据分析引擎可以通过灵活定制的统计分析策略,从庞大的日志数据中挖掘出用户关心的统计信息,为网络管理员提供不同层面的决策支持。

  清晰、直观的网络状态审计和分析结果展示,为管理员提供决策支持的重要手段。 本系统提供了灵活扩展、按需定制的报表引擎。可以根据用户统计分析的需求和目标自定义统计规则,并自动生成柱状图、饼图、曲线图等直观的统计报表。比如,设备接口状态趋势图、地址冲突频度排名表、设备温度异常趋势图等。 本系统还可根据用户需要,通过各种组合条件对海量的日志进行快速分析。管理员可以从日志审计结果中准确了解网络设备的运行状态——设备每月端口DOWN/UP的次数、设备地址冲突的次数、设备异常流量、设备板卡异常状态等。

  本系统能准确记录整个系统使用情况,根据各种记录类型分类生成。通过灵活的时间检索方式,为系统管理提供实时、准确、直观的依据。 管理中心提供多种类型的报表内容。例如端口状态日志、设备流量异常日志、设备板卡异常日志、设备运行状态日志等。每一种报表类型包含了详细的报表功能。报表管理也为管理员提供用户自定义报表任务类型,可以在任意时刻检索日志。报表内容采用饼状图、线性图、柱状图与具体记录数据相结合的表示方式,达到很好的可供分析效果。

  平台的设计已考虑到网络系统及各种安全技术的发展状况和趋势,确保平台在设计、实施、运行、管理、维护等各个阶段既能够满足现在已部署的安全产品的集中管理,也能够满足未来将要部署的各类安全产品的集中管理并进行扩展。此外,系统平台设计采取成熟的技术和模块化设计,可根据实际需要对应用模块进行裁减。

  6、 任何提供标准Syslog日志的防火墙、路由器、交换机、主机设备、应用系统或其他设备,客户只需提供该设备的日志样本,即可加入本系统; 同时雄智科技提供定制开发,以满足对其他各种操作系统日志、应用系统日志以及其他系统日志的集中管理与分析。

标签: 日志管理系统

相关文章