大数据安全分析之大数据分析的技术架构及关键技术
大数据分析利用大数据技术对海量数据的高效计算能力，结合关联分析、深度学习、机器学习算法等手段，对各种已知与未知威胁进行快速发现与预警，实现网络防御从被动到主动的转变。下面我们就来看看大数据分析的技术架构及关键技术吧。
一、大数据分析的技术架构
大数据安全分析总体架构由数据采集、预处理、存储、处理、分析计算、数据应用展示几部分组成：
▼▼数据源
数据源是大数据分析的基础与前提，准确高质量的多源异构数据是安全分析效果的保证，进行安全分析需要收集的数据源包括：
日志数据：包括设备与系统的日志和安全告警信息。
流量数据：网络流量数据，包括Netflow数据和全流量镜像数据。
支持数据：包括资产信息、账号信息、漏洞信息和威胁情报信息等。
……
以上仅为摘抄，完整内容请点击：“ 大数据安全分析之大数据分析的技术架构及关键技术 ”
大数据安全分析之数据采集技术
大数据安全分析中的数据采集技术有哪些呢？下面将对数据采集技术进行一一简要介绍。
大数据分析中的数据采集方式有：Logstash、Flume、Fluentd、Logtail等。
一、Logstash
Logstash是一个具备实时处理能力的开源的数据收集引擎。可以动态地从不同的来源收集数据，将数据处理（过滤、变形）过之后统一输出到某个特定地址，为将来更多样化的数据分析做准备。Logstash的作用包括：
收集各类系统日志：如Apache日志、log4j（Java程序日志）、Windows系统事件日志。通过Filebeat能够实现安全、快速的的日志传输。能够与很多采用UDP及TCP协议的工具对接，如JMX、NetFlow等等。
Elasticsearch的数据采集的利器，可以配合Elasticsearch和Kibana使用；对input、filter及output部分可以使用多种插件灵活配合部署用以实现不同功能。
在Web接口服务中，可以收集HTTP请求。能够与各类SQL或非SQL数据库对接，只要这个数据库支持JDBC接口。
……
以上仅为摘抄，完整内容请点击：“ 大数据安全分析之数据采集技术 ”
大数据安全分析之数据传输方式
大数据安全分析中的数据传输方式有哪些呢？下面将对数据传输方式进行一一简要介绍。
大数据分析中数据传输方式有SYSLOG、kafka、JDBC/ODBC、文件或FTP、Agent等方式。
一、SYSLOG
syslog日志消息既可以记录在本地文件中，也可以通过网络发送到接收syslog的服务器。
接收syslog的服务器可以对多个设备的syslog消息进行统一的存储，或者解析其中的内容做相应的处理。常见的应用场景是网络管理工具、安全管理系统、日志审计系统。
由于syslog简单而灵活的特性，syslog不再仅限于Unix类主机的日志记录，任何需要记录和发送日志的场景，都可能会使用syslog。
作为一种被动采集网络数据的协议，syslog提供了一种传递方式，即允许一个设备通过网络把事件传递给时间信息接收者。
