网络威胁检测技术NTA

前言
NTA是什么？
个人分析
参考资料

前言

大家好，这篇文章主要为大家科普及介绍网络安全领域里，最新一代网络攻击检测技术NTA的相关信息，作为新一代网络安全检测手段，NTA技术使用了全新的检测维度，因此在检测高级威胁攻击入侵上是非常值得我们深入探究的。本文章主要参考资料为：《Market Guide for Network Traffic Analysis》by Gartner；《Network Traffic Analysis》 by awake；《NTA以及空间与时间的防御——山石网科的安全理解》by 山石网科；2020年1月，本人与Gartner分析师的现场讨论。最后，欢迎大家积极讨论。

本系列会有三个维度进行讨论，维度分别是基本概念，能力场景，技术分析。本文章属于系列的第一篇。

NTA是什么？

在网络中，发现网络安全威胁的方式有很多种，比如大家最为熟知的入侵检测系统（Intrusion-detection system，缩写为 IDS），这个概念最早出现在1980年，由James P. Anderson为美国空军做了一份题为《Computer Security Threat Monitoring and Surveillance》的技术报告而提出。伴随着近30年的发展，入侵检测系统逐渐成为了发现网络安全威胁的重要手段。然而随着黑客攻击入侵技术的不断发展，在一些网络场景下入侵检测系统IDS并不能对网络威胁进行有效的发现，因此基于这种情况，NTA (Network Traffic Analysis) 网络流量分析这个概念在2013年被提出，NTA是一种网络威胁检测的新兴技术，并且在2016年逐渐在市场上兴起。

Gartner对NTA的定义

NTA使用机器学习、高级分析和特征分析来检测企业网络上的可疑行为。NTA不断地分析原始流量，以构建反映正常网络行为的模型。当NTA工具检测到异常的流量模式时，它们会发出警报。除了监视跨越企业边界的北/南通信量之外，NTA解决方案还接入东西流量。

Gartner提出NTA的两个结论

在技术上，NTA使用行为分析技术，帮助企业检测可疑流量，用以发现更多其他设备不能发现的安全问题。在市场上，NTA市场门槛低，且市场很拥挤（原来传统安全厂商很容易就进入）

山石关于NTA定义的解读

NTA是一种功能和能力，而非纯粹的一个产品。NTA融合了传统的基于规则的检测技术，以及机器学习和其他高级分析技术，用以检测企业网络中的可疑行为，尤其是失陷后的痕迹。NTA通过DFI和DPI技术来分析网络流量，通常部署在关键的网络区域对东西向和南北向的流量进行分析，而不会试图对全网进行监测。

个人分析

在第二段落中，我们看到了Gartner对NTA的定义以及国内厂商的声音，基于以上的内容，我会在下面的内容里从我个人的视角对NTA的定义进行重申，还会进行一些不同视角的解读。

个人对NTA的定义的重申

首先，我以自身的理解，先给出我对NTA的定义，大家可以由此有一些基本概念。

NTA是一种功能和能力。
NTA功能利用行为基线，进行安全问题分析。
NTA功能某些方面与网络性能管理类似，具有对当前网络的可视性。
NTA功能主流的分析方法是对比。
NTA功能与入侵检测功能逻辑等价，都会在边界类盒子产品中出现。
NTA功能要做的是定义网络行为，收集网络行为。
NTA功能要在核心节点进行收集行为，有南北向流量、也有东西向流量。
NTA功能要能有发现可疑流量的能力。
NTA功能要能有展示入侵证据的能力。
NTA功能要能有定义入侵事件的能力。
产品还要围绕NTA功能提示客户一些修复建议。

NTA定义解读的角度一

NTA与IDS的输入是一致的（网络镜像流量），输出也是一致的（安全威胁事件），二者的区别在于发现威胁的方法不同。因此，我们可以理解为，NTA是补充边界安全产品的一项技术能力，与入侵检测能力在逻辑上是等价，两者都是帮助企业发现威胁的技术能力。此外个人还认为，只要是在接入镜像流量后，使用正常数据构建数据基线，然后以对比的方式进行安全分析，就可以算NTA能力。

入侵检测发现威胁的方式是利用特征检测判断异常或者入侵行为。 NTA发现威胁的方式是利用多种技术构建正常行为模型，以数据基线的角度判断异常或者入侵行为。在安全场景上看，即使是APT攻击，攻击者依然会遵循一定的方式进行：前期对IT环境的侦查、对边界的尝试绕过、社会工程学与钓鱼的针对人攻击、内网的扩散、后门的植入等。而NTA的的价值就在于通过对实际流量进行分析、对比，发现威胁。

在分析能力上看，基于行为模型分析的分析技术，行为模型的质量主要依赖于模型训练的能力，模型训练的质量主要依赖于安全大数据的量级与质量，这点也是小安全厂商无法建立技术壁垒的因素，也就是说由于这种依赖关系，小厂商的NTA能力大概率是不如大厂商。

当然，随着传统边界安全产品在处理性能上的提升，部署也可以覆盖南北，东西向流量。这点不是NTA独有。

NTA定义解读的角度二

在密码学中，侧信道攻击（Side-channel attack）是一种攻击方式，它基于从密码系统的物理实现中获取的信息，而非暴力破解法或是算法中的理论性弱点（密码理论分析）。侧信道攻击分析的点可能有：时间信息、功率消耗、电磁泄露或甚是声音可以提供额外的信息来源，这可被利用于对系统的进一步破解。某些侧信道攻击还要求攻击者有关于密码系统内部操作的技术性信息，不过，其他诸如差分电力分析的方法在黑盒攻击中效果明显。许多卓有成效的侧信道攻击基于由保罗·科切开拓的统计学方法。
侧信道攻击带给我们的知识，是让我们懂得分析问题维度是多种多样的。随着我们对知识点了解的更深，寻找信息的视野与宽度则会变得更独特。我们进行一下思维发散，以判断一个人是否在跑步为场景，我们可以有什么方式呢？首先我们可以从画面的角度判断，其次还可以从地面的震动，空气的流动，这个人的心率等其他维度进行综合判断，此外，如果还有时间轴的信息，那么有时间标注的图片，外加上位置信息，也可以判断。再比如生活中的一些可穿戴设备，运动手环可以对深睡眠进行测量，苹果手表可以进行身体摔倒状态的判断，这些可穿戴设备都是基于传感器的数据进行人体的行为分析，帮助我们提供一些非常有用的信息。
做网络威胁入侵检测亦是如此，分析信息的维度不光有当前数据包的内容，可以有承载信息的信道信息，还可以有多个数据提供的统计信息等。不过我们还是要遵从简单的原则，能直接进行信息判断就可以获得的检测能力，那么还是直接判断为好；当不能进行直接分析获得结果时，我们才会利用其他手段进行威胁发现。因此NTA技术是对入侵检测能力的补充，而不是替代。

NTA安全场景分析

NTA在流量侧解决的问题，大部分是传统设备不能解决的，或者说是传统手段解决不好的问题。NTA解决的是异常流量行为问题，我总结了一些安全场景，如下所示。

高频攻击产生的异常流量
黑客入侵产生的异常流量
终端病毒产生的异常流量
高级威胁产生的异常流量
数据外泄产生的异常流量
僵尸网络产生的异常流量
恶意挖矿产生的异常流量
网络蠕虫产生的异常流量

NTA关键点分析

个人认为，要想获得强大的NTA能力，需要在三个方面下功夫。

第一，明确安全场景，对安全场景理解的越深入，就越能够了解到解决这类问题的基本需求，还能够帮助我们在研发上获得更好的结构性。从另一个方面讲，明确安全场景也是对“未知攻，焉知防”的最佳实践。
第二，明确基础数据。这里的基础数据可以是输入到人工智能模型里的结构化数据，也可以是安全算法需要的数据，我们要了解基础数据能提供的信息以及这些信息背后的含义。其实这点也是对安全场景理解的基础上，再进行深入理解。
第三，分析算法选择。这里我不建议非要用机器学习算法，我们知道机器学习算法目前在对结构化数据理想的情况下，会表现出不错的能力。但是对于安全数据，结构化的程度，信息量的提供，这些都会打一个问号。当然，如果有很好的安全能力和算法能力，那这还是可以去尝试的。个人认为使用正常数据模板和安全场景模板这两种方式，会比较立竿见影。从攻击者视角思考，利用工具进行高效的攻击是一个好的选择。而且绝大数的攻击者并没有具备改变安全工具行为模式的能力，因此我们构建安全工具行为模板可以有效的进行对抗。

软件架构基本分析

对于在企业级市场中，中大型企业一般都会对多个关键点的镜像流量数据进行安全检测，因此在这种情况下，使用探针和平台的架构是非常合理的。在探针侧进行独立的数据采集、在平台侧进行数据汇总及管理，后期也能比较方便的和其他产品联动。

由于NTA功能的融入，平台侧需要很大的计算能力，因此平台侧选择大数据架构是比较合适的，大数据架构提供的信息存储能力、信息检索能力、信息计算能力，可以有效的提升我们的异常分析能力。

关于数据基线的引申

对于NSFOCUS使用NetFlow构建数据基线是没问题的，但其实也可以扩大一些概念。我们不妨把NSFOCUS使用的叫NetFlow数据基线，于此同时，不难可以联想到其他数据基线，比如http访问数据基线、dns访问数据基线，数据库行为数据基线，邮件行为数据基线，以此类推，我们可以构建更多维度的数据基线，当然怎么进行数据基线的分析处理则是另一回事。

市场上有NTA技术的产品

厂商列表，源自Gartner

io-3

山石网科产品分析

产品名称：山石智·感
核心技术流量分析、威胁追踪、蜜罐诱捕、机器学习、数学建模、关联分析
核心技术架构

io-1

简要分析

山石智·感，技术核心点在于使用了对比的方式进行入侵威胁发现，这点区别于传统边界安全设备。符合nta技术的思路。理论上可以发现未知威胁，但是真实使用的效果是未知的，尤其在这几年火热的攻防演习游戏上。

绿盟科技产品分析

产品名称：NSFOCUS NTA
核心技术
流量管理、流量学习、DDOS流量检测
核心技术架构
简要分析 NSFOCUS的NTA是基于NetFlow的角度进行建设的，与NTA的核心思路不变，构建基线、对比检测。比较遗憾的是，该产品关注的点在DDOS类安全问题上，在其他安全场景（高级威胁、内网渗透）上没有使用NTA的思路。

Gartner介绍（Wikipedia）

Gartner是全球最具权威的IT研究与顾问咨询公司，成立于1979年，总部设在美国康涅狄克州斯坦福。其研究范围覆盖全部IT产业，就IT的研究、发展、评估、应用、市场等领域，为客户提供客观、公正的论证报告及市场调研报告，协助客户进行市场分析、技术选择、项目论证、投资决策。为决策者在投资风险和管理、营销策略、发展方向等重大问题上提供重要咨询建议，帮助决策者作出正确抉择。

Gartner，Market Definition

Network traffic analysis (NTA) uses a combination of machine learning, advanced analytics and rule-based detection to detect suspicious activities on enterprise networks. NTA tools continuously analyze raw traffic and/or flow records (for example, NetFlow) to build models that reflect normal network behavior. When the NTA tools detect abnormal traffic patterns, they raise alerts. In addition to monitoring north/south traffic that crosses the enterprise perimeter, NTA solutions can also monitor east/west communications by analyzing network traffic or flow records that it receives from strategically placed network sensors.

Gartner，Key Findings

Applying behavioral analysis to network traffic is helping enterprises detect suspicious traffic that other security tools are missing. The barrier to entry in this market is low, and the market is crowded; many vendors can monitor traffic from a SPAN port and apply well-known behavioral techniques to detect suspicious traffic.

参考资料

《DPI与DFI技术分析》
https://www.cnblogs.com/staffyoung/p/8529863.html
《Market Guide for Network Traffic Analysis》by Gartner
《Network Traffic Analysis》 by Awake
《NTA以及空间与时间的防御——山石网科的安全理解》by 山石网科
2020年1月，与Gartner分析师的现场讨论
《WHAT IS NETWORK TRAFFIC ANALYSIS (NTA)》
https://www.extrahop.com/company/blog/2018/what-is-network-traffic-analysis-nta

本文来自： https://mp.weixin.qq.com/s/DYqFKBIj1BKwDzTpnO_tHg