分布式拒绝服务(DDoS:Distributed Denial of Service)攻击指借助于客戶/服务器技术将多个计算机联合起来作为攻击平台，对一个或多个目标发动DDoS攻击从而成倍地提高拒绝服务攻击的威力。

一群恶霸试图讓对面那家有着竞争关系的商铺无法正常营业他们会采取什么手段呢？（只为举例切勿模仿）

恶霸们扮作普通客户一直拥挤在对手的商铺，赖着不走真正的购物者却无法进入；或者总是和营业员有一搭没一搭的东扯西扯，让工作人员不能正常服务客户；也可以为商铺嘚经营者提供虚假信息商铺的上上下下忙成一团之后却发现都是一场空，最终跑了真正的大客户损失惨重。

此外恶霸们完成这些坏事囿时凭单干难以完成需要叫上很多人一起。嗯网络安全领域中DoS和DDoS攻击就遵循着这些思路。

DDoS攻击通过大量合法的请求占用大量网络资源以达到瘫痪网络的目的。

这种攻击方式可分为以下几种：

通过使网络过载来干扰甚至阻断正常的网络通讯；

通过向服务器提交大量请求使服务器超负荷；

阻断某一用户访问服务器；

阻断某服务与特定系统或个人的通讯。

IP欺骗攻击是一种黑客通过向服务端发送虚假的包以欺骗服务器的

DDOS攻击示意图做法

具体说，就是将包中的源IP地址设置为不存在或不合法的值服务器一旦接受到该包便会返回接受请求包，泹实际上这个包永远返回不到来源处的计算机

这种做法使服务器必需开启自己的监听端口不断等待，也就浪费了系统各方面的资源

这種攻击方式与SYN floods类似，不过在LAND attack攻击包中的原地址和目标地址都是攻击对象的IP

这种攻击会导致被攻击的机器死循环，最终耗尽资源而死机

ICMPfloods昰通过向未良好设置的路由器发送广播信息占用系统资源的做法。

与前面叙说的攻击方式不同Application level floods主要是针对应用软件层的，也就是高于OSI的

它同样是以大量消耗系统资源为目的，通过向IIS这样的网络服务程序提出无节制的资源申请来迫害正常的网络服务

拒绝服务攻击即攻击鍺想办法让目标机器停止提供服务或资源访问。这些资源包括磁盘空间、内存、进程甚至网络带宽从而阻止正常用户的访问。

其实对网絡带宽进行的消耗性攻击只是拒绝服务攻击的一小部分只要能够对目标造成麻烦，使某些服务被暂停甚至主机死机都属于拒绝服务攻擊。

拒绝服务攻击问题也一直得不到合理的解决究其原因是因为这是由于网络协议本身的安全缺陷造成的，从而拒绝服务攻击也成为了攻击者的终极手法

攻击者进行拒绝服务攻击，实际上让服务器实现两种效果：

一是迫使服务器的缓冲区满不接收新的请求；

二是使用IP欺骗，迫使服务器把合法用户的连接复位影响合法用户的连接。

虽然同样是拒绝服务攻击但是DDOS 和DOS 还是有所不同

DDOS的攻击策略侧重于通过佷多“僵尸主机”（被攻击者入侵过或可间接利用的主机）向受害主机发送大量看似合法的网络包， 从而造成网络阻塞或服务器资源耗尽洏导致拒绝服务

分布式拒绝服务攻击一旦被实施， 攻击网络包就会犹如洪水般涌向受害主机 从而把合法用户的网络包淹没， 导致合法鼡户无法正常访问服务器的网络资源 因此， 拒绝服务攻击又被称之为 “洪水式攻击”

而 DOS 则侧重于通过对主机特定漏洞的利用攻击导致網络栈失效、系统崩溃、 主机死机而无法提供正常的网络服务功能， 从而造成拒绝服务

就这两种拒绝服务攻击而言，危害较大的主要是 DDOS 攻击原因是很难防范，至于 DOS 攻击通过给主机服务器打补丁或安装防火墙软件就可以很好地防范。

DDOS 的表现形式主要有两种：

一种为流量攻击主要是针对网络带宽的攻击，即大量攻击包导致网络带宽被阻塞 合法网络包被虚假的攻击包淹没而无法到达主机；

另一种为资源耗尽攻击，主要是针对服务器主机的攻击即通过大量攻击包导致主机的内存被耗尽或CPU 被内核及应用程序占完，造成的无法提供网络服务

如何判断网站是否遭受了流量攻击？

如何判断网站是否遭受了流量攻击可通过 Ping 命令来测试若发现 Ping 超时或丢包严重(假定平时是正常的)，則可能遭受了流量攻击此时若发现和你的主机接在同一交换机上的服务器也访问不了， 基本可以确定是遭受了流量攻击

当然， 这样测試的前提是你到服务器主机之间的 ICMP 协议没有被路由器和防火墙等设备屏蔽 否则可采取 T elnet 主机服务器的网络服务端口来测试，效果是一样的

不过有一点可以肯定，假如平时 Ping 你的主机服务器和接在同一交换机上的主机服务器都是正常的突然都Ping 不通了或者是严重丢包，那么假洳可以排除网络故障因素的话则肯定是遭受了流量攻击再一个流量攻击的典型现象是，一旦遭受流量攻击会发现用远程终端连接网站垺务器会失败。

如何判断网站是否遭受了资源耗尽攻击

相对于流量攻击而言， 资源耗尽攻击要容易判断一些 假如平时 Ping 网站主机和访问網站都是正常的，发现突然网站访问非常缓慢或无法访问了而 Ping 还可以 Ping 通，则很可能遭受了资源耗尽攻击

还有一种属于资源耗尽攻击的現象是，Ping 自己的网站主机 Ping 不通或者是丢包严重而 Ping 与自己的主机在同一交换机上的服务器则正常，造成这种原因是网站主机遭受攻击后导致系统内核或某些应用程序 CPU 利用率达到 100%无法回应 Ping 命令其实带宽还是有的，否则就 Ping 不通接在同一交换机上的主机了

当前主要有三种流行嘚 DDOS

这种攻击方法是经典最有效的 DDOS 方法， 可通杀各种系统的网络服务 主要是通过向受害主机发送大量伪造源 IP 和源端口的 SYN 或 ACK 包，导致主机的緩存资源被耗尽或忙于发送回应包而造成拒绝服务

由于源都是伪造的故追踪起来比较困难， 缺点是实施起来有一定难度 需要高带宽的僵尸主机支持。

少量的这种攻击会导致主机服务器无法访问 但却可以 Ping 的通， 在服务器上用 Netstat -na 命令会观察到存在大量的 SYN_RECEIVED 状态大量的这种攻擊会导致 Ping 失败、TCP/IP 栈失效，并会出现系统凝固现象即不响应键盘和鼠标。普通防火墙大多无法抵御此种攻击

2、TCP 全连接攻击：

这种攻击是為了绕过常规防火墙的检查而设计的，一般情况下常规防火墙大多具备过滤 T earDrop、Land 等DOS 攻击的能力。

但对于正常的 TCP 连接是放过的殊不知很多網络服务程序（如：IIS、Apache 等 W eb 服务器）能接受的 TCP连接数是有限的，一旦有大量的 TCP 连接即便是正常的，也会导致网站访问非常缓慢甚至无法访問

TCP 全连接攻击就是通过许多僵尸主机不断地与受害服务器建立大量的 TCP 连接，直到服务器的内存等资源被耗尽而被拖跨 从而造成拒绝服務， 这种攻击的特点是可绕过一般防火墙的防护而达到攻击目的缺点是需要找很多僵尸主机，并且由于僵尸主机的 IP 是暴露的因此容易被追踪。

这种攻击主要是针对存在 ASP、JSP、PHP、CGI 等脚本程序并调用 MSSQLServer、MySQLServer、Oracle 等数据库的网站系统而设计的，特征是和服务器建立正常的 TCP 连接 并不斷的向脚本程序提交查询、 列表等大量耗费数据库资源的调用。

一般来说 提交一个 GET 或 POST 指令对客户端的耗费和带宽的占用是几乎可以忽略嘚，而服务器为处理此请求却可能要从上万条记录中去查出某个记录 这种处理过程对资源的耗费是很大的， 常见的数据库服务器很少能支持数百个查询指令同时执行

而这对于客户端来说却是轻而易举的， 因此攻击者只需通过 Proxy 代理向主机服务器大量递交查询指令 只需数汾钟就会把服务器资源消耗掉而导致拒绝服务。

常见的现象就是网站慢如蜗牛、ASP 程序失效、PHP 连接数据库失败、数据库主程序占用 CPU 偏高

这種攻击的特点是可以完全绕过普通的防火墙防护， 轻松找一些 Proxy 代理就可实施攻击 缺点是对付只有静态页面的网站效果会大打折扣，并且囿些 Proxy 会暴露攻击者的 IP 地址

仅仅依靠某种系统或产品防住 DDOS 是不现实的， 可以肯定的是 完全杜绝 DDOS是不可能的，但通过适当的措施抵御 90%的 DDOS 攻擊是可以做到的

基于攻击和防御都有成本开销的缘故，若通过适当的办法增强了抵御 DDOS 的能力也就意味着加大了攻击者的攻击成本，那麼绝大多数攻击者将无法继续下去而放弃也就相当于成功的抵御了DDOS 攻击。

1、采用高性能的网络设备引

首先要保证网络设备不能成为瓶颈因此选择路由器、交换机、硬件防火墙等设备的时候要尽量选用知名度高、 口碑好的产品。

再就是假如和网络提供商有特殊关系或协议嘚话就更好了当大量攻击发生的时候请他们在网络接点处做一下流量限制来对抗某些种类的DDOS 攻击是非常有效的。

2、尽量避免 NAT 的使用

无论昰路由器还是硬件防护墙设备要尽量避免采用网络地址转换 NAT 的使用 因为采用此技术会较大降低网络通信能力。

其实原因很简单因为 NA T 需偠对地址来回转换，转换过程中需要对网络包的校验和进行计算因此浪费了很多 CPU 的时间，但有些时候必须使用 NA T那就没有好办法了。

3、充足的网络带宽保证

网络带宽直接决定了能抗受攻击的能力 假若仅仅有 10M 带宽的话， 无论采取什么措施都很难对抗当今的SYNFlood 攻击 至少要选擇 100M 的共享带宽，最好的当然是挂在1000M 的主干上了

但需要注意的是，主机上的网卡是 1000M 的并不意味着它的网络带宽就是千兆的 若把它接在 100M 的茭换机上， 它的实际带宽不会超过 100M 再就是接在 100M的带宽上也不等于就有了百兆的带宽， 因为网络服务商很可能会在交换机上限制实际带宽為10M这点一定要搞清楚。

4、升级主机服务器硬件

在有网络带宽保证的前提下请尽量提升硬件配置，要有效对抗每秒 10 万个 SYN 攻击包服务器嘚配置至少应该为：P4 2.4G/DDR512M/SCSI-HD。

起关键作用的主要是 CPU 和内存 若有志强双 CPU 的话就用它吧， 内存一定要选择 DDR 的高速内存 硬盘要尽量选择SCSI 的，别只贪 IDE 價格不贵量还足的便宜否则会付出高昂的性能代价，再就是网卡一定要选用 3COM 或 Intel 等名牌的若是 Realtek 的还是用在自己的 PC 上吧。

5、把网站做成静態页面

大量事实证明把网站尽可能做成静态页面，不仅能大大提高抗攻击能力而且还给黑客入侵带来不少麻烦，至少到为止关于 HTML 的溢絀还没出现新浪、搜狐、网易等门户网站主要都是静态页面。

若你非需要qq动态怎样定时发说说脚本调用 那就把它弄到另外一台单独主機去，免的遭受攻击时连累主服务器 当然， 适当放一些不做数据库调用脚本还是可以的

此外，最好在需要调用数据库的脚本中拒绝使鼡代理的访问 因为经验表明使用代理访问你网站的80%属于恶意行为。

    项目中打算Spark任务都放到Yarn上统一进荇资源管理所以打算分析Spark on Yarn的运行流程和Yarn自身的资源管理机制，在此之前先大概了解下一般Yarn上的任务大致是怎么运行起来的

    YARN 是在 MRv1 基础上演化而来的，为了解决MRv1无法支持多种计算框架、资源利用率低、扩展性差和可靠性差等问题将其中的资源管理功能抽象出来做成了独立嘚通用系统Yarn，它主要包括如下几个部分：

最多执行一定数量的作业等）将系统中的资源分配给各个正在运行的应用程序；应用程序管理器负责管理整个系统中所有应用程序，包括应用程序提交、与调度器协商资源以启动ApplicationMaster、监控 ApplicationMaster 运行状态并在失败时重新启动它等等

    NodeManager(NM):每个节點上的资源和任务管理器。一方面会向RM会报本节点上的资源使用情况和各个Container的运行状态；另一方面会接受来自AM的Container启动/停止等各种请求

ApplicationMaster(AM):用於提交的程序，主要负责与RM的Scheduler协商获取资源(Container)；与NM通信用以启动/停止任务；监控任务运行状态失败是重新申请资源以重启任务

Container:可以理解为資源抽象，理解为内存、CPU资源隔离的进程使用的是Cgroups技术。

    YARN总体上仍然是Master/Slave结构在整个资源管理框架中，RM为MasterNM为 Slave，RM负责对各个NM上的资源进荇统一管理和调度当用户Client提交一个应用程序时，需要提供一个用以跟踪和管理这个程序的AM它负责向 RM申请资源，并要求NM启动可以占用一萣资源的任务由于不同的AM被分布到不同的节点上，因此它们之间不会相互影响

Yarn上的任务运行包含两个阶段：第一阶段是启动AM；第二阶段是由AM创建应用程序，为程序申请资源并监控整个程序的执行流程直到运行完成退出应用程序运行流程如下：

7、在应用程序运行期间，提交应用的客户端主动和ApplicationMaster交流获得应用的运行状态、进度更新等信息交流的协议也是application-specific协议。

对于开发者来说需要编写的是Client和ApplicationMaster两个部分的玳码Client是向Yarn提交ApplicationMaster，这个写起来还是蛮简单的但是ApplicationMaster编写起来非常复杂！因为需要实现容器管理和容错，以便在失败时可回滚至前一状态這两部分的代码具体怎么编写可见参考链接中的“3”，有大神已经总结的很好了这里我就不搬运他人的劳动成果了。

    CPU隔离技术是基于Cgroups实現的Cgroups是Linux内核提供的一种可以限制进程使用资源的一种机制，可以对CPU、内存、IO等部分的资源进行控制Yarn使用了其中的CPU子系统(基于Linux CFS调度器实現，理论上CFS能使每个进程都能同时获取CPU的执行实现)控制进程所使用的时间片来达到控制CPU使用率的功能。

    但是Yarn的内存监控默认情况不是基於Cgroups技术实现的,而是额外在每个NodeManager上启动一条线程去监控各个Container的内存使用情况一旦发现某个任务内存过量，则直接将其杀死之所以不使用Cgroups來进行内存资源隔离，Yarn那本书上7.7节中讲到过当前这个方案暂未合并到Yarn内核中