火伞云CDN在大文件下载及视频点播的CDN加速理论

一、大文件下载和视频点播的内容分发挑战

关于下载类的场景来说，常见细分场景包罗：手机利用商铺、游戏利用商铺以及游戏更新和手机操做系统更新等，而关于视频类的利用场景来说，次要细分场景包罗短视频、长视频、在线教导、OTT机顶盒、广电传媒和音乐网站等等。为什么会把下载类的利用场景和视频点播类利用场景放在一路往做比对呢？因为视频点播那个利用场景现实上也是一种大文件下载场景，那两个利用场景有着很高的营业类似性，也有良多共性问题，而它们之间的区别在于视频点播关于拜候的性能会有更高的要求。

两个场景在内容分发方面所面对的挑战次要有三大类：

1.用户体验问题，次要表现在：国内运营商情况复杂，跨运营商拜候效果差；用户散布广，跨地域拜候时延高、速度慢；弱网情况下传输性能差，速度慢、卡顿严峻等方面；

2.源站性能与成本问题，次要表现在：中心式摆设的源站弹性扩展才能差，无法承担大规模突发流量以及中心式摆设的源站带宽成本昂扬；

3.营业平安问题，次要表现在：时刻面对着DNS劫持（例如被劫持了页面内容，被嵌进了页面告白等）、资本盗链（源站面对带宽成本上的缺失）等平安威胁。

二、CDN内容分发收集架构

当下，CDN已经是成为了缓解收集拥塞、进步营业响应速度、提拔用户体验的一种十分重要的手艺手段，也是互联网根底设备傍边不成或缺的重要构成部门。下面我们通偏激伞云合成CDN的内容分发收集架构来阐明典型的CDN内容分发收集都包罗哪些构成部门：

展开全文

1、调度系统

用户的末端会倡议各类利用拜候，好比：点播和下载那两个利用场景。用户的拜候恳求会起首往做域名DNS解析，然后用户的域名DNS解析恳求将会通偏激伞云CDN的调度系统往处置；

2、链路量量系统

链路量量探测系统的感化是往实时地监测缓存系统中的每一个节点和链路的实时负载和安康情况，然后反应给调度系统，调度系统会根据用户恳求中照顾的IP地址信息往解析用户的运营商和区域回属，然后综合链路量量信息为用户分配一个佳的接进节点；

3、缓存系统

用户收到佳接进节点的IP以后，就会往拜候那个缓存节点，节点假设已经缓存了用户恳求的资本，那么就将会间接将资本返回给用户；假设L1节点没有射中，会上溯到L2节点，假设L2节点也没有缓存资本，才会返回源站往拉取那个资本；某个资本拉取后将会在缓存系统中缓存下来，如许假设后续用户拜候到统一个资本，就可间接从缓存系统往拉取资本，制止反复回源；通过火级缓存的那种摆设架构能够到达进步内容分发效率、降低回源带宽以及提拔用户体验的效果。

4、支持办事系统

火伞云CDN在内容分发之外也供给了支持办事系统。是具备资本监测才能，能够对缓存系统上客户营业运行的形态停止监测，好比对CDN加速域名的QPS、带宽、等数据。第三是设置装备摆设治理系统，用户通过该系统能够下发如缓存文件类型、缓存时间、往参数缓存等缓存规则，以提拔缓存系统的运做效率。

三、CDN若何处理互联网内容分发所面对的问题？

下面，从用户体验、源站性能与成本以及营业平安那三个方面来看看CDN是若何处理问题的。

（一）用户体验问题

1、起首，CDN能够为用户供给诸多的就近接进的节点。火伞云CDN合成了超越20家以上世界上支流的CDN厂商，根本上笼盖了国内以及海外的次要运营商，用户能够在此中高达14000+的优良节点自在抉择，全网智能调度，实现优良办事。依托丰富的资本节点笼盖，火伞云CDN可以让用户就近接进同运营商节点，处理跨运营商互联互通、远间隔拜候时延大等用户体验问题。

2、其次，提拔用户体验的第二点是需要供给精准的调度才能，火伞云CDN在那里是供给了5项关键的优化办法：

（1）继续更新的精准IP数据库：IP数据库的感化是在用户的DNS解析恳求转发到了CDN调度系统时，调度系统会揣度用户的地域和运营商回属，以此来为用户分配就近接进的同运营商CDN节点。为了确保IP数据库的数据处于新的形态，数据库不断在继续地更新。

（2）供给劫持所带来的营业平安问题。

（3）节点数据阐发：CDN调度系统通过链路形态系统往实时地阐发整个缓存系统中的所有节点和链路的安康情况，为用户抉择优的接进节点，制止因为接进节点量量欠安而影响到用户拜候体验。

（4）基于内容调度，进步拜候射中率：在大文件下载和视频点播那两个利用场景上经常利用302调度那种基于内容的调度手艺，302调度是一种中心调度计划，用户在恳求某一个资本的时候，在完成域名DNS解析之后，用户恳求将会先拜候到中心调度系统上，然后中心调度系统将会解析用户恳求需要拜候的内容，再通过302重定向的体例为用户分配佳接进节点。

（5）公司自有100+监控节点，同时与再搭配专业的收集监控公司、渠道、客户监控系统协做，实时掌握CDN节点、运营商骨干网、客户源站、解析等情况，摘集足够多的数据信息才气促成更科学的调度决策根据。

通过摘用以上5项优化办法，可以为用户供给愈加精准的调度才能，从而让用户可以接进佳的CDN节点。

CDN常见的三种调度计划简单比照如下图所示：

那里简单阐明下那三种常见的CDN调度体例的优缺点：

①DNS调度是常用和通用的调度计划，缺点是存在DNS劫持的风险，调度的度也会差一些；

②302调度十分合适用在大文件下载和视频点播那两个利用场景，长处是能够进步调度的度，缺点是将会增加首包的时延（在大文件下载和视频点播场景下对首包时延不太灵敏，而对调度度要求更高）

③），通用性较差。

3、再次，提拔用户体验的第三个优化点是对传输链路做智能优化

（1）协议优化：通过调整拥塞算法、丢包探测算法等优化办法，对TCP协议栈的性能做了大幅度提拔，出格对弱网情况下的收集性能提拔明显；以下两张带宽操纵率比照图，右边是原则TCP传输协议，在成立TCP毗连之后，需要通过相对更长的时间往提拔带宽操纵率，一旦碰着丢包情状，带宽操纵率会快速下跌，而且需要履历慢速爬坡阶段才气够逐渐提拔带宽操纵率，出格在弱网情况下，利用原则TCP协议的情状下，带宽操纵率的下降会十分的严峻。右侧是火伞云优化后的TCP协议，通过快速启动、主动拥塞探测和快速丢包恢复等手艺优化办法，可以供给更高的带宽操纵率，即便在收集前提相对差一些的情状下，也能够有比力好的优化效果。

（2）毗连加速：通过修改协议栈的 Handshake Timer 来实现快速重试，以填补因为丢包招致的重试超时；

（3）耐久毗连：在CDN节点间预先成立好 TCP 毗连，并长时间连结不竭开，如许在有新毗连过来的时候就能够间接复用，削减TCP握手时延。

（二）源站性能、成本压力问题

通过进步缓存系统的效率搀扶帮助客户降低源站的性能和成本压力，次要包罗六个方面的手艺办法：

1、散布式摆设：确保用户可以就近拜候同运营商的节点，以此来进步拜候速度，处理跨运营商拜候慢、长间隔回源时延高档问题；

2、多级缓存架构：多级缓存架构中的每一级都可以用来缓存用户恳求的资本，多级回源收敛之后能够极大地降低回源流量；

3、内容预取：通过内容预取手艺提早把源站的内容预取到CDN节点上，削减回源量和进步缓存射中率；

4、合并回源：设置装备摆设若干个域名的回源恳求与某一个域名（营业不异的情状下）相合并，以削减反复回源的流量；

5、往参数缓存：设置hashkey（缓存key）时，设置装备摆设往掉资本URL后面的参数，以不带参数的URI做为缓存key，以进步缓存射中率；

6、流量掌握：供给精巧化的流量掌握才能，撑持单恳求流控和全网流控，撑持边沿流控和回源流控，可以有效降低客户成本。

下图中标识表记标帜的序号代表了以上6个手艺办法在CDN缓存系统上的感化位置：

那些手艺办法综合起来能够搀扶帮助客户往有效地削减回源带宽、提拔缓存射中率，从而降低源站的带宽压力、降低源站的带宽成本。

（三）营业平安风险问题

火伞云CDN通过可靠的平安防护办法，往搀扶帮助用户躲避营业上的平安风险。

1、防盗链：能够抉择利用Referer、UA、URL、IP等通用鉴权体例，也能够用EdgeScript来定造鉴权规则，撑持边沿鉴权和中心鉴权，通过严厉校验用户的资本拜候恳求来避免源站资本被盗用；

2、DNS防劫持：劫持；

3、等功用。

四、火伞云CDN在大文件下载和视频点播那两大利用场景下供给了哪些的核心才能：

丰富的资本节点：可以为用户供给就近接进的同运营商CDN节点，处理长间隔接进和跨运营商拜候带来的延迟高和速度慢的问题

精准的调度系统：可以实时地获取CDN节点的安康情况，并根据用户的所在位置和运营商来分配适宜的接进节点，以便获得佳接进效果

智能的传输链路：通过协议优化、毗连优化等办法来降低总体时延、进步传输速度，出格是进步弱网情况下的传输速度

高效的缓存战略：高效的缓存战略可以带来更高的用户射中率（射中就近节点上的缓存资本），从而供给更高的拜候速度

可靠的平安防护：可靠的平安防护办法可以对用户的资本拜候恳求做严厉的校验和加密，庇护用户的资本和营业平安