CDN三大势力谁来掌握未来市场主动权,互联网边
分类:美高梅-运维

 

5G风口正近,各运营商公布5G商用时间表,在今年早些时候的CES以及不久之前的MWC,北美、欧洲、亚洲(以中国为主)的运营商纷纷表态,其5G商用网络已经被提上了日程,这将对整个互联网行业带来巨大的机会。

 

CDN和镜像站点是常用的提高网站访问速度的两种方式,但这两种方式具体是什么、二者间有什么相同和不同之处,本文对此做一粗浅介绍。

CDN:Content Delivery Network(内容分发网络)

在喧嚣的消费化背后,互联网的一股巨大的变革正在进行中。这场变革对于像Google和Netflix这样的互联网大玩家来说至关重要。

从MWC2018的现场来看,5G已成为下一个移动互联网中最热门的关键词,运营商正式商用5G的整个时间周期将围绕在2019年~2020年,在5G即将来到的当下,智能设备及流量需求的爆发,将对整个CDN网络提出更高的要求,同时也给CDN服务提供商提供了相当巨大的利润空间。内容将成为当前乃至未来互联网中占据最为主要的角色,直播、点播、视频媒体内容将占到整个互联网流量80~90%,海量流量及计算资源的爆发,视频流量消费的下一个浪潮,便给边缘计算和边缘网络赋予了新的价值和能力。

一、镜像站点

基本思路:尽可能避开互联网上有可能影响数据传输速度和稳定性的瓶颈和环节,使内容传输的更快、更稳定。通过在网络各处放置节点服务器所构成的在现有的互联网基础之上的一层智能虚拟网络,CDN系统能够实时地根据网络流量和各节点的连接、负载状况以及到用户的距离和响应时间等综合信息将用户的请求重新导向离用户最近的服务节点上。
目的:使用户可就近取得所需内容,解决 Internet网络拥挤的状况,提高用户访问网站的响应速度。

图片 1

如今的CDN正在被分割成三大势力,传统CDN、云CDN以及运营商CDN,三大势力如何抢占下一代CDN的风口,谁将在下一个时代的路口脱颖而出,得到更多的市场份额,是目前CDN行业都关心的话题。

1.1定义
镜像网站是指将一个完全相同的网站源程序放到几个服务器,分别有自己独立的URL,在这些服务器上互为镜像网站。它和主站并没有太大差别,或者可算是为主站作的后备措施。有了镜像网站的好处是:如果不能对主站作正常访问(如某个服务器死掉或出了意外),但仍能通过其它服务器正常浏览。相对来说主站在速度等各方面比镜像站点略胜一筹。

创建镜像站点通常是由于网络带宽限制、封锁或是其他原因,导致无法实现对主站点的正常访问。这时通过将主站点的信息资源移植转移到相对容易访问的本地服务器,以提高用户的访问效率。常见于内部网、校园网或是其他有较大存储设备的服务器。通过镜像站点,也可以实现多目标多线程的快速下载。例如GetSmart和GetRight正是使用了这种高级的多线程下载技术。像站点是通过主服务器增加转移存储地址来实现信息的异地备份。通常一个镜像会定期访问主网站,以更新其内容。镜像也有分一级、二级等等。二级镜像是指那些通过访问一级镜像网站来更新内容的网站,通常更新速度不如一级镜像,但不会给主网站增加负担。

这些公司正在做一件事,把服务器搬到网络的边缘,紧挨着服务提供商的网络引擎以及靠近用户的地方。此举可以为Google、Comcast等公司省下一大笔钱,同时也会为消费者提高服务的访问速度。

2019年近50家城市试点5G,CDN提供商正逐渐布局5G生态

1.2主要作用

1)保存网页信息,特别是在一个网站面临关站的时候。
2)提高用户在某个地区的下载速度。譬如一个美国网站的中国镜像可以使来自中国的用户直接从这个中国的镜像访问,从而加快了速度。这可以看作是一种全球范围的缓存。
3)保存历史性的数据、信息,防止丢失。
4)平衡网站的流量负载。例如,一个Linux 的发行版的ISO镜像文件的大量下载可能会导致主站过荷而下线,而镜像站点则可以在多个服务器分担流量,从而保证站点的持续在线。
5)对因流量激增而下线的站点提供临时的访问。
6)便于不同地区或不同ISP(如中国电信和中国联通的互访问题)的人获得更快的访问速度。

服务模式

同时这还会改变互联网公司的工作模式。网络分析公司Deepfield Networks的创始人Craig Labovitz称,随着越来越多的公司将自己的内容搬到离消费者更近的地方,互联网正在掀起一股圈地热潮。

5G风口正近,各运营商公布5G商用时间表,在今年早些时候的CES以及不久之前的MWC,北美、欧洲、亚洲(以中国为主)的运营商纷纷表态,其5G商用网络已经被提上了日程,这将对整个互联网行业带来巨大的机会。

1.3更新工具

  通过主服务器增加转移存储地址来实现信息的异地备份。 更新镜像最常用的软件是rsync,有时候也直接用http镜像工具。

简单地说,内容发布网(CDN)是一个经策略性部署的整体系统,包括分布式存储、负载均衡、网络请求的重定向和内容管理4个要件,而内容管理和全局的网络流量管理(Traffic Management)是CDN的核心所在。通过用户就近性和服务器负载的判断,CDN确保内容以一种极为高效的方式为用户的请求提供服务。

这些所谓的“土地”实际上是一个个的接入点(POP),众多POP点通过网络组成了一个内容分发网络(CDN)。上世纪九十年代,由于网络带宽的限制,像Akamai和Level 3这样的公司开始在ISP那里部署服务器然后在本地缓存一些热门的网页。结果大受欢迎,ISP喜欢这项业务是因为这能够减少网络的流量。网站也喜欢,因为此举可以令自己的网页加载得更快。

图片 2

二、镜像站点

总的来说,内容服务基于缓存服务器,也称作代理缓存(Surrogate),它位于网络的边缘,距用户仅有"一跳"(Single Hop)之遥。同时,代理缓存是内容提供商源服务器(通常位于CDN服务提供商的数据中心)的一个透明镜像。这样的架构使得CDN服务提供商能够代表他们客户,即内容供应商,向最终用户提供尽可能好的体验,而这些用户是不能容忍请求响应时间有任何延迟的。

但是现在的互联网已经来到了视频时代,流量需求空前巨大,许多公司开始绕开这些CDN服务提供商,自行跟ISP签署协议,将自己的服务器部署在网络的边缘节点上。

根据工信部的规划,国内三大运营商预计将在2020年实现第五代通讯技术的规模商用。资料显示,自2013年起,中国率先启动了5G试验及研发进程。目前,我国5G商用进程有序推进,技术研发测试今年开始正式进入第三阶段。三大运营商方面5G外场测试相继开启,试点建设加紧推进中。

2.1定义

CDN的全称是Content Delivery Network,即内容分发网络。其基本思路是尽可能避开互联网上有可能影响数据传输速度和稳定性的瓶颈和环节,使内容传输的更快、更稳定。通过在网络各处放置节点服务器所构成的在现有的互联网基础之上的一层智能虚拟网络,CDN系统能够实时地根据网络流量和各节点的连接、负载状况以及到用户的距离和响应时间等综合信息将用户的请求重新导向离用户最近的服务节点上。其目的是使用户可就近取得所需内容,解决 Internet网络拥挤的状况,提高用户访问网站的响应速度。CDN的通俗理解就是网站加速,CPU均衡负载,可以解决跨运营商,跨地区,服务器负载能力过低,带宽过少等带来的网站打开速度慢等问题。内容分发网络是一种新型网络内容服务体系,其基于IP网络而构建,基于内容访问与应用的效率要求、质量要求和内容秩序而提供内容的分发和服务。而从广义的角度,CDN代表了一种基于网络而构建的高质量、高效率、具有鲜明网络秩序的网络应用服务模式。

总的来说,内容服务基于缓存服务器,也称作代理缓存,它位于网络的边缘,距用户仅有"一跳"之遥。同时,代理缓存是内容提供商源服务器的一个透明镜像。这样的架构使得CDN服务提供商能够代表他们客户,即内容供应商,向最终用户提供尽可能好的体验,而这些用户是不能容忍请求响应时间有任何延迟的。

应用举例

苹果、微软、Facebook等也在做着同样的事情。

中国电信:去年10月27日,中国电信首个5G试点基站在深圳开通,试点区域以深圳软件产业基地为中心,覆盖双创园、科技生态园、深圳大学校区和香港大学、香港理工大学在深圳的孵化基地等区域,聚集大量高新科技企业。其他城市方面,11月10日中国电信开通苏州5G基站,11月11日于上海、12月1日于成都,12月2日于兰州正式开通5G试点基站。

2.2主要作用

1) 不用担心自己网站访客,在任何时间,任何地点,任何网络运营商,都能快速打开网站。

2) 各种服务器虚拟主机带宽等采购成本,包括后期运维成本都会大大减少。

3) 给网站直接带来的好处就是:流量,咨询量,客户量,成单量,都会得到大幅度提升。

目前,国内访问量较高的大型网站如新浪、网易等,均使用CDN网络加速技术,虽然网站的访问巨大,但无论在什么地方访问都会感觉速度很快。而一般的网站如果服务器在网通,电信用户访问很慢,如果服务器在电信,网通用户访问又很慢。

很多公司的交易都是悄悄进行的,但是据Deepfield Networks了解,美国现在大约有40家公司已经在跟服务提供商签订协议,正在组建其自己的CDN。

中国联通:联通计划在北京、天津、上海、深圳、杭州、南京、雄安7城市进行5G试验。根据规划,我国2019年有望实现5G通信预商用,同时预计到2020年实现5G通信大规模正式商用。

2.3组成内容

1)内容发布:它借助于建立索引、缓存、流分裂、组播Multicast)等技术,将内容发布或投递到距离用户最近的远程服务点处;
2)内容路由:它是整体性的网络负载均衡技术,通过内容路由器中的重定向DNS)机制,在多个远程POP上均衡用户的请求,使得用户请求得到最快内容源的响应;
3)内容交换:它根据内容的可用性、服务器的可用性以及用户的背景,在POP的缓存服务器上,利用应用层交换、流量分类、重定向ICP、WCCP)等技术,智能地平衡负载流量;
4)性能管理:它通过内部和外部监控系统,获取网络部件的状况信息,测量内容发布的端到端性能如包丢失、延时、平均带宽、启动时间、帧速率等),保证网络处于最佳的运行状态。

它采取了分布式网络缓存结构(即国际上流行的web cache技术),通过在现有的Internet中增加一层新的网络架构,将网站的内容发布到最接近用户的cache服务器内,通过DNS负载均衡的技术,判断用户来源就近访问cache服务器取得所需的内容,解决Internet网络拥塞状况,提高用户访问网站的响应速度,如同提供了多个分布在各地的加速器,以达到快速、可冗余的为多个网站加速的目的。

图片 3

中国移动:中国移动日前对外表示,中国移动将会联合 7 家合作单位,将在政府的指导下建设世界上规模最大的5G试验网,并正式公布了2018年5G规模实验计划——将在杭州、上海、广州、江苏苏州、武汉五个城市开展外场测试,每个城市将建设超过100个5G基站;还将在北京、成都、广东深圳等12个城市进行5G业务和应用示范。

三、二者的区别

1) CDN 对用户完全透明,不需要用户手动选择需要访问的镜像站点;
2) CDN 对节点有健康性检查,而镜像则没有,因此CDN 可靠性更高;
3) CDN 的内容同步机制不需要人工的干预,而镜像站点需要一套复杂的系统来实现内容同步;镜像站点的系统复杂,维护工作量大,对运维工作有很大的压力;
4) CDN 部署便捷不需要对源站做改动,很短的时间内就可以采用并产生显著的效果;
5) CDN 节点分布广、带宽扩充快,镜像站点很难做到同样的覆盖范围及带宽快速扩充。

CDN服务最初用于确保快速可靠地分发静态内容,这些内容可以缓存,最适合在网速庞大的网络中存储和分发,该网络在几十多个国家的十几个网络中的覆盖CDN网络服务器。

自建CDN后Netflix70%的流量从自家CDN流出

在海外,T-Mobile、Vodafone、AT&T、Verizon都纷纷表态将在2019年,进行近50个城市的试点工作,继而在2020年,进一步实现5G商用。

由于动态内容必须通过互联网来传输,因此要提供快速的网络体验,以满足当今用户的要求,只能通过对互联网流量的独特视角来达到。必须使用先进技术来了解通过互联网的最佳路由,充分利用这些最佳路由,加速通过互联网协议的数据通讯,以改善用户的网络体验。

Labovitz认为这既是网络建设的拐点,也是网络货币化方式的拐点。自建CDN不但可以帮助像Netflix这样的公司将高清视频传给消费者,还会在内容提供商的资助下降低高速互联网的订购率。他预计还会有100多家公司跟ISP做类似的事。

5G时代起因运营商,但牵动的是整个互联网生态的变化。CDN服务提供商以及视频解决方案提供商也同时看准了5G的机会,全球知名的视频服务提供商及CDN服务提供商Broadpeak就在前不久的MWC上,宣布自己加入了两项5G网络的标准制定工作,并意图将其视频流媒体解决方案和CDN解决方案融合进5G标准。

主要特点

Google自建CDN已有数年。上周早些时候Netflix也宣布类似的计划,其名字叫做Netflix Open Connect Content Delivery Network。据Labovitz说,该公司现在有70%的流量是通过自己的CDN出去的。而仅仅在今年一月份的时候,其全部流量还是通过Level 3、Akamai以及Limelight这样的CDN公司出去的。

图片 4

1、本地Cache加速 提高了企业站点(尤其含有大量图片和静态页面站点)的访问速度,并大大提高以上性质站点的稳定性
2、镜像服务 消除了不同运营商之间互联的瓶颈造成的影响,实现了跨运营商的网络加速,保证不同网络中的用户都能得到良好的访问质量。
3、远程加速 远程访问用户根据DNS负载均衡技术 智能自动选择Cache服务器,选择最快的Cache服务器,加快远程访问的速度
4、带宽优化 自动生成服务器的远程Mirror(镜像)cache服务器,远程用户访问时从cache服务器上读取数据,减少远程访问的带宽、分担网络流量、减轻原站点WEB服务器负载等功能。
5、集群抗攻击 广泛分布的CDN节点加上节点之间的智能冗余机制,可以有效地预防黑客入侵以及降低各种D.D.o.S攻击对网站的影响,同时保证较好的服务质量 。

华尔街认为Netflix此举会伤害到Akamai这样的公司,但情况也许并没有那么糟糕。因为有如此之大的流量需求并具备相应技术专家可以自行组建CDN的公司并不多。而需要进行缓存的东西还很多,比如说安全和分析方面也有缓存的需求。

Broadpeak首席执行官Jacques Le Mancq表示,“5G网络是移动运营商以及全球内容分发的未来,通过定义5G标准方面发挥领导作用,Broadpeak持续地致力于为客户提供优质的终端用户体验,并在用户的每一种屏幕上提供最高的可扩展性,带宽效率和质量,消费者可以享受到最高质量的体验,无论是在旅途中,家中,使用eMBMS设备还是普通智能手机。”

关键技术

自建CDN是那些流量巨大且技术储备成熟的大公司出于省钱和提高服务质量而采取的策略。一旦这些公司发展到足够大的规模,彻底自行组建所需的IT及网络基础设施也不是痴人说梦。像腾讯,根据2011年财报,其最近三年间“移动及电信收费以及频宽及服务器托管费”一项的支出就达到了62亿元人民币,零点的曾韬说腾讯2011年就已经开始在全国一线城市构建自己的专用骨干通信网络。

5G引发下一代CDN变革,传统CDN、云、运营商抢占时代风口

(1)内容发布:它借助于建立索引、缓存、流分裂、组播(Multicast)等技术,将内容发布或投递到距离用户最近的远程服务点(POP)处;
(2)内容路由:它是整体性的网络负载均衡技术,通过内容路由器中的重定向(DNS)机制,在多个远程POP上均衡用户的请求,以使用户请求得到最近内容源的响应;
(3)内容交换:它根据内容的可用性、服务器的可用性以及用户的背景,在POP的缓存服务器上,利用应用层交换、流分裂、重定向(ICP、WCCP)等技术,智能地平衡负载流量;
(4)性能管理:它通过内部和外部监控系统,获取网络部件的状况信息,测量内容发布的端到端性能(如包丢失、延时、平均带宽、启动时间、帧速率等),保证网络处于最佳的运行状态。

这些公司正...

面临5G时代的来临,CDN也将面临下一代的变革,历史上的CDN总共面临过两代变革。第一代CDN发起于上个世纪末期,主要关注静态和动态内容的分发与传输,第一代CDN的原理是以硬件服务器为中心,通过智能路由或者边缘服务器创建并复制内容, Akamai、网宿科技、蓝汛是第一代CDN时代的标志,这是CDN红利最明显,也是传统CDN最辉煌的时代。

CDN加速答疑:

而第二代CDN,主要专注于视频(大流量)的应用,即在用户和服务器之间传输视频或者音频内容,解决分发及应用上的难题。Youtube和Netflix是这个时代对于CDN的典型需求代表。第二代CDN也提供了向移动用户提供内容的路径,在技术层面,云计算和虚拟化有助于从高端硬件转向更具成本效益,同时这个时代的CDN具有高度的灵活性和功能丰富的CDN部署模型。

1、CDN网站加速适合哪些网站?
以资讯内容为主的网站,例如资讯网站、政府机构网站、行业平台网站、商城等
以动态内容为主的网站,例如论坛、博客、交友、SNS、网络游戏、搜索/查询、金融等。
提供http下载的网站,例如软件开发商、内容服务提供商、网络游戏运行商、源码下载等
有大量流媒体点播应用的网站,例如:拥有视频点播平台的电信运营商、内容服务提供商、体育频道、宽频频道、在线教育、视频博客等。

除了Akamai之外,亚马逊,谷歌,CloudFlare,MaxCDN等云端玩家也已进入CDN市场,而在国内,传统CDN巨头也受到阿里云、腾讯云等公司的冲击。另一方面,像Verizon这样的主要运营商,由于拥有主要网络容量和最终用户最后一公里等优势,他们也在关注CDN市场的增长。CDN市场主要被划分为三大势力:传统CDN、云CDN、运营商CDN。

2、CDN加速是对网站所在服务器加速,还是对其域名加速?
  CDN是只对网站的某一个具体的域名加速。如果同一个网站有多个域名,则访客访问加入CDN的域名获得加速效果,访问未加入
  CDN的域名,或者直接访问IP地址,则无法获得CDN效果。

那么当5G来临的时候,下一代CDN将会是什么样?公共互联网上的性能及智能调度(因此更具成本效益)将成为下一代CDN的目标。例如,今天在观看IPTV时,尽管画面质量可以达到高清水平,但我们仍然经常遇到延迟和缓冲,这取决于网络条件、高峰时间或WiFi强度等因素。下一代CDN理应变得智能和强大,足以稳定这种情况并优化客户体验。这不仅仅是缓存能够满足的,客户的自我管理和体验质量预计将成为新CDN红利聚集的焦点。

3、CDN和镜像站点比较有何优势?
  A.CDN对网站的访客完全透明,不需要访客手动选择要访问的镜像站点,保证了网站对访客的友好性。
  B.CDN对每个节点都有可用性检查,不合格的节点会第一时间剔出,从而保证了极高的可用率,而镜像站点无法实现这一点。
  C.CDN部署简单,对原站基本不做任何改动即可生效。

未来的CDN服务将遵循其基本原则,即通过流量成本优化和强大的安全性接近最终用户,于是类似于Akamai、网宿科技这样的传统CDN供应商应该仍然能够很好地发挥其作用,原因在于其具备大规模各地部署的前端服务器;核心的云服务提供商能够从海量范围的云服务和数据中心的可用性中获益;而电信运营商基于其对网络线路的理解以及最后一公里访问的控制或流量运营也将在5G环境下表现出众。

4、CDN和双线机房相比有何优势?
  常见的双线机房只能解决网通和电信互相访问慢的问题,其它ISP(譬如教育网,移动网,铁通)互通的问题还是没得到解决。
  而CDN是访问者就近取数据,而CDN的节点遍布各ISP,从而保证了网站到任意ISP的访问速度。另外CDN因为其流量分流到各节点的原理,天然获得抵抗网络攻击的能力。

另一方面,尽管无线信号塔无疑为最终用户提供了非常接近的接入点,但无线网络的低吞吐量曾是内容传输的瓶颈,但现在一切都变了。由光纤密集型回传和骨干网支持的5G移动解决方案将成为下一代CDN解决方案的“黑马”,其带宽容量预计将达到每秒千兆比特(参考如今的4G LTE只能处理下载速度介于5到12 Mbps之间,上传速度介于2到5 Mbps之间)。去年9月,通过与诺基亚,爱立信和三星合作,T-Mobile可以展示其5G网络测试的每秒12千兆位的速度,这比Verizon在2016年2月进行的试验快三倍。这将使通过无线接入的高质量,大尺寸和实时内容交付成为一个惊人的现实。

5、CDN使用后,原来的网站是否需要做修改,做什么修改?
  一般而言,网站无需任何修改即可使用CDN获得加速效果。只是对需要判断访客IP程序,才需要做少量修改。

图片 5

6、为什么我的网站更新后,通过CDN后看到网页还是旧网页,如何解决?
  由于CDN采用各节点缓存的机制,网站的静态网页和图片修改后,如果CDN缓存没有做相应更新,则看到的还是旧的网页。为了解
  决这个问题,CDN管理面板中提供了URL推送服务,来通知CDN各节点刷新自己的缓存。
  在URL推送地址栏中,输入具体的网址或者图片地址,则各节点中的缓存内容即被统一删除,并且当即生效。
  如果需要推送的网址和图片太多,可以选择目录推送,输入 http://www.kkk.com/news 即可以对网站下news目录下所有网页和图片进行了刷新。
7、能不能让CDN不缓存某些即时性要求很高的网页和图片?
  A、只需要使用动态页面,asp,php,jsp等动态技术做成的页面不被CDN缓存,无需每次都要刷新。
  B、或者采用一个网站两个域名,一个启用CDN,另外一个域名不用CDN,对即时性要求高的页面和图片放在不用CDN的域名下。

SD-WAN正在迅速发展并在全球部署,以优化公共互联网性能并作为传统MPLS网络的替代品。从CDN的角度来看,SD-WAN将针对静态和动态内容,前端优化,响应式服务器端,自适应图像压缩,负载平衡,内容保护,来源管理和应用程序自定义等方面实现更好的服务管理和客户体验。同时也包括安全性,如防DDOS攻击。

8、网站新增了不少网页和图片,这些需要使用URL推送吗?
  后来增加的网页和图片,不需要使用URL推送,因为它们本来就不存在缓存中。

凭借SD-WAN平台的高智能性,可扩展性和成本效益以及溢出的5G无线解决方案的最后一公里吞吐量,该组合可能为下一代CDN生成全新的SD-5G混合WAN,并破坏一些现有的服务模式。

9、启用CDN后,什么时候生效?
  最快1个小时即可生效,慢则8个小时生效。如果超过12个小时,还未生效,则应是操作流程有误,多半是没有指定的流程进行操作。

中国联通CDN部署策略分享,Cloud+Edge+Cloud构建分发网络

10、网站用CDN后,有些地区反映无法访问了,怎么办?
  CDN启用后,访客不能访问网站有很多种可能,可能是CDN的问题,也可能是源站点出现故障或者源站点被关闭,还可能是访客自
  己所在的网络出现问题,甚至我们实际故障排除中,还出现过客户自己计算机中毒,导致无法访问网站。
  客户报告故障时,可随时联系我们24小时技术部进行处理。

或许在ITU-T的网站上,中国联通最新的CDN架构可以预见,随着5G发展的需要,未来运营商CDN将会对云、边缘计算、雾计算形成一个资源的整合,大面积的流量爆发和视频需求的提升,同时智能终端设备以及无处不在的网络需求将对传统CDN提出更高的要求。


图片 6

专业CDN服务商,代表企业:蓝汛、帝联科技等
提供CDN服务的IDC 运营商代表企业:网宿科技、世纪互联等
电信运营商,代表企业:中国电信、原中国网通
自建CDN的互联网企业,代表企业:优酷,百度等
国外CDN服务商,代表企业:Akamai、Limelight Networks等
免费自助CDN,国内的Webluker,国外的cloudflare

能够发现,随着超高清视频正在爆炸式增长,以大视频服务布局为基础的业务已成为其中的共识。全球运营商,无论是IPTV、OTTTV、线上视频业务、短视频、还是具有高带宽、低延时、高可靠性需求的网络服务都将对下一代CDN网络有一个显著的需求。

CDN 的工作原理

根据思科Visual Network Index的统计报告,到2021年,全球每月的数据流量将达到49EB,而其中,视频流量将会占到整个流量的80%。高分辨率视频服务的需求正在井喷式增长,带宽需求日益提升,视频、游戏、社交、4K、8K、VR和AR将在5G环境下得到蓬勃发展。

CDN的基本原理为反向代理,反向代理(Reverse Proxy)方式是指以代理服务器来接受internet上的连接请求,然后将请求转发给内部网络上的服务器,并将从服务器上得到的结果返回给internet上请求连接的客户端,此时代理服务器对外就表现为一个节点服务器。通过部署更多的反向代理服务器,来达到实现多节点CDN的效果。

图片 7

在描述CDN的实现原理,让我们先看传统的未加缓存服务的访问过程,以便了解CDN缓存访问方式与未加缓存访问方式的差别:

面对5G爆发式的流量及终端分布特征,下一代CDN的发展特征总结为4点:

图片 8

基于5G的CDN边缘节点部署将更为灵活,5G MEC应部署在移动网络边缘

  由上图可见,用户访问未使用CDN缓存网站的过程为:
  1)、用户向浏览器提供要访问的域名;
  2)、浏览器调用域名解析函数库对域名进行解析,以得到此域名对应的IP地址;
  3)、浏览器使用所得到的IP地址,域名的服务主机发出数据访问请求;
  4)、浏览器根据域名主机返回的数据显示网页的内容。
  通过以上四个步骤,浏览器完成从用户处接收用户要访问的域名到从域名服务主机处获取数据的整个过程。CDN网络是在用户和服务器之间增加Cache层,如何将用户的请求引导到Cache上获得源服务器的数据,主要是通过接管DNS实现,下面让我们看看访问使用CDN缓存后的网站的过程:

NFV实现网络资源共享,灵活扩展。CDN NFV实现了硬件和软件解耦

图片 9

SDN让调度和路由控制更加灵活,通过网络感知能力和集中的控制与能力开放,提供灵活的调度和最优化的路由能力。

  通过上图,我们可以了解到,使用了CDN缓存后的网站的访问过程变为:
  1)、用户向浏览器提供要访问的域名;

ICT给用户的分发能力越来越靠近用户,考虑到智能终端设备长期的能力,以及在线和闲置计算资源和存储资源,CDN将进一步沉入到用户家庭,结果可能就是P2P-CDN。

  2)、浏览器调用域名解析库对域名进行解析,由于CDN对域名解析过程进行了调整,所以解析函数库一般得到的是该域名对应的CNAME记录,为了得到实际IP地址,浏览器需要再次对获得的CNAME域名进行解析以得到实际的IP地址;在此过程中,使用的全局负载均衡DNS解析,如根据地理位置信息解析对应的IP地址,使得用户能就近访问。
  3)、此次解析得到CDN缓存服务器的IP地址,浏览器在得到实际的IP地址以后,向缓存服务器发出访问请求;
  4)、缓存服务器根据浏览器提供的要访问的域名,通过Cache内部专用DNS解析得到此域名的实际IP地址,再由缓存服务器向此实际IP地址提交访问请求;
  5)、缓存服务器从实际IP地址得得到内容以后,一方面在本地进行保存,以备以后使用,二方面把获取的数据返回给客户端,完成数据服务过程;
  6)、客户端得到由缓存服务器返回的数据以后显示出来并完成整个浏览的数据请求过程。
  通过以上的分析我们可以得到,为了实现既要对普通用户透明(即加入缓存以后用户客户端无需进行任何设置,直接使用被加速网站原有的域名即可访问),又要在为指定的网站提供加速服务的同时降低对ICP的影响,只要修改整个访问过程中的域名解析部分,以实现透明的加速服务,

图片 10

下面是CDN网络实现的具体操作过程。
  1)、作为ICP,只需要把域名解释权交给CDN运营商,其他方面不需要进行任何的修改;操作时,ICP修改自己域名的解析记录,一般用cname方式指向CDN网络Cache服务器的地址。
  2)、作为CDN运营商,首先需要为ICP的域名提供公开的解析,为了实现sortlist,一般是把ICP的域名解释结果指向一个CNAME记录;
  3)、当需要进行sorlist时,CDN运营商可以利用DNS对CNAME指向的域名解析过程进行特殊处理,使DNS服务器在接收到客户端请求时可以根据客户端的IP地址,返回相同域名的不同IP地址;
  4)、由于从cname获得的IP地址,并且带有hostname信息,请求到达Cache之后,Cache必须知道源服务器的IP地址,所以在CDN运营商内部维护一个内部DNS服务器,用于解释用户所访问的域名的真实IP地址;
  5)、在维护内部DNS服务器时,还需要维护一台授权服务器,控制哪些域名可以进行缓存,而哪些又不进行缓存,以免发生开放代理的情况。

新型的CDN网络架构应当涵盖云、边缘和雾,三部分特征:

CDN的技术手段

1、首先建立基于云的CDN网络,负责控制、管理和存储;建立资源的平衡机制和分配原则;统一及开放。一方面,增强网络的控制能力和延展能力,另一方面,增强存储和承载能力的虚拟资源池,提供PB级的计算能力,快速响应互联网服务,为多租户提供优质路由,避免过热瓶颈。建立负载均衡,动态资源平衡,具有感知以及准确的故障控制。通过管理优化、促销设置、功能管理,节约运营成本。

实现CDN的主要技术手段是高速缓存、镜像服务器。可工作于DNS解析或HTTP重定向两种方式,通过Cache服务器,或异地的镜像站点完成内容的传送与同步更新。DNS方式用户位置判断准确率大于85%,HTTP方式准确率为99%以上;一般情况下,各Cache服务器群的用户访问流入数据量与Cache服务器到原始网站取内容的数据量之比在2:1到3:1之间,即分担50%到70%的到原始网站重复访问数据量(主要是图片,流媒体文件等内容);对于镜像,除数据同步的流量,其余均在本地完成,不访问原始服务器。
  镜像站点(Mirror Site)服务器是我们经常可以看到的,它让内容直截了当地进行分布,适用于静态和准动态的数据同步。但是购买和维护新服务器的费用较高,另外还必须在各个地区设置镜像服务器,配备专业技术人员进行管理与维护。大型网站在随时更新各地服务器的同时,对带宽的需求也会显著增加,因此一般的互联网公司不会建立太多的镜像服务器。
  高速缓存手段的成本较低,适用于静态内容。Internet的统计表明,超过80%的用户经常访问的是20%的网站的内容,在这个规律下,缓存服务器可以处理大部分客户的静态请求,而原始的WWW服务器只需处理约20%左右的非缓存请求和动态请求,于是大大加快了客户请求的响应时间,并降低了原始WWW服务器的负载。根据美国IDC公司的调查,作为CDN的一项重要指标 —— 缓存的市场正在以每年近100%的速度增长,全球的营业额在2004年将达到45亿美元。网络流媒体的发展还将剌激这个市场的需求。

图片 11

CDN的网络架构

基于SDN网络的CDN智能调度:建立基于负载的调度机制,基于用户体验和网络资源分配的CDN智能调度策略,根据业务配置网络资源要求,利用SDN控制器实时统计网络流量+控制用户流量的转发+最大限度地利用网络资源。

CDN网络架构主要由两大部分,分为中心和边缘两部分,中心指CDN网管中心和DNS重定向解析中心,负责全局负载均衡,设备系统安装在管理中心机房,边缘主要指异地节点,CDN分发的载体,主要由Cache和负载均衡器等组成。
  当用户访问加入CDN服务的网站时,域名解析请求将最终交给全局负载均衡DNS进行处理。全局负载均衡DNS通过一组预先定义好的策略,将当时最接近用户的节点地址提供给用户,使用户能够得到快速的服务。同时,它还与分布在世界各地的所有CDNC节点保持通信,搜集各节点的通信状态,确保不将用户的请求分配到不可用的CDN节点上,实际上是通过DNS做全局负载均衡。
  对于普通的Internet用户来讲,每个CDN节点就相当于一个放置在它周围的WEB。通过全局负载均衡DNS的控制,用户的请求被透明地指向离他最近的节点,节点中CDN服务器会像网站的原始服务器一样,响应用户的请求。由于它离用户更近,因而响应时间必然更快。
  每个CDN节点由两部分组成:负载均衡设备和高速缓存服务器
  负载均衡设备负责每个节点中各个Cache的负载均衡,保证节点的工作效率;同时,负载均衡设备还负责收集节点与周围环境的信息,保持与全局负载DNS的通信,实现整个系统的负载均衡。
  高速缓存服务器(Cache)负责存储客户网站的大量信息,就像一个靠近用户的网站服务器一样响应本地用户的访问请求。
  CDN的管理系统是整个系统能够正常运转的保证。它不仅能对系统中的各个子系统和设备进行实时监控,对各种故障产生相应的告警,还可以实时监测到系统中总的流量和各节点的流量,并保存在系统的数据库中,使网管人员能够方便地进行进一步分析。通过完善的网管系统,用户可以对系统配置进行修改。
  理论上,最简单的CDN网络有一个负责全局负载均衡的DNS和各节点一台Cache,即可运行。DNS支持根据用户源IP地址解析不同的IP,实现就近访问。为了保证高可用性等,需要监视各节点的流量、健康状况等。一个节点的单台Cache承载数量不够时,才需要多台Cache,多台Cache同时工作,才需要负载均衡器,使Cache群协同工作。

2、建立固网以及移动环境中的边缘CDN:

CDN 实例

图片 12

商业化的CDN网络是用于服务性质的,高可用性等要求非常高,有专业产品和CDN网络解决方案,本文主要从理论角度,理解CDN的实现过程,并利用已有网络环境和开源软件做实际配置,更深刻理解CDN的具体工作过程。

在固网环境,将CDN节点下沉到BNG或者OLT网络设备中;在移动网中,将CDN节点下沉到UTN设备或者基础设备中。在固网和移动网络边缘CDN融合,CDN体系结构汇聚到网络边缘,在汇聚网络层实现固网和移动融合部署。

Linux 是开放源代码的免费操作系统,已经成功应用于许多关键领域。Bind是Unix/FreeBSD/Linux等类Unix平台上非常有名DNS服务程序,Internet上超过60%的DNS运行的是bind。Bind的最新版本是9.x,用的比较多的是8.x,bind 9有很多新特性,其中一项是根据用户端源地址对同一域名解析不同的IP地址,有了这种特性,能把用户对同一域名的访问,引导到不同地域节点的服务器上去访问。Squid是Linux等操作系统上有名的Cache引擎,与商业Cache引擎相比,Squid的性能比较低,基本功能工作原理与商业Cache产品是一致的,作为试验,是非常容易配置运行起来。

1)、降低运营成本:

以下简要介绍CDN的配置流程。

便捷的第三方应用程序集成;有效使用运营商独特的能力资源;易于打开资源到CP / SP

1、要加入CDN服务的网站,需要域名(如www.linuxaid.com.cn, 地址202.99.11.120)解析权提供给CDN运营商,Linuxaid的域名解析记录只要把www主机的A记录改为CNAME并指向cache.cdn.com即可。cache.cdn.com是CDN网络自定义的缓存服务器的标识。在/var/named/linuxaid.com.cn域名解析记录中,由:

2)、提高网络质量

www IN A 202.99.11.120
改为
www IN CNAME cache.cdn.com.

节省交通流量路径,缩短延迟时间;轻松实现融合网络的负载和核心网络

2、CDN运营商得到域名解析权以后,得到域名的CNAME记录,指向CDN网络属下缓存服务器的域名,如cache.cdn.com,CDN网络的全局负载均衡DNS,需要把CNAME记录根据策略解析出IP地址,一般是给出就近访问的Cache地址。

图片 13

Bind 9的基本功能可以根据不同的源IP地址段解析对应的IP,实现根据地域就近访问的负载均衡,一般可以通过Bind 9的sortlist选项实现根据用户端IP地址返回最近的节点IP地址,具体的过程为:

3)、建立边缘虚拟节点:边缘节点虚拟化管理:资源一点控制,一次性集成,实现本地和远程部署效果。

1) 为cache.cdn.com设置多个A记录,/var/named/cdn.com 的内容如下:

CDN功能要足以满足灵活扩展的要求:根据企业用户的业务需求,提供差异化/快速/准确的服务响应。

$TTL 3600
@       IN      SOA             ns.cdn.com.     root.ns.cdn.com. (
                  2002090201      ;Serial num
                  10800           ;Refresh after 3 hours
                  3600            ;Retry
                  604800          ;Expire
                  1800            ;Time to live
                  )
        IN      NS              ns
www     IN      A               210.33.21.168
ns      IN      A               202.96.128.68
cache   IN      A               202.93.22.13    ;有多少个CACHE地址
cache   IN      A               210.21.30.90    ;就有多少个CACHE的A记录
cache   IN      A               211.99.13.47

图片 14

2) /etc/named.conf中的内容为:

3、雾计算,将CDN直接渗透到用户家庭;家庭智能终端,家庭网关以及机顶盒;基于P2P的雾计算节点。成千上万的家庭雾节点,比云更靠近用户。P2P技术被应用到CDN节点,大大释放网络压力,提供空闲上游,带宽和雾资源。创造新的业务收入。

options {
    directory "/var/named";
      sortlist {
#这一段表示当在本地执行查询时
#将按照202.93.22.13,210.21.30.90,211.99.13.47的顺序返回地址
          { localhost;
              { localnets;
                  202.93.22.13;
                  { 210.21.30.90; 211.99.13.47; };
              };
          };
#这一段表示当在202/8地址段进行DNS查询时
#将按照202.93.22.13,210.21.30.90,211.99.13.47的顺序返回地址
          { 202/8;
              { 202.93.22.13;
                  { 210.21.30.90; 211.99.13.47; };
              };
          };
#这一段表示当在211/8地址段进行DNS查询时
#将按照211.99.13.47,202.93.22.13,210.21.30.90的顺序返回地址,
#也就是211.99.13.47是最靠近查询地点的节点
          { 211/8;
              { 211.99.13.47;
                  { 202.93.22.13; 210.21.30.90; };
              };
          };
          { 61/8;
              { 202.93.22.13;
                  { 210.21.30.90; 211.99.13.47; };
              };
          };
      };
};
zone "." {
      type hint;
    file "root.cache";
};
zone "localhost" {
      type master;
      file "localhost";
};
zone "cdn.com" {
    type master;
      file "cdn.com";
};

《linux就该这么学》不错的linux入门书籍。

3、Cache在CDN网络中如果工作在服务器加速模式,因为配置里已经写明加速服务器的url,所以Cache直接匹配用户请求,到源服务器获得内容并缓存供下次使用;如果Cache工作在客户端加速模式,Cache需要知道源服务器的IP地址,所以CDN网络维护和运行一个供Cache使用的DNS服务器,解析域名的真实IP地址,如202.99.11.120 ,各域名的解析记录与未加入CDN网络之前一样。

图片 15

4、工作在CDN网络中缓存服务器必须工作在透明方式,对于Squid来说,需要设置以下参数:

httpd_accel_host virtual
httpd_accel_port 80
httpd_accel_with_proxy on
httpd_accel_uses_host_header on

本文由美高梅网站是多少发布于美高梅-运维,转载请注明出处:CDN三大势力谁来掌握未来市场主动权,互联网边

上一篇:没有了 下一篇:深度数据包检测,深度数据包检测工具
猜你喜欢
热门排行
精彩图文