cdn中转(CDN系统缓存机制、内容分发与技术选型)

博主:xiaoweixiaowei 2022-12-28 条评论

阅读本文需要了解一些基础知识,可参阅历史文章:CDN系统架构综述 CDN系统调度原理与技术选型

缓存机制

CDN系统如果用一句话来描述,那它就是一套分布式的缓存系统。由此可见,缓存功能在CDN体系中的核心位置。可以说,CDN系统是否好用,就在于缓存的效率上。

评估CDN缓存实现的效果,最直观的数据莫过于命中率了。简单来说,就是终端连接上CDN的边缘节点以后,它所需要的内容就在服务器的内存中,这样就能最快地给出数据了。

如果终端所要的数据在当前边缘节点上没有,那么边缘节点就要向上层中转节点发起请求,直到顶层节点回源,再把数据层层转发下来。显然,这个时期的终端访问就会产生较长的延时。

现实情况不会如此理想,每次访问都能命中,这是难以做到的。但我们可以调整缓存功能的策略与算法,持续提高访问命中率,从而使得CDN系统服务效果越来越好。

从原理上来说,缓存机制能够产生效果,是基于局部性原理。这和操作系统的内存管理类似,即数据的访问不是均匀的,热点数据总是会尽可能地保留在内存中,而不是被交换出去。

可以假设一个场景,即源站存有一万部电影视频,而这时有一万名用户来观看电影。如果每个人看的影片都不一样,那么CDN系统就无法在缓存层面有太多办法,只能是线性扩容。

而现实情况则是大量用户观看的都是少数的热点影片,这样缓存功能实现得好,则可以节省大量昂贵的存储资源。下面分别从提高缓存命中率的两个方面来说。

内容替换算法

内容替换,就是在一个物理节点上,如何决定哪些内容需要保留在内存中,哪些则作为过期数据要被替换掉。因为RAM资源是非常昂贵的,所以通过算法利用好有限的资源就很重要了。

LRU算法:其英文全称是Least Recently Used,即最近最少使用。这是一种直观、符合直觉的方法。算法规则是构造一个线性队列,然后被访问过的数据会置于队列的前端。当有新数据进入时,则将队列末端的数据置换出去。

初始队列:1,2,3 访问数据2之后:2,1,3 访问数据4之后,数据3被置换出去:2,1,4

这个算法容易理解,实现也不难。但其缺陷在于只将访问次数作为统计依据,并不能真实反映出数据的热点情况。实际运行中,数据有可能出现频繁进出RAM的情况。

例如,视频数据的热度往往与时间有着相关性。那么接下来的算法就将时间因素考虑在内了。

LFU算法:英文全称是Least Frequently Used,即最少频率使用。它的算法规则是,将RAM分为两个区域,一是固定缓存区,这里存放的更新不频繁的数据。另一个是隐藏缓存区,存放的是变化频繁的数据。

当请求的数据不在RAM中时,数据会首先存放至隐藏缓存区中。然后每间隔一段时间,就会计算隐藏缓存区中数据的访问次数。那些单位时间内被访问次数多的数据,就会被转移至固定缓存区中。

初始状态:固定缓存区:1,2,3 隐藏缓存区:4,5,6 访问数据7,放入隐藏缓存区,数据6则被置换出去,隐藏缓存区:4,5,7 间隔一段时间后,将隐藏缓存区中最热数据4置入固定缓存区,数据3则被置换至隐藏缓存区, 固定缓存区:1,2,4 隐藏缓存区:3,5,7

LFU算法相对于LRU加入了时间因素的考量,有助于减少数据的频繁置换。但其问题在于需要设置合理的时间间隔,以及固定缓存区与隐藏缓存区的配比等。如果参数设置不合理,则难以达到最佳效果。

加权因子:准确地说,加权因子并不是一种算法,而是一种策略。其原理就是赋予内容数据以某种权值,值越高的,则留在RAM中的可能性越大。

其实无论是LRU还是LFU算法,都并不关注内容本身,而是将所有数据都一视同仁。决定数据是否驻留在RAM中的,仅由其被访问的热点程度而决定。这是一种被动的方式,面对突发式的高并发请求,往往初期会面临较大压力。

而加权因子,则可以将关注点扩展至内容本身。例如,一部刚从院线下线的大片,在全网进行首播时,就可以赋予其较高权值,使其得以在无访问的情况下也能进入RAM。在开播时就可以平稳地应对高并发的访问压力。这在CDN厂商提供的服务中,一般称之为“预热”。

所以,加权因子的计算方法就成为关键。上述根据内容的院线属性就是其中一个维度,而实际情况中,则要计算更多维度的属性,从而得到一个更加准确的权值。

基于大数据的热点计算

随着大数据技术的兴起,对于内容权值计算又增加了一个很有力的手段。一般来说,大数据技术的应用分为两个层次,一是在CDN体系之内,另一则是在CDN体系之外。

在CDN系统内部,大数据平台主要是通过收集各个节点产生的日志数据,对其加以分析并判断,然后调整内容的权值。例如,在某个局部地区,一个视频访问量突然增大,那么大数据平台判断其有可能成为全网热点,则可以立即提升权值。

而在CDN系统之外,大数据平台可以综合分析多维度信息,从而对内容做出精准判断。那些有能力自建CDN的企业组织,都会与自己的业务结合,通过大数据技术充分发挥CDN的性能。

例如,一位能够稳定产出优质视频的播客主,他发布的内容就有可能被赋予较高权值,在访问量爆发式增长之前,就被CDN系统优先缓存。

还有就是突发的社会热点新闻事件,大数据平台能够比人为感知的更迅速,从而可以将相关内容的视频赋予高权值。

可以说,大数据+AI的方式,在CDN系统中的运用已经越来越广泛深入了。其在内容热点的重要性上,已经超过了传统的纯算法方式。因为它不需要过多的人工干预,就能做到提前判断并决策,并可以从全局层面实现缓存的合理分布。

分发传输

cdn中转(CDN系统缓存机制、内容分发与技术选型)

CDN系统的缓存一般都是在一个广域的范围内分布。而这种数据的分发工作,则对网络环境有一定要求。所以一般会以地域和运营商为划分,建设相应的节点。

一个节点内由若干台服务器组成,在这些服务器上则会部署负载均衡与缓存服务程序。各个节点间通过调度、缓存服务的请求与响应联结起来,由此形成CDN的传输网络。

下面分别讨论传统的树形分层传输结构,以及5G时代来临,以边缘计算为特征的多点共享式结构。

树形分层结构

在树形结构中,CDN传输体系会分为三层,分别是核心层、中转层,以及边缘层。

核心层一般会选择在一线城市的多线机房部署,以期获得最优的网络资源环境。它主要是发起回源请求,以及存储所有的介质。这一层的节点数不会太多,例如北方就在北京选址,南方则在广州或者上海选址。

中转层通常都分布在各个省会城市的多线机房。它们负责响应边缘层的请求,从核心层将数据缓存下来,并传输给边缘。这一层的节点会包含较多的服务器,以提供强大的算力与存储力。

从实际部署上来说,中转层同时也会承担起省会城市及周边地区的边缘服务。所以这也是CDN建设中,成本所占比重较大的一部分。在一些人口稠密的省份,省会城市里会建设多个节点。

边缘层则直接面对终端的请求,如本地请求不命中,则向中转层请求数据,并及时向终端输出。所以,这一层对网络环境要求较高,延迟太高,或者传输不稳定,都不利于作为边缘节点使用。

CDN的实际部署并不是一蹴而就的,而是一个长期、动态的过程。一般来说,会分期进行。例如前期部署是在一线城市及重点城市配置节点,然后根据用户增长及访问情况,再投入成本有针对性地增加节点。

树形分层结构

多点共享结构

在一些新兴的CDN厂商中,他们已经走出了与传统CDN不同的道路。例如有的厂商与路由器厂家合作,将家庭网关变成了自己的边缘节点;有的则基于过往客户端的大规模装机量,将PC变成了自己的节点。

这些方法都可以有效降低带宽成本,从而提供很有价格竞争力的CDN服务。不过这种方式占用的是运营商的上行带宽,有可能会遭到运营商的封杀。

但随着5G技术的普及,很可能家庭网关就不再需要了。而在那时,高带宽低延迟的网络环境,驱使我们的应用也会不断升级。

例如视听体验相比于现在的变化就是巨大的,VR/AR能够得到广泛应用,在线教育、游戏娱乐等可以获得接近于真实场景的沉浸式体验。

这些实现如果还是基于传统CDN,那么主干带宽则会成为瓶颈,所以和用户终端直连的边缘节点,势必就要承载更多的计算任务。

单个边缘不可能配备太强大的CPU与存储资源,因此对于CDN业务来说,边缘节点之间充分共享数据,是一个很好的策略。当然,这需要解决好数据一致性问题,以及高效的调度实现。

多点共享结构

技术选型

目前使用较多的开源http缓存服务,有squid、nginx、ATS(Apache Traffic server)、varnish等。

squid出现的时间最早,但其架构还是单进程模式,无法支持多核系统。目前除了一些遗留系统,大多不再采用了。

nginx的多进程架构使得其在多核系统上,可以充分发挥性能。不过其对外部文件的读取比较麻烦,作为专门的缓存服务来说,额外需要做的工作很多。

varnish性能表现优异,不过更适合于小文件做纯内存式的缓存服务。对于构建大型广域的分布式缓存服务,就显得力不从心了。

ATS则兼具了高效的性能与灵活的配置,支持插件式的二次开发。目前也是互联网CDN厂商中使用较多的开源缓存服务。不过其系统复杂性高,在开发与运维的人力资源成本上需要较大投入。

通常来说,一个节点内会采用LVS+keepalived+nginx来构建负载均衡与反向代理,然后由ATS来提供缓存服务。

节点逻辑部署架构

The End

发布于:2022-12-28,除非注明,否则均为 主机评测原创文章,转载请注明出处。