巨量数据分析环境的综合布线探析 智能应用 影音
MongoDB
ADI

巨量数据分析环境的综合布线探析

  • DIGITIMES企划

随着智能移动设备迅速成长,网际网络用户上传到网络的数据已经大到很难用传统的工具进行采集、存储、管理与分析。IDC研究发现,全球产生的数据量仅在2011年就已达到1.8ZB,IDC更进一步指出,未来十年的全球数据存储量可望成长50倍以上。

如此庞大的数据量,也让巨量数据分析成为继云端运算、物联网之后,ICT产业又一次面临颠覆性的技术变革,为了迎接巨量数据分析时代的来临,机房布线系统也面临前所未有的挑战。

巨量数据分析时代的网络挑战

不仅联网的使用者人数迅速上升,许多人还会透过不只一个设备上网,国内工程院院士邬贺铨指出,2007年全世界人均只有0.1个设备联到网上,到2013年人均联网设备已多达7个,也让透过网络传递的数据数量迅速增加。以视讯数据为例,邬贺铨预估到2016年时,每3分钟就会传送360万小时视讯,相当于全球已生产的全部电影。

物联网的应用愈来愈普及,也带来数据量的迅速成长,而且因为物联网必须透过传感器自动不间断地传递大量数据,对于布线系统的要求自然也更高,布线系统的品质也直接影响巨量数据分析的成果。

巨量数据分析与网络基础设施的发展可说是相辅相成,布线系统作为数据中心内部连接与管理的基础设施,是所有数据流通的基础,对数据中心进行巨量数据分析流程的支持,扮演相当关键的角色。

基于当前网络技术日新月异的变化状况,面临巨量的数据分析及存储需求,数据中心为了提高资源利用效率与数据分析计算能力,势必会大量采用虚拟化技术,包括服务器虚拟化技术等,采用无阻塞的交换矩阵的网络结构,则是从网络层面应对巨量数据分析时代的技术手段之一。

IEEE803.3ba于2001年正式颁布采用40G/100G的网络技术标准后,基于其良好的性价比,已被业界认为是数据中心主干链路应用的首选方案。核心层采用40G/100G,接入层采用10G的方式,已经成为网络升级的基本方向,虚拟矩阵的数据中心骨干网络,更是积极从10G网络升级到40G/100G。

数据中心骨干网络选择多

当网络主干走向40G/100G的高速网络时,数据中心接入层设备与服务器网络界面从1000M走向10G也是必然趋势。过去接入层的网络速率在1000M及以下时,铜缆RJ45的界面模式在整体市场中拥有绝对的主导地位,但网络上升到10G时,将有多种界面模型可供选择,但技术要求的差异也较大。

在各种10G界面类型中,基于功耗、埠密度、支持距离等方面思考,CX4铜缆方案并不占有太大的优势,其余四种类型,SFP十DAC的10G无源铜缆、SFP十AOC的10G有源光缆、SFP十10GbaseE-SR的光缆、RJ45Base-T铜缆解决方案,各有优缺点,何种技术在市场上能得到更多应用,目前仍处于战国时代,未来仍需深入观察。

SFP+ DAC的10G无源铜缆解决方案的优点是界面功耗小,相对成本较低,适合用于虚拟化的网络环境。缺点则是支持距离太短,线缆本身故障需要带SPF+插头同步更换,维护成本相对较高,适合应用于网络结构相对简单,设备变动、新增与移动较少且维护管理要求不高的环境。

SFP+ AOC的10G有源光缆优点是界面功耗较小,成本比DAC略高但相比其余方案要低,支持距离最长可达300米,可以支持EOR等各种网络布线架构,光缆直径较小,可以应用于高密度机柜的布置需求。

SFP+ 10G BASE-SR光缆的芯片技术相对成熟,界面功耗较小,支持距离较长,可以支持TOR、EOR等各种网络布线架构,可靠性高,日常维护方便,维护成本相对也较低,适合用于网络结构复杂、设备变动、新增与移动比较频繁且对网络连接可靠性与管理要求较高的场合,如金融业、政府部门及各类企业级数据中心。

RJ45 BASE-T铜缆解决方案的成本相对光纤方案要低,且可以向下自我调整1000M网络。支持距离较长,最长可达100米,布线可靠性高且日常维护方便、维护成本相对较低,可灵活适应于各种类型网络环境,特别是长距离应用,但线径较粗,不适合高密度的机柜管理。

值得注意的是,数据中心跟传统大楼的布线要求不太一样。如在未来几年里,随着设备添购和应用的需求增加,数据中心可能需要将服务器从某个机柜搬到另外一个机柜,布线系统在设计时,就不能只是连到列头柜,而是先将所有线路连到一个集中管理配线区,再从这个区域通过跳线连接完成,而不需要搬动服务器或者重新铺设线路,对可能需要经常变更的应用而言,可能更有吸引力。

至于目前对于10G以下的应用,可以采用适配器加上跳线方式,完成线路之间的连接,未来要升级到40G/100G时,变动也比较容易,只要将适配器换成MTP或者MPO面板即可。

基于当前的数据中心内骨干网络主要已用光纤作为传输介质的背景,TIA标准化组织已经在推动基于电阻100Ω,平衡双绞线铜缆支持40GBase-T的网络标准,该标准将铜缆双绞线带宽扩展至2000MHz,将继续采用RJ45作为界面标准。定义铜缆级别为Cat.8,可以支持40GBase-T网络传输距离达到30m,基本满足数据中心40G链路55%的距离。

铜缆支持40G的应用,是对40G标准的重要补充,虽然距离比较短,在规模较大的数据中心主干内,显然无法成为主流,但由于铜缆方案具有成本优势,对许多规模较小的数据中心而言,仍是一种值得考虑选择的方案,有助于促使更多的数据中心进入40G网络的应用领域。

配线检测技术仍有发展空间

虽然智能配线系统目前尚无统一的国际标准,各公司产品的设计理念也不尽相同,但从硬件角度而言,大致可分为埠检测技术和链路检测技术。埠检测技术是在埠内安置微型感应器,采用标准8芯跳线,插入任一端埠即有感应,连接跳线需要按顺序建立连接关系。

埠检测技术的特点是采用普通跳线,易于部署和维护,能够自动发现使用埠,因为使用标准跳线,可节省维护成本,而且可以很方便地将普通非智能的配线架,升级为智能的配线架,如果数据中心已经部署了普通配线架,且跳线已经插满,业务正在运行,仍然可以从在线升级布线系统。

链路检测技术的特点是使用特殊跳线,可自动发现特有的跳线,允许跳线两端不按次序连接。链路技术需要较多上层设备构建特有网络组,形成管理网络,来扫描电子配线架,从而建立数据库。

整体而言,两种技术都各有优缺点,这两种技术的共同点是采用带外的管理模式,不采用双绞线中1到8针对的传输介质,而是在埠或旁侧增加感应能力来判断跳线的位置。智能布线当然也有其他技术,如传输线路载波技术等,相信智能布线技术在硬件方面,还会有更进一步的发展。