建构高延展、高扩充性巨量数据网络

ARISTA 台湾区技术经理 吕学全

在巨量数据时代，网络技术也跟着产生变化。ARISTA台湾区技术经理吕学全指出，如何不要掉封包、如何让查找速度快一点，这些巨量数据分析应用所在乎的指标，其实都跟网络脱不了关系。

以巨量数据分析最常见的Hadoop技术为例，吕学全指出，建议要建立在Layer3的网络架构上执行，除了要考虑容错的可用性，确保单一的机架故障时，不会导致数据存取的损失外，还要设法优化数据的存取过程，设法调度计算资源，尽可能地呈现真实数据。

吕学全指出，在巨量数据时代，数据传输的特性其实跟过去的不一样，在过去的关联式数据库时代，数据库进行南北垂直的传送机会会比较多，但因为Hadoop串联服务器运算的特性，东西横向的传输会变得更多，如果网络架构没有适度改变，就很容易塞车，常常导致数据无法回传而重传，进而造成运算时间被浪费。

为了因应前述可能遭遇的问题，网络架构必须要重新定义，必须要横向扩展，才能改善传输瓶颈，而且网络一样可以简单化。Arista采用史丹佛大学研发的技术，率先业界推出Spline网络架构，网络架构及技术都因此简单化，进而减少封包传输延迟，同时达到降低功耗与简化布线的目标。

高延展及高扩充性，更是Arista网络架构的一大特性。吕学全指出，当网络架架构能够简单化，进而随时延展及扩充时，自然就可以提供更为多元的服务，除了巨量数据外，包括储存、虚拟机器、云端服务、Web 2.0服务等，也都能应付自如。

回到Hadoop技术的运算特性，吕学全指出，Hadoop在进行运算时，会有大量的数据复制及回传，eBay过去使用传统的交换器时，一开始数据量不大，还没有感觉差别，等数据量变大，速度开始变慢，封包也开始掉了，因为传统的交换器缓冲设计(Buffering)不够大，才会导致前述的问题。

吕学全举例指出，如果要传送25MB的数据，在1秒内传完，还是在0.1秒内传完，带宽的使用要求会有很大的不同。如果要在0.1秒内传完，其实瞬间流量超过1G，交换器可能就应付不来。

缓冲设计变大有什麽好处呢？吕学全举例指出，如果有10MB的数据，输出到只能容纳5MB的交换器，肯定是无法一次全部送进去，第6MB就只好先丢掉，就会造成很多数据重传的结果，但只要交换器的缓冲设计够大，就可以避免前述问题。

ARISTA除了提供增加缓冲设计的交换器产品外，也提供工具分析交换器的缓冲区是不是满了，而且适时提出警告，让管理者判断是要调整数据流量，或是调整交换器上的缓冲区设定。

如果企业拥有非常多台服务器，尤其是巨量数据时代，必须用到相当多台的交换器及服务器，不管是维护或重新设定，要是工程师数据没有做完全，IP忘记了等人为问题，就会碰到管理面的问题。吕学全指出，此时就需要一个统一管理的平台，如ARISTA的ZTP(Zero-Touch Provisioning)平台，就会先跟交换器沟通，先取得必要的数据如IP或重要的定义档等，在更换交换器后，只要将电源及接头接回去，设定就会自动完成。

此外，吕学全指出，企业还要考虑网络架构的高可用性。当Hadoop将工作送入Job Tracker，再往下分配任务时，会缺省很长的等待时间，因为运算时间可能会很久，才会回传数据，如果在等待的期间，服务器或网络出现状况，Hadoop依然还是会等待数据回传，ARISTA因此提出标准MLAG技术，提供Hadoop Server Active/Active 双路由及单一Gateway IP服务，当线路断线时，可快速切换路由，提供减少数据等待的时间。ARISTA也提供另一种RAIL(Rapid Automated Indication of Link-Loss)技术，当Hadoop Server只有单一线路连至Arista Switch时，此时在数据送到交换器时，先行记忆重要信息，当线路发生断线时，一旦发现服务器没有及时回传信息，Arista Switch就会通知TCP连线来源端先行结束任务，让其他服务器来处理，就可避免造成无谓的资源浪费。

由于Hadoop的MapReduce软件框架，会先把信息个别打散，重新统计收敛后，再输出结果，为了能让ARISTA的解决方案能跟Hadoop整合得更好，有更好的沟通，除了可以直接看到Hadoop上的工作状态外，还可以得知这个工作的数据传输量，在哪一个服务器上执行，甚至能得知完成度的状况。

为了要找到Hadoop这麽多的工作及任务，ARISTA特别提出CloudVision CLI，可以指定数台交换器成为一个群组让管理者可以很方便的直接看到Hadoop上面的工作状态，也就可以很快的追踪问题所在。

吕学全表示，巨量数据时代的网络架构，必须是易于管理，性能更好，避免数据封包丢失，而且能够让管理人员好操作，容易掌握重要信息，才能让巨量数据的应用更加方便。