OESF开放嵌入式软件基金会 符合日本品质的Android测试平台

OESF开放嵌入式软件基金会执行主任关根达记(Tad Sekineh)

嵌入式装置业者常面临到隐藏于规格、架构与软件应用上的臭虫，越晚被找出将累积越庞大的测试时间，甚至上市后回收还会造成的钜额损失。日本业者推出针对Android OS平台开发出一系列自动化测试验证的套件，以及针对业者量身打造的自动化测试项目，能有效的降低新产品测试验证的时间与投入的测试人力，并加速产品的上市速度….

OESF(Open Embedded Software Foundation；开放嵌入式软件基金会)执行主任关根达记(Tad Sekineh)首先介绍OESF是个商业型态的法人组织，目前在日本东京、韩国首尔、中国上海与台湾台北都设有办事处。主要业务是针对Android OS平台下的嵌入式系统、非蜂巢式移动电话，并负责Google的一些专案，以根基于Apache 2.0开放源码规范，加上OESF知识库与工作小组专案计划；OESF寻求产业联盟合作进行标准化，降低时间成本并拓展商机。在差异化部份，追求实时上市、独特性的服务性平台与内容独立的硬件。

OESF为开放型嵌入式装置软件发展的基金会

目前OESF底下有11个工作小组，包含有SetTopBox机顶盒、SystemCore系统核心、Application & Service应用程序与服务、Market行销、Education教育、IP-
Communication IP通讯、Automotive汽车电子、Future Systemsx未来系统、Distribution 经销商、SmartHouse智能家庭。

规格检验╱验证与侦错的时间成本

关根达记提到检验(Verification)与验证(Validation)差别，前者是我们建立的软件是否正确并符合规范，后者则是我们是否建立了正确的软件并符合客户所需要。他也提到越后面阶段才找出臭虫╱错误，所耗费的时间成本甚钜。如果在建构阶段就找出臭虫，需花费1个单位的测试时间，若到系统整合测试阶段才找出，则需花10倍测试时间；到了即将推出时才发现错误，则可能要花10~25倍测试时间。

若在早先选用架构阶段就找出错误，花费大约1单位测试时间，到建构系统阶段才发觉问题，则需花上10倍测试时间，到后端系统整合测试阶段才发现错误，则需花上15倍测试时间，到即将推出时才找到，则可能要花25~100倍测试时间。

若一开始就掌握规格的问题所在，花费1倍单位测试时间，到选用架构阶段才发觉规格需求问题，则需花掉3倍单位测试时间，到系统建构、整合阶段才找出错误，则需花上5~10倍单位测试时间；一旦到即将推出时才发现错误，则可能要花上10倍甚至百倍的单位测试时间。

关根达记也提到臭虫(bug)还是规格(spec)限制，是在侦错阶段就必须先厘清的。像
有些计算机按下4.52 – 4.49 = 0.029999999而不是出现0.03，按下1÷3×3 = 0.9999999而非1，这是当初浮点运算规格上的限制。另外他也提到几个在智能手机发生的案例，第一个是从简讯或来电取得对方号码回覆时，会撷取到错误字串而变成回拨到自己号码的情况。第二个是苹果iPhone曾发生跟iPod Touch同步后，会有服务业者名称消失的情况。还有一个是日本手机订票时，显示出不知所云的信息。诸如此类在上市后才被抓到错误的情况不胜枚举。

测试范围╱成本取舍与测试计划的拟定

关根达记认为，业者进行规格确认与测试时，要先从用户经验与回馈来进行数据分析，确认哪些项目必要，到怎样程度的测试，并从过去臭虫的历史纪录、用户使用模式、简单还是复杂功能以及其他重要数据等。接下来是测试工具，可运用规格与通过与否的表格垂直交叉分析、成对测试与使用情况纪录等方式进行。

目前所有嵌入式移动设备的排列测试组合近乎无限多种，都要一一列入测试所耗费的时间成本太过庞大；若降为300万种测试组合，估计大约可涵盖所有必测项目以及应测项目，但测试时间与成本的缩减还是不够。若把测试组合降为仅15万种，则涵盖到当前必测项目以及部份应测项目，把测试时间成本能够降到最低。

在进行品管测试程序时，先确立品管计划、预览、品质分析与验证、原因分析与避免方式。接下来在品管控工艺序需拟定测试策略、测试计划与引述、流程管理与错误管控。它细分成：1. Control Process(控制阶段) 与2. Testing Process(测试阶段)。首先在Kick-off(推出)、开始进入测试程序，此时需先针对测试需求定义，据此拟定控制阶段的测试计划；接下来才进入到所谓的Test Design(测试设计)。

接下来进入到测试环境建立、测试执行、错误回报、错误趋势分析、回馈到收尾(Closure)，这整个测试流程都是最繁琐、耗费测试人力与时间资源的部份，所以可以针对这个范围进行最佳化，像是减少测试项目、改良涵盖率、改进检错率与介绍测试工具等。

关根达记提到测试流程应先从：1.测试项目的定义。像是哪些功能需要测试与验证，硬件认证与连接性。这部份涵盖硬件测试与协定测试两阶段。2.测试组合。像是规格、等级判定与测试要件、协定以及现场测试。以上这涵盖了标竿测试、效能测试与Google CTS套件验证三个阶段。3.报告。像功能、统计与可行的解决方案。这由Enhanced CTS套件以及应用程序测试两阶段来负责。

Android平台下的最佳自动化╱可订制化套件

关根达记指出，目前Android约有10万个应用程序，而深入Android平台下有Android驱动程序约33,000个，google服务项目有9,000个，支持的Protocol协定有6,000个，硬件验证项目则有USB、WiFi、Bluetooth、HDMI等 Certification与Power management Test等。目前广为开发业者所采用的Google CTS兼容性测试套件，只能测试300套应用程序、1,000项Android驱动程序、Google服务与支持协定，涵盖到6%的必须测试项目，且硬件验证项目无法进行，其他项目则必须用人力方式进行测试验证。

OESF所开发的Enhanced CTS(增强型兼容测试套件)，以及针对每一个开发商独一无二的Extended CTS延伸套件加入测试下，可以使整个Android平台从开发、兼容性、服务、硬件与设备互连测试项目均达到自动化，缩减测试时间并减少测试人力。他举例，以1个人每天测100个项目，配置10个测试员，前导验证时间2个月计算，约验证60,000个项目；导入OESF的ECTS之后，可以针对其中33,000项目进行全自动化测试╱验证回报，因此仅剩下27,000项目需配置测试人力，在一样是2个月验证期间，则测试人力可降为只需5位即可。

OESF的综合测试过程，是藉由Google CTS的9,000个项目，以及OESF ECTS提供33,000个自动化测试项目，达到接近一半的测试验证项目的自动化，另外OESF可跟厂商合作开发Extended CTS，涵盖并补足其他仍需人工测试验证的项目。可配合的厂商从软件开发商(S/W Development Vendor)、ODM到OEM，也可针对发行者要追加的测试项目上来搭配。

在提昇Android软件品质这部份，目前OESF提供18,000标准Android功能测试，以及超过40,000项专属功能测试，项目涵盖核心、应用程序界面(API)与应用服务，从基本项目、冲突点、门槛值与压力测试均涵盖其中。据参与OESF测试套件计划的厂商数据，可以在设计测试阶段，每个月节省1,100万日圆，执行测试阶段每月节省2,600万日圆，最后报告阶段节省3,700万日圆。

目前OESF提供一次性免费服务，只要告知设计装置的规格，在签下NDA保密协定后，OESF会告知该组织可以进行自动化的项目，若提供该装置2个星期左右，就会给客户1份简略的测试报告，涵盖部份Google CTS与Enhanced CTS的测试项目。