智能应用 影音
DForum0522
DForum0515

出卖你的文字、照片与设备

照片传递丰富信息。照片的分享,搭配影像识别,很容易知道使用者喜好,出没地点、类型等。by.yuyang

目前绝大部分的软硬件服务都竭尽所能的收集使用者数据,包括网络浏览纪录、对话、参加的群组、喜好文章、照片、购物纪录、打卡位置、音乐歌单等。透过这些信息可以推估使用者属性、喜好、甚至政治倾向,富含商业应用。而快速发展的智能技术,更推升了使用者数据的价值。

了解使用者,甚至可以利用各种技术进而改变其行为,比如购物、粉丝、浏览、音乐、电影、娱乐、电子商务、黏滞性、甚至政治喜好、投票行为等。所以背后隐藏了许多商业价值,甚至有人不惜侵犯使用者隐私,非法销售客户数据,如病毒软件公司出售用户数据,包括使用者属性以及到访的网页。

智能技术精进,更能由非结构性的数据中了解使用者的行为喜好。这就是为什麽许多社群通讯软件乐意提供「免费」的服务,因为透过这些对话文字、加入的群组、讨论主题等,可以清楚了解,社群、通讯软件使用者每个人的特性、偏好,自然可以优化商业的用途,进一步提供广告、购物、甚至贩售用户数据给第三者。

位置在了解使用者的行为至关重要,甚至连结实体世界,按照使用者所在地推送相关广告、了解实体世界的活动、使用者的属性等。这就是为什麽许多软硬件服务,竭尽所能的撷取使用者位置。在2010年时Facebook的研究已发现,利用网络好友的位置以及彼此互动,可以猜测出每个人的所在位置,正确率高于一般利用IP位置的推估方式。

一画胜千言 (A picture is worth a thousand words),照片传递丰富信息。照片的分享,搭配影像识别,很容易知道使用者喜好,出没地点、类型等。按照相片中的人脸可以建构出社群网络,我们之前的研究也发现,利用照片人脸的相对位置等可以推测照片中人物关系,比如家人聚会照片年龄差距较大,而且人脸位置较紧密;同侪、同事、好朋友等则年龄差异较小而且喜欢往两侧排列。

视讯会议系统更需关注隐私保护。因为疫情,许多实体会面都转移到在线,工作会议的敏感内容,不管是语音讨论、投影片、或是设计样本都有可能被纪录、转译(OCR)为文字,清楚呈现每个人的专业、讨论内容。甚至会议中的人脸、语音等可以作为生物识别的重要依据。更有甚者,可以「生成」虚拟的人脸以及声音。目前的技术发展,给予足够数量的语音可以模拟出每个使用者讲话的语调,透过语音合成,以逼真的方式讲出特定的文字。撷取足够的人脸,也可以模拟出人物的表情。

设备安全性更显重要。之前大家所关注的GDPR,影响到各个产业在欧盟数据管控的问题。同时设备会面临更多的攻击,特别是上网的IoT设备,所以在操作系统、在线更新(OTA)、加密技术等必需加码。顺应趋势,更有不少厂商在edge端加入加密以及各种安全机制,相关技术极有可能成为终端设备不可或缺的功能。 

终端设备需要配备各种传感器,上网、云端数据储存需求大。服务营运商急需了解使用者的状态(context),使用者在那里?车子、厨房、浴室、书房?他在做什麽?所以,目前各种设备都希望可以利用各种传感器:摄影机、麦克风、Wi-Fi、蓝牙、GPS来侦测各种信号,配合智能演算法,进而了解使用者的状态。 硬件设备需要配置越来越多的传感器。

新型服务持续影响硬件价格。近来增加许多免费软件服务甚至低价格的硬件,所专注的是透过硬件提供给消费者更精致的服务或是交换消费者的潜在价值来获利。免费的服务越来越多,单单制造硬件的价格绝对会被持续压缩。

智能技术不单影响运算设备,对于数据的强烈需求,推升新型态应用等,也会影响电子零组件、以及资通讯产品的制造。隐私与数据收集可能会以动态的方式均衡,身为提供许多硬件设施的台湾产业,该如何在这之间寻求适合的平衡点,甚至超前部署,着实考验经营者的智能。

徐宏民(Winston Hsu)现任富智捷(MobileDrive)技术长暨副总经理以及台大信息工程学系教授。哥伦比亚大学电机博士,专精于机器学习、大规模影像视讯查找与识别。为讯连科技研发团队创始成员,慧景科技(thingnario)共同创始人,NVIDIA AI Lab计划主持人;曾任IBM华生研究中心客座研究员、美国微软研究院客座研究员。习惯从学术及产业界的角度检验技术发展的机会;十余年产学合作及新创经验。曾获2018 IBM Research Pat Goldberg Memorial Best Paper Award 、2018伪装人脸识别冠军、杰出信息人才奖、吴大猷先生纪念奖等国内外研究奖项。