「AWS Hero Song」助MediCAM用AI解医病问题 智能应用 影音
researchmember
Event

「AWS Hero Song」助MediCAM用AI解医病问题

  • 郑宇渟台北

「AWS Hero Song」团队结合边缘运算与生成式AI,打造医病沟通系统MediCAM,获研华科技边云智控组优胜。DIGITIMES摄
「AWS Hero Song」团队结合边缘运算与生成式AI,打造医病沟通系统MediCAM,获研华科技边云智控组优胜。DIGITIMES摄

近年医疗纠纷时有所闻,根据台湾病人安全信息网统计,将近1/3的医疗事件源自于医疗人员团队与病患、家属沟通不良,当病床前的医生与焦急等候的家属之间存在巨大的信息鸿沟时,误解与不信任便随之产生。

在第二届「云涌智生:台湾生成式AI应用黑客松」中,「AWS Hero Song」团队提出了结合边缘运算与AI技术的创新解方,为医病沟通开辟新的可能性,获得研华科技边云智控组优胜。

「AWS Hero Song」团队(又称「黑肉松」团队)成员来自清华大学信息工程系,他们深入分析后发现,医疗现场面临两大关键痛点,首先是医生与家属之间存在严重的信息落差,家属无法掌握完整的诊断与治疗说明,导致医疗安全风险上升;其次是由于无法实时了解病情与医嘱,家属常感焦虑不安,医病关系因而紧绷。

针对上述痛点,团队开发出「MediCAM」,这套系统运用研华科技的工业AI摄影机(ICAM)与Amazon Web Services(AWS)云端服务,结合生成式AI技术的创新医疗沟通系统。

MediCAM拥有四大核心功能:一是「实时影像串流」,让家属能够线上实时观看病患现况;二是「自动总结医嘱」,系统会录音医生的说明,转成文字并自动摘要成易懂的内容;三是「病况即问即答」,家属可直接透过自然语言向系统询问病患情况,获得基于实际医嘱数据的专业回覆;四是「AI病况日报」,每天自动生成病患情况简报,协助家属清晰追踪复原进度。这套系统不仅能消弭信息不对等的鸿沟,更能建立医病双方的互信基础,大幅降低沟通不良导致的医疗风险。

MediCAM的技术架构完整,涵盖了边缘运算与云端AI的结合。在病床旁,团队部署了Advantech ICAM AI摄影机边缘装置,负责收集现场影像与语音数据。系统运用机器学习服务Amazon SageMaker搭配 Whisper模型进行语音识别(Voice to Text),将医生说明转为文字。

同时透过Yolo+FaceNet技术进行人脸识别与医师身份确认,确保信息来源的权威性。在文本处理方面,团队使用生成式AI基础模型托管服务 Amazon Bedrock的Amazon Nova Pro负责医嘱摘要与智能问答功能,并建置 RAG(检索增强生成)架构,确保回答的精准度与可靠性。

所有数据皆进行加密与安全传输,保障病患隐私。AWS 云端服务则提供了串流、存取与安全管理的可靠后盾,使得系统能够稳定处理大量影像、音讯与文字数据。

「AWS Hero Song」团队凭藉兼具创意与实用性的MediCAM,在研华科技命题组别中脱颖而出。评审表示,此系统具备多项优势:高度实时性让家属可第一时间掌握病患情况;信息透明且客观,医嘱自动转录与摘要避免信息遗漏或曲解;自然互动体验使用者仅需以日常语言提问即可获得回答,大幅降低理解门槛。

此外,系统以AWS云端服务为基础,能快速扩展至多院区部署。此系统不仅能有效降低医病沟通不良的机率,更为台湾医疗体系导入AI应用开创了新的可能。