生成式AI必然会从以往高度仰赖数据中心的云服务，将部分具有隐私性、实时性的信息留在「端」的设备上处理。因此，搭载CPU+NPU的AI PC与AI手机，被塑造成可执行机敏运算，进行有效推论的终端设备，这也是现阶段我们看到终端设备的新商机。生成式语言模型　走向更快、更小、更准的新时代一开始生成式语言走的是大语言模型（LLM），2018年启用的GPT 1创造了风潮之后，整个大语言模型的世界风起云涌。之后的BERT、GPT 2、T5、Meena与Megatron、GPT 3等不同时代的更迭，激增的运算参数总量，背后是Open AI与微软（Microsoft）、Google之间的角力，而这是属于「云」层次的大语言模型之争。2021年之后，为了解决使用者的疑虑，更多公司推出针对专属应用的语言模型，诱使更多用户在分众领域与终端设备中启用人工智能的应用，这是边缘AI的源头，未来也还可能往电动车、工控应用推进。正在扩张中的人工智能大商机，也从最上游的晶圆制造厂，涌进最下游的终端设备、工控业。从短期商机来看，为解决GPU建构成本与耗能过高的问题，AI PC业者推出内建NPU的CPU平台，这种适合离线运算的大语言模型，总运算参数多数在100亿~300亿之间，这样的解决方案目前主要是由微软的Copolite主导，硬件制造厂、供应商扮演助攻的角色。在AI手机方面，已经有不少手机内建NPU，LLM的语言模型，参数量在10亿~100亿之间，目前手机应用处理器（AP）的供应商积极提高运算效能，但也必须克服存储器带宽的问题。面对这个快速成长的商机，微软Azure平台在2022年的11月推出免费版，让ChatGPT在两个月内累积了超过1亿的用户。之后在2023年的2月推出GPT-4 Plus，并以ChatGPT技术导入New Bing、Edge的应用，2023年9月推出M 365 Copolite，也预期新版的Windows会内建Copolite的功能。至于以AI PC为目标的两大CPU阵营，以英特尔、AMD主导的X86阵营，以及ARM阵营的高通（Qualcomm）、苹果（Apple）都在抢先布局，而用户端的则是惠普（HP）、戴尔（Dell）、宏碁、华硕等各种品牌业者。x86阵营的英特尔（Intel）使用自家Intel 4制程的Core Ultra处理器，而超微（AMD）则是倚赖台积电4纳米技术的Ryzen 8040，操作系统都是Windows OS。在ARM阵营方面，高通Snapdragon X Elite平台使用台积电4纳米制程，预计2024年下半推出。而苹果的M4则使用台积电第二代3纳米制程（N3E），这是苹果生态圈的专用处理器。据DIGITIMES估计，全球NB市场规模将从2023年的1.66亿台，增加到2024年的1.73亿台，其中AI NB的比重将达26%，也就是有4,500万台的NB装载新的处理器，并拥有推论的能力。在手机方面，预期2024年11.66亿支的手机市场中，有1.47亿支是具有推论功能的AI手机，比重是12.6%。短短一、两年之内，具AI功能的终端设备异军突起，上下游业者都希望分一杯羹，甚至往更远的电动车、工业应用发展，将成为下一波人工智能与云端服务的关键进展，而混合型的人工智能服务也将带来更多元的面向与商机。

在讨论HBM4标准界面对DRAM产业生态的冲击之前，让我们先回顾一下DRAM产业的现况。DRAM产业从2014年的20~22纳米制程，到2024年SK海力士（SK Hynix）跨入10纳米制程，整整花了10年的工夫。如果在过去摩尔定律还适用的年代，这样速度的制程进展只能算是前进2个时代节点，这是过去用3年时间就可以取得的成果。DRAM制程进展如此迟缓当然是因为DRAM物理特性所造成的限制：DRAM的记忆单元是电容，而电容值（capacitance）与电容面积成正比。在制程持续微缩过程中，电容面积理当会变小，因而电容能保持电荷—就是存储器单元中的信号—的时间会缩短，因此每次制程推进时，还要维持电容值不变，这就成了DRAM新制程研发时的最大梦靥。没有快速的制程推进，就无法在同一面积芯片上提高效能、持续快速的创造新价值。兼之DRAM进入1b、1a制程后，使用昂贵的EUV似乎无可避免，这让单位面积成本的下降更为艰难。如果制程快速推进无法成为芯片增加经济价值的手段，就得有其他增加价值的方式。譬如说，创造应用面的价值。目前DRAM在各类应用的标准界面相继出炉正是此一趋势的显现，从原先主流的DDR（Double Data Rate），再到适用于移动系统的LPDDR（Low Power DDR，节能）以及GDDR（Graphic DDR，宽频）、HBM（大容量、超宽频）等。也就是说，DRAM产品虽然还有统一的界面标准，但是产品市场正逐渐走向碎片化过程之中。产品市场分化的下一步就是定制化。定制化产品的供应与需求中间的关系是专买与专卖，因此可以很大程度的避开大宗商品（commodity）市场典型的周期性起伏状况。改变产业的生态样貌、藉以避免业务及财务的大幅震荡等，也许是这些想定制化HBM存储器公司的考量之一，特别是存储器市场现在正在经历为时不短的周期性价格低谷时期。但是市场开始分割细碎后，规模经济的威力也会跟着降低。原先DRAM市场由3家大公司寡头垄断的局面也可能会因之改变。原先DRAM产业的进入壁垒主要是规模经济以及先进制程相关的专利障碍。但是现在DRAM制程演进迟缓，兼之有许多小生态区开始出现，可以提供小公司的牛油与面包，寡头垄断的市场生态有可能变化。这也许部分解释SK海力士目前技术的想法。HBM4存储器的堆叠部分仍然可能选择统一的标准界面，在设计及生产上仍能大致维持规模经济的効力；定制化的任务就局限于底层的逻辑芯片。这样的安排大致能维持规模经济与定制化的均衡，获取最大利益。只是产业的产品界面标准存在的前提，是所有产业中生产产品的公司以及产品使用者愿意共同遵守。如果有些公司选择专有界面，便无业界统一的界面标准。无论如何，这是2025年就应该会有答案的，而其结果将牵动DRAM产业的生态样貌。

大势所趋，网络巨擘建构完整的产业生态系，让生成式AI在整个转折过程中处于枢纽地位，而这些网络巨擘从「云走向端」也是必然的趋势。过去，终端设备只是连结用户云端服务的界面而已，人们使用传统的手机、电脑，将各种问题抛到数据中心获得适当的解答。但所有的用户都忧心自己的提问成为网络巨擘训练数据中心的养分，用户从客户隐私到传输的延迟都有疑虑。在用户修正使用行为的过程中，边缘运算是最快受惠的族群，这也与台湾传统的优势息息相关。无论是AI PC或AI手机，都是第一波验证边缘运算的重要机制，台商为主的制造体系或许不是主要的获利环节，但其他新兴国家也很难抗衡。台商无怨无悔地全力投入，加上台积电「让竞争者看不到车尾灯」的竞争策略，生产制造的学习曲线反倒成为拉大领先差距的关键要素。随着时间的推移，原本隐身在后的台系供应链因为台积电突出的表现，以及了解台系供应链价值的NVIDIA因时而生，台湾在人工智能的新时代，必然会从隐身幕后的推手，变成协助科技大腕建构全球供应链的关键夥伴。就像不久之前频发的地震一样，当大地动能累积到一定程度时，适当地释放能量是最好的解决方案。1998年亚洲金融风暴之后，台商睥睨全球的OEM制造体系无法安于台湾的土地、人才条件，往国内移动是释放能量的选择，否则台商不会有今天的经济规模。现在这一波的人工智能大潮，加上美中贸易摩擦，台湾似乎又到了选择的时刻。过去政府是心不甘、情不愿地放手台商到国内设厂，现在面对的是越南、泰国、印度、墨西哥，甚至捷克、波兰的新选择，台湾会主动拟定战略，还是让厂商各自寻找生路呢？市值动辄上万亿美元的科技大厂，过去只关注局限于服务核心客群的议题，但现在更期待「整合＋垄断」，他们正在重塑品牌定位，背后的台商是可以快速回应技术更替，建构超前供应链的关键夥伴。以代工为主的台商一如既往，仍然是「无害的夥伴」，也预告未来10年将是台湾的黄金十年。

为维持NVIDIA在人工智能领域的领导地位，NVIDIA除了以CUDA软件掌握核心价值之外，因身上有台湾DNA，也不断地强调其与台湾、台积电的渊源，另在实务上NVIDIA甚至还掌握了服务器供应链的核心环节。以H100的芯片为例，DIGITIMES在一年多前报导NVIDIA向SK海力士（SK Hynix）直接采购HBM存储器的新闻，当时的市场需求让我们知道「something different」，但不足以让我们深度理解背后的情境。NVIDIA以H100 PCIe的模块卖给各大服务器品牌与云端服务业者，这是我们常见的OEM模式。之后我们开始追踪NVIDIA以PG 520 PCB的型号将主机板打板的工作交给富士康，整个系统的组装交给纬创。NVIDIA以自己的品牌DGX System销售到市场，甚至以DGX Cloud Service 的服务模式提供给微软（Microsoft）、甲骨文（Oracle）这些大型系统软件业者，并量身定做品牌服务工作。NVIDIA提供一条龙的服务，根据客户需求提供差异化的软件与硬件架构供客户选择。在上游的台积电供应不足的情况下，NVIDIA在不同环节有更高的主导权，也让其他竞争者望而生叹。谁在人工智能的地图与客户的雷达上？毫无疑问，在各种战略配套下，就像台积电在晶圆代工业的实力一样，NVIDIA建构了AI生态系的深沟高垒，竞争者很难越雷池一步。那麽这些深沟高垒到底包括什麽？我们必须了解过去英特尔（Intel）、微软、苹果（Apple）创造的模式，也许不会在短期内被推翻，但毋庸置疑的这些传统运作模式正在被改变，影响力也在削弱中。从前科技巨擘会先掌握发展平台，这个平台会与用户共构、发展，一旦到了规模之后，特别是针对企业用户的需求连结云端的服务。这种经营逻辑之下，代工厂照表操课，除台积电先期布局次时代技术的能力之外，多数供应链的厂商只是陪衬的角色，而品牌商的价值也在式微。这完全是符合资本主义、美式、西方成功企业的经营逻辑，甚至可以说，AI新时代的特色就是垄断！但拥有亚洲人DNA的NVIDIA大不同，黄仁勳动辄强调NVIDIA与台积电的关系，而一年跑台湾三、四次的频率，也是世界级企业领袖罕见的例子。我相信他不是回台湾吃麻花卷或眷村菜，他回台湾是绑桩来的。除台积电之外，黄仁勳需要富士康、纬创、技嘉这些重量级的制造大厂，确保整个供应链可以与他的总体战略相匹配，而这个系统短期内很难出现在其他的国家。强大如苹果、微软、亚马逊（Amazon）、Google这些公司，在台湾都有强大的团队，但NVIDIA绝对是极少数真正理解台湾优势，并且真正将供应链整合在自家经营架构中的超重量级企业。

在人工智能（AI）的大热潮中，NVIDIA如何一枝独秀，我们可以先从服务器的成本结构看起。传统x86的服务器总成本略微超过1万美元，但搭载8颗GPU的NVIDIA DGX H100系统，总成本将近27万美元，两者之间价差相距甚远。不仅英特尔（Intel）的市值被NVIDIA超越，现在连营业额都输给NVIDIA，NVIDIA更超越台积电、三星电子（Samsung Electronics），成为全球营业额最大的半导体厂商。NVIDIA的领先优势，从台积电、SK海力士（SK Hynix）两大供应商的营收也可以看得出来。在台积电有3纳米、4/5纳米、7纳米几个主要的先进制程，4/5纳米主要便是供应NVIDIA的GPU之用。在2024年第1季台积电各制程比重变化中可以得知，当专攻3纳米的iPhone出货走过旺季之后，交货给NVIDIA的4/5纳米制程成为台积电一枝独秀的时代。为满足NVIDIA的需要，原本计划落脚在铜锣的CoWos先进封测厂搬迁到嘉义，而CoWos的月产能预期也将从2023年的1.3万片，暴增到2024年的3.8万片与2025年的7.6万片。在存储器方面，过去几年三星DRAM部门的营收都是SK海力士的1.5倍左右，但NVIDIA最主要的合作夥伴是2015年率先量产HBM的SK海力士。在景气转变的2023年第4季，三星存储器部门（DRAM+NAND）营收成长率是33%，但SK海力士的DRAM部门成长率高达65%。事实上，从2023年第2季开始，SK海力士的DRAM营收便超过三星，关键就是与NVIDIA合作的HBM存储器。为满足HBM市场的商机，SK海力士的M15与M17工厂都调整扩厂结构与节奏，希望能快速扩张HBM产能，以满足高端服务器市场的需求。台积电魏哲家也说2028年时，AI服务器芯片的需求将贡献台积电20%的营收，显示NVIDIA的两大供应商都在财报中看好高端服务器的商机。2020~2022这三年间，全世界半导体厂商的排名依序是英特尔、三星与SK海力士，在以自己的品牌在市场上销售半导体的公司中，NVIDIA通常只能排名第六、第七。但市场从2023年起开始翻转，以制造服务取胜的台积电在上半年超越所有的半导体品牌厂，成为全球第一大半导体公司。下半年的NVIDIA更猛，2023年四个季度的营收分别为71亿美元、135亿美元、181亿与221亿美元。第1季与第4季的营收差距多达3倍，可以想像十倍速的时代正在发生，能尽快挪动资源的公司将成为市场上最大的赢家。风行草偃，我们看到围绕在NVIDIA四周的科技公司，都深怕错过这一波大潮。根据DIGITIMES汇整的预测数据，企业市值名列前茅的大公司中，微软（Microsoft）、苹果（Apple）、亚马逊（Amazon）、Google、三星是年营收超过2,000亿美元的超重量级公司，NVIDIA、Meta与Tesla也有1,000亿美元以上的规模。但在市值排名前12大的公司中，NVIDIA与台积电的净利率分别达到52.2%、37.2%，过去的霸主英特尔却只剩下4.6%。从营收与获利结构中，我们看到了时代的更替，AI主导的时代已经再明显不过了！

从NVIDIA、微软（Microsft），到台湾的台积电、广达、纬创、富士康等公司，都不断地以人工智能（AI）为主题探索企业的未来。新闻不见得都是真的，但很多新闻串连起来，就可以掌握产业发展脉络。毫无疑问，可能是产业兴衰更替的转折。DIGITIMES的黄逸平、陈辰妃两位资深分析师，近期以「生成式AI时代，科技产业大未来」、「生成式AI重塑边缘运算竞争新局」为题完成两份报告，我仔细读完之后汇整成几篇文章，也跟DIGITIMES的读者们分享。AI带来的时代变革AI因为2012年一次深度学习的大跃进而改变。AlexNet在识图竞赛中，大幅将错误率从26.2%降低到16.2%，之后GoogLeNet、SENet的几次进展，让图形识别的错误率低到比人类平均5%的错误率还低，深度学习不再是纸上谈兵，AI在供应链管理与智能制造的进展更让很多使用者惊叹。之后，生成式的大语言模型（LLM），在个人电脑、移动通信所累积的数据经济基础上大放异彩，我们开始在云端、边缘运算上，试着从水平的技术架构，与垂直的分众应用平台找出市场的空间。现在我们看到的是指数型成长商机，企业界挪动所有可以移动的资源希望分到一杯羹。2020年，基础模型（foundation model）新创只募得4,400万美元，到2023年时募到的资金竟然高达163亿美元，暴冲的NVIDIA在2023年时投入的企业创投资金已经排名全世界第四，仅次于微软、苹果（Apple）等少数公司。但多元分化的大语言模型，未来会是赢家全拿，或者只有少数赢家的现实之外，对台湾产业的启示又是什麽？过去在移动通信时代「低空飞过」的台湾新创产业，能在AI时代出现新的转机吗？对量产制造的台系供应链而言，除了台积电是比较明显的赢家之外，其余的台商又应如何因应呢？AI改变了产业格局多年来，台湾都是PC与手机的主要供应商，从NB生产衍生而来的服务器商机，让现在全球有超过9成的服务器来自台商之手，台湾成了供应链上最具实力的军火商。DIGITIMES估计，2022年全球高端服务器出货量仅有3.4万台，到2023年暴冲到17.2万台，成长率高达408%，2024年也还可维持150%的高成长。现在台商都在关注AI PC与AI手机的商机，估计2024年全球11.66亿支的手机市场中，AI手机的需求上看1.47亿支，而全球1.73亿台的NB市场，也会有4,500万台的AINB需求。除了快速扩张的市场需求之外，大家也都在关切X86阵营与ARM based的优劣势之争。原本营收仅是略高于超微（AMD）的NVIDIA，在2022年第4季开始明显超越超微，而与英特尔（Intel）的黄金交叉出现在2023年的第2季，从此以后双方的落差明显扩大，成长动能根本不能相提并论。我们可以理解，从2018年8月全球出现第一家市值超过1万亿美元的企业之后，陆续已有7家超越1万亿美元的门槛，资本大量流进科技巨擘之手，现在我们更明显看到NVIDIA的成长曲线，显示了人才、资金，甚至产能加速汇聚的动能。​​​​​​​一旦您的公司在特定领域取得压倒性的优势，您的财富也会跟着聚拢，现在这些科技大腕期待的不是可有可无，一肩之差的领先，而是整个生态系完整包抄的领先优势（待续）。

在人工智能（AI）迅速发展的环境中，有关伦理问题以及可能限制其发展的辩论变得日益突出。透过密尔（John Stuart Mill, 1806～1873）的作品《论自由》（On Liberty），我们可以探索合理限制AI发展的观点，强调在合理的范围内，个体自由、进步和追求知识的重要性。密尔的《论自由》被严复翻译为「群己权界论」，奠定理解社会控制和个人自由平衡的基础。我试图将密尔的哲学应用于当前AI发展的时代背景，以了解如何界定群己权。密尔主张自由开放的思想交流（Self-Development），或「思想市场」 （marketplace of ideas），是社会进步的重要因素。在AI发展的领域中，不受限制的信息和创新概念流动促进多元观点环境，有助于知识的成长。密尔强调个体自治（Individual Autonomy）。正如个体应该自由追求自己的兴趣和自我发展，AI系统作为人类创造力的延伸，应赋予演进和适应的自主权，以改善人类生活并应对复杂社会挑战。AI的发展改善人类生活，并增强应对复杂社会挑战的能力。在此过程中，必须尊重使用者的个体权益，并促进社会和谐。密尔的伤害原则主张（The Harm Principle），限制个体自由的唯一理由是防止对他人造成伤害。密尔的哲学也告诉我们须负责任地谨慎开发AI系统，遵从道德准则并优先考虑人类福祉，让其发展不会产生本质性的伤害。在AI算法的训练中，如果基于不公正的数据集或缺乏多样性而导致歧视性结果，则应限制这类不公平和歧视性的AI应用，确保考虑到社会的多样性。然而，我们很难限制AI算法，避免其误入歧途。 可行的方法是在AI芯片的设计中，直接加入艾西莫夫（Isaac Asimov, 1920~1992）的机器人三定律（Three Laws of Robotics），并在芯片制成过程中，将其直接写入硬件。密尔警告多数的专制（The Tyranny of the Majority），强调压制少数意见的危险。例如社交媒体平台的AI算法过度强调某一特定观点，可能形成信息泡泡（filter bubble），多数用户仅看到和接触到相似的意见和观点。这样的专制可能使得不同意见的少数群体的声音被忽视，并进一步加剧社会的分裂和不理解。密尔倡导紧密连结社会进步与知识和创新 （Societal Progress and Innovation） 的追求。AI是人类巧思的体现，从医疗到教育等各个领域实现变革性的进步。然而，AI发展也必须有序权界，社会才会健康的前进。密尔的《论自由》为深入探讨AI发展提供重要的伦理框架，强调拥抱个体自由、思想市场和知识追求的原则，是推动人类进步的核心价值。然而，在引导AI发展时，必须谨慎遵循负责任的道德原则。我们可以探索合理限制AI发展的观点，引导未来AI的方向，确保其符合人类整体利益，并实现可持续、负责任且对人类有益的发展。

2000年，比尔盖兹因为世界科技大会（WCIT）而到访台湾，2009年第二任微软（Microsoft）总裁Steve Ballmer访台停留了一天，这两次是微软掌门人唯二的访台纪录。至于英特尔（Intel）总裁Pat Geisger在2023年中三度访台，是为了拔桩、寻找与台积电对抗的机制，还是为了巩固台系供应链而来呢？从英特尔发布的新闻数据中，我们看不出英特尔在杠杆台湾供应链上有更创新的做法。超微（AMD）CEO苏姿丰也在访谈中提到她出生于台湾。但无可否认的，台湾在世界供应体系中，从过去的隐性价值慢慢浮上水面，成为各大企业争相合作的战略夥伴。简而言之，美系科技巨擘将经营重心放在服务客户上，NVIDIA挖掘出隐性的供应链价值，让台系厂商，或者包括SK海力士（SK Hynix）在内的供应链大厂，开始成为世界舞台上的要角。我们预言系统产品的品牌大厂（如惠普、戴尔、联想、Panasonic、Sony、三星、乐金等）不一定会消失，但将会像IBM一样，转型成为系统整合商，尝试在软硬整合、分众领域成为领导厂商。产业正在分化、重组，不是完全的Upside-down，但也与过去大相径庭。2024年很多公司都在面对转捩点，不仅英特尔、微软，日本的Sony该何去何从？三星、乐金正在改弦更张，台湾呢，以不变应万变？我常说：「所有的科技都不可靠，唯一可靠的是学习新科技的能力」，而现在的台商，长处就是不管是个人电脑、.com、移动通信、大数据、人工智能，台湾都是不可或缺的要角。赚得不多，但足堪温饱，只是台湾如何形成供应链中的价值主张与主导地位，则需要有一套完整的论述。过去台湾的供应链，甚至背后的半导体都是美系科技大厂基于效率、成本考量建构的，无论从品牌大厂的角度，以及之后在网络时代成为顶尖企业的公司，都是「圈粉」至上，先从建构品牌忠诚度与社群着手，然后慢慢延伸到B2B的云端服务，提供更完整的信息与数据服务体系。然而这种专注服务与软件的经营策略，固然可以让企业的价值极大化，但疏于耕耘后端供应链、制造制程与硬科技的企业文化，导致美国高端制造业不断流失，这种断层现象不仅深刻地影响了英特尔、美光（Micron）这些世界顶尖的制造大厂，事实上也连带地影响台积电、三星在美国布局的生产体系。科技创新可以迅速地扩展到全世界的各个角落，但产业、社会文化的养成需要更长的时间，短期间之内没有人看得到美国、西欧重拾工业时代的工匠文化，并内省制造工作的价值。不管您喜不喜欢，未来10年台系的供应链将更加重要，而台湾也必须重新定义自己在全球供应链中的角色与地位。

存储器产业中个别企业，如何考虑增加HBM带宽技术方向的选择呢？SK海力士（SK Hynix）是首先量产HBM的厂家，也是目前HBM市占率最大的厂家，约占市场一半的份额，其动向有指标性意义。延伸报导名人讲堂：高带宽存储器风云（一）进程技术的分野2023年11月Korean Business报导SK海力士的HBM4将采取2.5D扇出型先进封装技术，目的是要省却矽通孔（Through Silicon Via；TSV）昂贵的费用，而且有更多的I/O方式选项。报导中解释封装做法是将2片个别的芯片封装整合成1个，而且无需使用基板，堆叠后厚度会大幅降低。但是完全没解释如何将高达12~16层DRAM上下线路连通，而这原是TSV执行的功能。之后的报导都是这个报导的衍生物，未有新的信息。SK海力士4月19日发布新闻，说与台积电签订合作生产下时代HBM的备忘录。这个合作采用什麽先进封装技术呢？备忘录中也未说明，只在末了表示会优化SK海力士的HBM与台积电目前正在使用的CoWoS（Chip on Wafer on Substrate）技术的整合，以响应一般客户对于HBM的需求。备忘录中还有一个亮点，SK海力士计划使用台积电的先进制程来制造前述HBM底层的逻辑晶粒，增加额外功能，以满足顾客定制化的需求。这个做法以下将展开讨论。事实上，SK海力士自己已研发过铜混合键合技术，结果也在2022年、2023年发表在学术期刊以及会议论文集（conference proceeding）。另外，SK海力士与英特尔（Intel）和NTT于1月底发布在日本的共同投资，其投资标的也是矽光子。新闻中特别提到存储器芯片与逻辑芯片的连接，显然针对的是HBM与CPU/GPU之间连接的应用。只是这投资计划于2027年量产，对于HBM4的生产是稍为迟了一点。无论如何，SK海力士是做好了两手准备。台积电早已宣布于2025年开始量产矽光子，虽然起始的客户可能是其他客户，但是2026年肯定能用于HBM相关的生产，如果技术的选择是如此的话。综合一下上述信息，SK海力士对于HBM4的规划大致在原先2.5D封装或3D封装之间，取得价格与效能的优化；较长远的目标则是移往更快、更节能的矽光子。三星电子（Samsung Electronics）也早已验证以铜混合键合16hi DRAM堆疉的HBM，结果也早发表于期刊和会议论文集。三星也在2023 OCP（Open Computing Project）Global Summit中，发表其对于矽光子的想法。前文中类似CoWoS的结构与现今的先进封装结构相似，开发较容易。但是因为HBM与CPU/GPU底下都得加装光／电转换器，而且中介层需要以光通道替代，成本无疑会更高；而HBM置于封装之外的做法是新尝试，可能需要更多的发展努力，另外还要脑律散热问题。无论如何，三星也是做好两手、短中期准备。但是三星还有自己的逻辑设计、制造能力，包括CPU/GPU的设计和制造生产，它的利害与考虑不一定与SK海力士会一致。美光（Micron）在HBM上是后进者，目前正在急起直追，因此发表或公布的技术方案消息较少。最近的报导是它与其他厂商正在共同开发HBM4，技术方案目前没有详细内容，报导只说倾向于采取与韩国厂商不同的方案。HBM4量产预计在2026会先上12hi的，2027接着上16hi的，数据引脚数量会倍增到2,048。HBM4如果有业界共同标准，在2024、至迟2025就应该制定标准并公布，目前似乎离达到产业共识还有一段距离。因为在异质整合技术的采用上仍留有变动空间，而且此一技术选择将影响存储器次产业的面貌，甚至整个半导体生态区的重新配置。 

高带宽存储器（High Bandwidth Memory；HBM）是具有高带宽的图形存储器（Graphic Memory），其主要的功用是支持高效能运算（High Performance Computing；HPC）或人工智能运算中与CPU/GPU联合执行高速的平行运算。  HBM由数个DRAM堆叠而成，每个DRAM中又由许多容量较小的存储器单元组成。大数量的小存储器单元以高带宽的I/O与多核的CPU/GPU相连接，当成平行算中使用的缓冲存储器。 HBM的统一标准由JEDEC于2013年公布，2015年SK海力士（SK Hynix）率先开始量产。 以最近的产品HBM3E为例，其容量可达36GB，DRAM的层数为8~12层（8hi or 12hi）。最重要的，其数据引线（data pin）数目为1024，代表它可以同时提供1,024个数据平行储存。为了实施如此高的数据引线，在堆叠DRAM与中介层（interposer）之间使用将近4,000个微凸块（micro bump），而其间距（pitch）相当紧密—55微米，这已经接近微凸块技术的密度极限。HBM在多层DRAM堆叠的底层中，还有一个逻辑制程的基底晶粒（base die）。DRAM层与层之间的信号由矽通孔（Through Silicon Via；TSV）连接。目前异质整合HBM与CPU/GPU使用的先进封装技术为CoWoS （Chip-on-Wafer-on-Substrate），是2.5D先进封装的一种。在此封装中，HBM与CPU/GPU置于同一平面上。其下有一个中介层（interposer），HBM与CPU/GPU金属垫（metal pad）中的信号透过与其黏着的微凸块、由中介层内的连线（interconnect）送到另一边的微凸块上，这就是目前存储器与逻辑芯片异质整合的工作架构。 当HBM要再进一步演化、扩大带宽，预计其DRAM堆叠的层数将从原先的8~12层，再成长成12~16层。其数据引脚数则自1,024成长至2,048。所需要的微凸块数目可能会超越以目前的封装方式所能提供的。未来的HBM要与其协作的逻辑芯片会以何种方式异质整合，即为目前产业界看法有分歧的地方。  要提供更高的带宽，目前看到的可能技术有2种：铜混合键合（copper-copper hybrid bonding）与矽光子（silicon photonics）。  铜混合键合的工作概念相当简单，基本上是将2个分别制造的晶圆上重分布层（Reditribution Layer；RDL）面相对的黏贴在一起—金属对金属、氧化物对氧化物。这样2个芯片之间的信息传递就不必像传统封装的方式：先将一个芯片上的信号用与金属垫（metal pad）连接的微凸块引出，再用金属连线将信号送到另一个芯片对应的微凸块上。  铜混合键合大幅缩短信号传送距离、降低相应功耗，也改善其他的物理性质譬如寄生电容（parasitic capacitance）以及电阻值。最重要的，它的金属垫间距（metal pad pitch）可以降到10微米以下，最近的学术文章已开发出400微米的金属垫间距。这个数据显示用铜混合键合能提供比用微凸块高1至2阶秩的带宽，对于HBM4的更高带宽的需求显然没有问题，而且还有再进化的空间。  矽光子的基础运作机制也很简单：用光子来替代电子，成为传递信息的主要载子。它的好处显而易见：光子的速度比电子快100倍，而且光子在光纤中或光通道中传导理论上不会发热，不像电子在金属中传导一定会产生焦耳热（joule heat）。这个事实的应用其实很早就开始实施了。数据库之间、数据库至家戸之间早就以光纤替代电缆，接下来的挑战是在同一封装中甚或同一芯片中使用光子传导信息此一机制，前者就是现在热议的共同封装光学元件（Co-Packaged Optics；CPO），而后者就是矽光子。  目前NPU、GPU元件都已进入CPO中试验并取得成功。这是CPU/GPU与HBM的整合方案之一。实施矽光子的异质整合方法有2种。一种是沿用前述的2.5D先进封装结构，将中介层的铜连线改变成矽光子的光通道。另外，由于利用光子来传递信息，CPU/GPU与HBM两头都要装上光/电的转换元件。这个方法产业比较熟悉，但是成本较高。另一种方法是把HBM置于封装之外，利用矽光子芯片线路与CPU/GPU连接。这个方法DRAM部分可以维持相当的独立性，但是开发可能需要较长的时间。 相对的，铜混合键合在近年来已渐趋成熟。除了CIS（CMOS Image Sensor）早已派上用途外，像超微（AMD）将CPU与SRAM分别制造后，再用铜混合键合异质整合在一个3D先进封装之中。这些都是此技术成功应用的范例。矽光子与铜混合键合就是现在产业界面临的技术方向抉择，这个抉择的后果影响既深且远。