鑑往知來:Apps(行動網路)vs. Agents(大語言模型)
在前一文中,我們類比網際網路(Internet)以及現今大型語言模型(LLM)的發展軌跡,特別是網際網路的核心傳輸單位—封包(packet),LLM生成單位—語意單元(token),在基礎設施、商業模式發展上呈現出明顯相似性。透過回顧packet的發展路徑,我們試著描繪出token驅動的AI未來發展軌跡,並預判在產品形態、服務模式與產業價值鏈上的可能樣貌。另一可供借鏡的歷程,是應用程式(App)在行動網路時代所引爆的創新與變革。如今,在LLM/LVM多模態大模型推動下,一個以「Agent」為核心的應用生態正逐步成形。延續上文,我們嘗試從App的崛起歷程,看見代理(Agent)以及邊緣AI(Edge AI)未來的可能路徑。2007年開始,行動App實現即時互動與高速資料交換,行動用戶大量增加,源自於網路封包傳輸成本逐步下降,智慧型手機的運算效能與續航力的進展。App Store的出現更將過去分散、複雜的網頁互動模式,整合為圖形化、易於操作的應用程式介面,大幅降低使用門檻,使數位服務真正「行動化」、「普及化」。App 不再只是單一功能工具,更透過推播、定位、社群整合等特性,深度嵌入使用者生活。這也帶動「長尾效應」—不僅少數爆紅應用,而是無數利基型App滿足多元、個人化的需求。這場從網頁到App的轉變,不只是介面革新,更興起全新App驅動的生態系,翻轉整個數位服務的生產與分配模式,也同時快速推升行動裝置的需求(2017年達到高峰)。App Store 建構出一套雙邊市場機制,一端連結開發者創新、另一端連結全球使用者,使原本無法規模化的服務得以商品化、在地化與全球化。過去嶄露頭角的數位服務如Uber、LINE、Instagram皆倚賴App生態興起,而App的爆發也帶動晶片、感測器、模組、電池、記憶體等硬體需求,重塑行動裝置供應鏈結構,並促成新興品牌與 ODM/OEM 的崛起。Statista統計顯示,全球App下載量自2010年的60億次,成長至2023年的1,430億次,反映出App模式背後強大的規模經濟與網路效應。台灣廠商在這波行動化浪潮中,從晶圓代工、封裝測試到系統整合與 App 開發皆深度參與,建立完整供應鏈與生態網路。這段歷程不僅重塑行動產業結構,也為即將興起的AI代理(AI Agent)模式提供寶貴借鏡——當使用者介面再次從App進化為Agent,我們是否能搶先洞察使用需求、運算架構、標準制定與硬體整合的關鍵優勢?如果App是行動網路時代的使用介面,那麼由大模型LLM/LVM驅動的Agent,可能是 AI 時代的核心入口。Agent不僅理解自然語言(及各種感測訊號),還得具備任務規劃與執行能力,從單純對話升級為數位助理。透過多模態推理與工具鏈結,Agent的應用場景正快速擴展至自動化工作流程、專業諮詢、教育訓練與知識輔助等領域。未來極可能出現類似「Agent Store」的新型生態系,就如當年App Store一樣,匯集多樣化、可重組的智慧模組,滿足多樣性需求。這將加速硬體與軟體的分工整合,促進各種垂直應用場域(如工業、醫療、中小企業、消費者市場)中智慧代理的落地機會。隨著近來高效率推理模型的快速演進,以及LLM開源生態的蓬勃發展,更進一步推進這樣的可能性。同時,終端市場的實際需求也正在浮現,如中小企業的知識管理、自動化應用,以及工控領域中即時推理能力的渴望,也回應了市場的需要。終端裝置的硬體規格,也逐漸具備支撐Agent所需的AI算力與記憶體條件。隨著LLM開源社群快速演進,如13B等級模型已能在一般行動裝置上順利推理,token生成速度亦逐步接近應用需要,Edge AI的落地門檻正快速降低。根據預測,Edge AI晶片市場將自2023年的24億美元,成長至2033年的252億美元,年複合成長率高達26.5%。各大系統與晶片業者也已積極布局AI手機、車用SoC與AI PC平台。未來,Agent將可自然地嵌入手機、筆電、AR眼鏡、TWS耳機、機器人等多元終端裝置,成為新一代語言互動與任務導向操作的使用介面。當然,Agent技術的普及仍面臨諸多挑戰,除了使用者資料的授權與使用,日益增強的自主性也帶來安全、隱私、監管與倫理等層面的高度關注,技術本身的複雜度亦不容小覷。然而巧合的是,這些挑戰與機會的交織,恰如2007年行動網路時代初啟時的情境—從應用模式、生態系到硬體需求與供應鏈架構,皆醞釀著重塑的可能。Agent的發展,正釋出一種熟悉而微妙的訊號,預告另一波產業典範轉移的起點。
一個人武林的美麗與哀愁:論台積電的先進製程與封裝
從年初的CES 2025,3月的NVIDIA GTC,到4月台積電在北美的技術論壇,以及即將登場的COMPUTEX,這幾場科技大秀,在在顯示AI伺服器的發展與半導體先進製程及封裝技術,有著不可分割的緊密關係。幾年前NVIDIA執行長黃仁勳在媒體上說過幾次「摩爾定律已死」。當時我不太理解其中的涵義,直到最近讀完Stephen Witt所著《黃仁勳傳》(The Thinking Machine: Jensen Huang, Nvidia, and the World’s Most Coveted Microchip),才了解到個中道理。書中談論到由2012年到2022年,GPU運算能力增加10,00倍,其中屬於硬體的電晶體速度(clock rate)只增加2.5倍,換言之剩餘的400倍來自軟體程式及數學公式。400倍相對於2.5倍,自然會說摩爾定律已死,更何況NVIDIA在黃仁勳眼中一直是家軟體的公司。但是事實真的如此嗎?如果以NVIDIA GPU從2012年的Kepler到2022年Hopper GPU,製程技術由28奈米演進到4奈米,電晶體數目由71億顆,一口氣增加到800億顆;運算的單元CUDA core也從不到3000個,擴充到將近15,000個核心。雖然電晶體的速度僅增加2.5倍,但是由於單一晶片的運算核心的數目增加了,算力自然就大幅的提升。如果再加上CoWoS及3DIC的先進封裝技術,不僅將多個記憶體晶片(HBM)垂直堆疊在一起,而CoWoS技術更將GPU與記憶體晶片,能緊密地在水平方向擺放在一起。這些先進的封裝工藝,最重要的就是希望數位訊號這這些晶片中傳輸,能夠走最短的路徑。這樣一來不僅訊號傳輸的延遲可以縮短,功耗亦可以降低,算力自然就提升了。Blackwell GPU已經利用CoWoS技術,將2個GPU晶片無縫接軌地綁在一塊,下一代Rubin GPU將會擴充到4個GPU晶片連接一起。台積電更提出在2027年實現SoW(system on wafer)。也就是在矽晶圓上或其他形式的基板上,水平放置更多的GPU,甚至開始做GPU的堆疊。這些先進製程及封裝上的努力,無非是把更多的運算單元,及暫存的記憶資料,在很小的空間內完成執行,以增強其運算效能。依據此原則,同樣的在伺服器機櫃的設計,也是希望在一個機櫃內放置更多的GPU。因此GB系列一個機櫃內有72顆GPU,到了下一代Rubin會有144顆GPU,而Rubin Ultra更在一個機櫃內放置多達576顆GPU。機櫃的設計也由原先水平擺放的tray盤,改為直立式的插槽,以增加GPU密度。這一切硬體上的努力,無非是要提升整體的運算效能,但也衍伸出電源的供應及如何散熱的問題。GB伺服器系列一個機櫃所需的功率在120~150KW,Rubin Ultra將會達到600 KW~1MW。若是一個數據中心擁有500個Rubin Ultra機櫃,那就約略等於一個核子反應爐所產出的電力。屆時Rubin Ultra的散熱,恐怕只有浸潤式的液冷一途了。台積電在4月的北美技術論壇,在先進封裝領域著墨甚多。除了SoW、矽光子、3DIC之外,更規劃在電源最後一級的轉換IVR(integrated voltage regulator),嵌入至CoWoS內的中介層(interposer)。所以在先進製程上,台積電已經是一個人的武林,不久的將來在先進封裝領域,台積電會是另一個一個人的武林。一個人的武林所衍生出來的就是,如影隨行的反托拉斯法(antitrust)。為了淡化台積電在先進製程的主宰地位,董事長魏哲家曾建議將先進封裝也納入半導體的範疇,藉由分母的擴大以降低百分比率。然而目前實際上的發展,恐未能如其所願。英特爾(Intel)之前為了解決CPU市場獨佔的問題,不僅付給超微(AMD)一筆和解金,並技巧地讓超微成為有實力的競爭者。先進封裝相較於先進製程,可以有較多的可行解決方案,群策群力,不必然是一個人的武林。美麗與哀愁,端視我們的態度與做法。
中國曝光機發展現況:EUV
中國工信部宣布DUV訊息的同時,上海微電子也發布其2023年申請的EUV專利、2024年9月專利申請公開的消息。延伸報導專家講堂:中國曝光機發展現況:DUV上海微電子的EUV使用的也是現在商業主流的二氧化碳(CO2)雷射,波長為10.6奈米。鍚的液滴(droplet)先用釹釔鋁石榴石雷射(Nd:YAG laser)打成圓盤狀後,再被CO2雷射離子化(ionized)變成鍚電漿(plasma),然後其外層電子向低能量態躍遷(transition),釋出波長約為13.5奈米的光子。之所以要用如此複雜的工序來產生EUV光源,是因為在此波長沒有自然的物質的能階差可以產生如此短的波長。選擇13.5奈米是因為波長再短一些,就變成X光(0.01奈米~10奈米)。EUV也很可能是矽基半導體技術的最後一種光源。矽的共價鍵(covalent bond)長度為0.543奈米,而要形成一個塊材,至少也要有10幾20個原子,否則介面的效應就會嚴重影響電子於其中的行徑。13.5奈米光的解析度以及應有的工程努力如加大數值孔徑等—最多再加上多重曝光—要處理這樣的臨界尺寸儘夠用了。所以上海微電子的專利的權利請求(patent claim)主要在光源之外的系統。至於原型機或量產機型的交付,沒有官方宣布或較正規新聞。2024年12月30日哈爾濱工業大學因「放電等離子體極紫外光刻光源」工作獲得中國黑龍江省的科技創新成果轉化大賽的一等獎。這獎只是地方獎項,能引起後續新聞報導自然是因為它牽涉到EUV的光源產生。它產生光源的方式與前述的以CO2雷射來離子化圓盤鍚滴粒,藉以產生13.5奈米光源的工作方式—雷射產生電漿(Laser-Produced Plasma;LPP)不同,它是施加高電壓藉以離子化鍚滴粒產生13.5奈米光源,此種方法稱放電產生電漿(Discharge-Produced Plasma;DPP)。報導中說它產生的線寬較窄(narrow linewidth)—也就是所有光的波長較集中於13.5奈米、功耗較低。二者說法都有誤導之嫌。LPP與DPP產生的EUV光都不是相干的(coherent)。如果硬要比較的話,LPP產生的光線寬較窄,但二者均可以經濾光器(filter)將線寬控制在可接受範圍內。而DPP的原始功耗較低,恰恰好成為當初與LPP競爭成為EUV光源候選人時未能雀屏中選的主要原因。在相同的能源轉換效率(energy conversion efficiency)條件下,光源較高的功率輸出代表較強的光亮度(light luminosity),可以用較短的時間完成曝光,提高曝光機吞吐量。DPP EUV能量的提升(scale up)較為困難,因此用來當量產機台的光源挑戰也更大。最後是在2025年3月在《中國激光》期刊上中國中科院上海光學精密機械研究所由林楠領導團隊所發表的〈1um激光激發固體Sn靶等離子體EUV幅射特性實驗研究〉。林楠曾服務於ASML光源團隊,對此題目的產業商業化考慮應該十分熟悉。文章中的1微米固態雷射(solid state laser)使用的就是前述用來將鍚滴粒打成盤狀的Nd:YAG雷射。固態雷射由於其體積較緊緻(compact)、電光轉換效率(electrical-to-optical conversion rate)較高(~20%),而且目前輸出功率已達千瓦級,未來可能可以提升至萬瓦級,有望取代CO2雷射,成為驅動EUV的主要雷射。文中指實驗的能量轉換效率已達3.42%,若用已商業化的1kW固態雷射,已可來做曝光驗證、光罩檢測(mask inspection)等工作,並且在一定條件下,進一步用於先進節點的臨界尺度以及疉加精度的量測。也就是說,這是一個未來EUV機台的研究起始點。產業此時的現實考慮是從CO2雷射波長10.6微米轉換成Nd:YAG雷射波長1微米對於光源次系統是一個全新的轉換,所有的工程工作必須重新來過,而且CO2雷射用於LPP EUV商業化已久,目前的成本遠低固態雷射的。所以這個工作更傾向於對未來可能發展方向的研究準備,對於目前的先進製程的突破,短期間內是使不上力的。近期的這些報導距離真正的工程實施都有相當的距離,進步也比較片面。一個EUV曝光機包括EUV光源、光學系統、真空系統、光罩版台及夾具(reticle stage and clamping)、晶圓台(wafer stage)、熱管理(thermal management)、計量和感測器(metrology and sensors)、控制電子設備(control electronics)以及軟體及韌體(firmware),大大小小的零組件計100,000個以上,其中很多零件是專為EUV機台量身定製的。建立此一龐大、複雜、精確的供應鏈隊伍的難度,可能更甚於對單一技術課題的突破,我認為這是中國在發展自有曝光機的最大挑戰。
中國曝光機發展現況:DUV
在中美貿易戰中,美方施力的重點在於箝制中國高科技的發展的進程,特別是半導體、人工智慧和量子計算,而前二者息息相關。 在半導體方面,美國的管制近乎遍及全產業鏈,從設計工具(EDA)、產品、製程設備乃於材料的禁運,中國自然是以國產替代以提高自給率,這也是涵蓋全產業鏈的回應。 中國在半導體設備領域的弱點包括電子束測試機(e-beam tester)、離子植入機(ion implanter)和曝光機(lithography equipment)。 電子束測試機是量測機台,基本上是用來偵測除錯,不是製造過程的一部分。離子植入機—特別是高能量(~1MeV)的,對於高壓碳化矽(SiC)MOSFET的製程至關重要。現在的電動汽車電壓已早從600V邁向800V、1200V。沒有高能量離子植入機無法製作車規高壓功率元件,對於中國電子產業的零件自製率影響巨大。 最令人關注的自然是曝光機(lithography equipment)。曝光機的能力代表先進製程的終極解析度(resolution),又與先進技術節點(technology node)直接相關。先進製程的主要應用之一是與算力高度相關的各式XPU,特別是專注於人工智慧應用的GPU;另一個應用也是在人工智慧晶片架構中的高頻寬記憶體(High Bandwidth Memory;HBM)。 從2024年9月起,中國就陸陸續續的傳出各式曝光機進展的相關消息,對於全世界的半導體產業,這自然是頭等的新聞焦點。 首先是中國工信部指導目録中的DUV曝光機,在2024年9月公布。 本質上,這就是一台乾式的DUV曝光機,光源是氟化氬(ArF)的準分子(excimer)雷射,氟化氬雷射波長為193奈米 。 此曝光機的解析度為65奈米,如果假設系統中其他性質都已達最佳化,則其物鏡(objective lens;系統中用於收集光線、用以呈像的主要透鏡)的數值孔徑(NA,愈大解析度愈好)推算起來大概是0.75。如果要進一步改善解析度,還要經過另一陣子的努力以達目前產業前沿水準0.93的數值孔徑。也就是說,在光學系統的發展目前還處於較早期階段。 至於其疊加精度(overlay accuracy;上下層圖案的對齊精度)為8奈米。要能產生65奈米臨界尺寸(Critical Dimension;CD)的製程,上下層的疉加精度要達臨界尺度的20%左右,也就是13奈米。如果要做雙重曝光(double exposure),則疊加精度必須提高到13/2奈米=6.5奈米。顯然此台曝光機目前的解析度就是65奈米,而且無法透過雙重曝光的手段進一步提升製程的解析度。 再往前的路,除了前面所述在物鏡的數值孔徑需持續提升之外,另外還需要往浸潤式(immersion)方向移動,利用水的折射率(refractive index)1.44較真空的折射率1為大的因素,提高曝光機的整機解析度,這樣才可能達到28奈米的解析度。至於像FinFET這樣的精密元件,部分製程就要動用到雙重乃至於多重曝光。浸潤式曝光機使用新機制以改變波長,自然要面臨新的問題,譬如水的純淨度的控制以給水溫均勻恆定的維持等。這個部分自然也有機構早已從事研發,譬如中國中科院長春光學精密機械與物理研究所正在開發的數值孔徑為0.8的浸潤式物鏡;承擔浸潤式曝光機的光源攻關任務的是中國中科院光電院、微電子所孵化出來的科益虹源;電源模組則是由中國中科院安徽光機所的團隊承擔開發任務。多梯次技術平行開發是可以想像的技術發展方式。 自2023年以來偶有上海微電子已開始交付其28奈米浸潤式DUV的新聞,機型為SSA/800-10W,疊加精度為1.9奈米,最近一次的傳聞為2025年1月7日交付。惟上海微電子公司產品目錄無此型號,沒有官方發布,亦無可靠媒體報導。根據其型號中的10W字樣,此機型最多為原型機,因為其光源能量不足,無法支撐量產所需之吞吐量(throughput)。這條工信部指導目録的消息沒有公司送原型機(prototype)到晶圓廠用線上製程調適機台的後續報導,所以出貨與否未可知;而且從原型機到量產機,總是要有好些時日。 至於前一代的90奈米 DUV機台已自2022年交付過幾台,初期主要的問題是系統不夠穩定、down time太長、因光源功率不足(20W)致使設備吞吐量太低。所以,這條新聞對於中國積極發展曝光機國產替代的意義要重於先進技術的實際突圍。
DRAM 製程發展方向:3D DRAM
從20奈米以後,DRAM製程開始龜速前行。從19奈米到11奈米之間,以每次1~2奈米的速度進展,跌跌撞撞地經歷1x、1y、1z、1a、1b、1c以及未來的1d,共計7個製程。雖然現在仍使用平面(planar)DRAM製程,卻早已經大幅的利用與晶圓垂直的第三維度,使得DRAM在效能、功率上,還能有實質的提升;在晶片的密度上進展比較遲緩,看來有點雞肋,但是對於有些應用—譬如高頻寛記憶體(HBM),稍為提升密度還是有實際用處的。要達到HBM每個世代的記憶體容量標準,只有特定的製程世代有能力提高到如此高容量的記憶體晶片。但是在每位元成本方面,製程的推進因為製程變得複雜,對於降低位元成本已毫無貢獻。以三星電子(Samsung Electronics)現在的1b製程為例,就使用5層EUV,因而所費不貲。DRAM市場短期內不會平白消失,但是如果其製程推進還是繼續如此緩慢,仍然會逐漸失去其高科技產業的特性;高科技產業之所以能獲取高額的利潤,是因為其科技的快速推進可以重複運作。現在DRAM製程的緩慢推進、乃至於停滯是DRAM業者共同的夢靨。10奈米以下,目前各DRAM業者共同的技術推進方向大致是3D DRAM,只有三星會在1d製程之後試圖導入垂直通道電晶體(Vertical Channel Transistor;VCT)。垂直通道電晶體基本上是將晶圓上平面電晶體的結構豎著長,減少每記憶體單元的底部面積,從傳統的6f2縮小為4f2,其中f(feature size)為半導體製程的特徴尺寸,譬如半金屬間距(half metal pitch)。這樣的製程推進,大概稍大於10奈米級製程推進一個世代的效益,然而這只是一次性的方法—下一步可沒另一個方向可以再利用了。最主要的是垂直通道電晶體與未來的3D DRAM製程完全不沾邊,研發的努力只能使用一陣子。因此並不是所有DRAM公司都做此想。3D DRAM的引入第一個問題不是為何要引入3D製程,而是為什麼到此時才引入3D製程?畢竟所有的DRAM大廠都有3D NAND的技術。當2013~2014年3D NAND技術開始被引入時,DRAM的製程也早已在25~20奈米左右,即將進入龜速前進的10奈米級製程年代。用已經成熟的3D製程技術來推進舉步維艱的DRAM製程似乎是理所當然。問題還是出在DRAM的結構上。一個線路要能夠用3D製程來製作,有幾個先決的條件。首要的是線路要有高度的重複性,無疑的,記憶體的陣列是3D製程應用的首選。在此點上,DRAM是符合的。再來是各層記憶體之間要有可以共用的材料。以TCAT(Terabit Cell Array Transistor)3D NAND的技術為例,各層之間記憶體單元的閘極控制(gate control)材料複晶(polysilicon)以及電荷陷阱(charge trap;用來儲存NAND訊號的單元)材料氮化矽(silicon nitride)是可以在各層之間共用的,因此垂直方向的製程整合相對簡單,32層的記憶體可以用4、5層光罩來完成。但是3D DRAM的結構就沒有這麼幸運,電容部分必須完全隔開以避免記憶體單元之間的訊號交談(cross talk);通道部分因為DRAM追求高機動性(high mobility),不能用在高寬高比深溝中的輕摻雜(light doped)複晶做半導體,各層記憶體之間可以共用的材料只有字線或位元線,端看3D DRAM是要求垂直製程的簡化或面積的極小化。另外,DRAM效能遠比NAND為高,所容許的訊號延遲(latency)很低。各層記憶體之間因緊密相鄰所產生的感應電容(induced capacitance)等效應都會降低DRAM的表現以及訊號的協同,因此3D DRAM的確比3D NAND的工程問題要複雜得多,這也解釋為何3D DRAM製程遲遲沒有上路。無論如何,DRAM產業維持高科技產業特性除3D DRAM外已幾乎沒有前路,譬如以前在文獻中經常被提及的無電容(capacitorless)DRAM,其資料保留時間(data retention time)遠不能與目前的DRAM相比。2023年7月長鑫在IEEE的International Memory Workshop發表其對3D DRAM的規劃,三星也在同年的Symposium on VLSI Technology and Circuits發表其3D DRAM的技術論文。可見關於3D DRAM的議題各公司早已準備很久,只是研發結果發表的時機及場合各有考量罷了。根據長鑫的設計,2D DRAM的電容—電晶體垂直堆疊的組合在3D DRAM中就被橫擺著成為一層中的一個記憶體單元。長鑫模擬出來的記憶體單元有多大呢?橫躺的電容約500奈米、電晶體200奈米,加上字線和位元線,一個記憶體單元橫方向的尺度接近1微米。長鑫採取的製程是字線垂直到下邊的接觸平面,這個做法會讓記憶體單元的面積稍大,但是垂直的整合製程會比較簡單。在技術發展的初期,先做出來再做好是合理的策略。至於記憶體陣列旁的周邊線路(peripheral circuits),師3D NAND的故智,會在另外的晶片上製造,然後用混合鍵合(hybrid bonding)與上層的單晶(monolithic)記憶體多層陣列封裝在一起。字線和位元元線的金屬間距都是70奈米。用以前DRAM製程定義半金屬間距來看,這個起始製程大概就是35奈米節點,與3D NAND剛開始時的30~40奈米製程相彷。這樣的3D DRAM堆疊32層後,所得的記憶體容量與1b的2D製程相彷。堆疊64層後容量就與10奈米以下第一世代製程0a相彷。這個堆疊是個可以重複的進展,DRAM的高科技產業屬性因此得以維持。目前有發布大概推出時程的是三星,大概在2026~2028年之間,與2D平面製程會並存一陣子,這與3D NAND剛出來時的策略也相同。假設3D DRAM的確是可行的技術,有2點值得評論。第一個是高頻寬記憶體是否會沿著目前的方法向前推進?目前的HBM是多個DRAM晶片以先進封裝堆疊以達到較大容量,其中先進封裝的費用佔總成本的相當部分。如果記憶體容量可以用單晶的3D製程來增加,成本有可能降低。但是這是比較長遠的事。另外一個議題有關於地緣政治。長鑫在其文章中說是業界第一次揭露3D DRAM技術,其實業界各自默默研發都很久了,但是長鑫對於3D DRAM的應用可能會特別有感。一方面目前長鑫的製程大概在1z節點,與領先公司有2、3代的差距。開始採用3D DRAM製程,可以快速拉進距離,畢竟那是一個新戰場。最重要的是3D製程中,技術的重心將從光刻搬移至蝕刻,這是長鑫在EUV資源受制約的狀況下,最可能的突破口。所以各公司3D DRAM製程的實際發展狀況和開發能力外界也許看不清楚,但是長鑫比較有可能投入較多資源是合理的預期。
DRAM 製程發展方向:DRAM結構在製程微縮中的挑戰
DRAM在1970年問世,取代以前的磁芯(magnetic core)記憶體,成為計算機馮諾伊曼架構中的一個重要模組。在1984~1985年之間,因為個人電腦及工作站的興起,DRAM變成半導體市場中市佔最大的單一產品。 因為DRAM製程的進展直接決定記憶體容量,以及DRAM有較大的市佔,有能力累積足夠的資金以投入下世代的製程研發,DRAM自問世以後就成為摩爾定律主要技術推手(technology driver)。肇因如此,自1980年代後陸續投入半導體產業的日本,以及其後的南韓、台灣,許多公司都選擇投入DRAM此一次產業,因為這代表投入半導體產業中最先進的製程。 但是DRAM的製程領先地位在2000年初不久之後首先被NAND超越,之後邏輯製程又超越NAND,成為半導體製程技術的驅動者。 DRAM開始偏離摩爾定律並不是之前促使DRAM成為技術驅動者的因素消失了。事實上,到2024年為止,記憶體仍穩佔半導體市場的4分之1左右,而是DRAM的基本結構在20奈米以下遇到尖鋭的挑戰。 DRAM的記憶體單元(unit cell)結構為1T1C,亦即一個讀取電晶體(access transistor)和一個電容。選電容當成訊息儲存單元天經地義-電容是電路三元件電阻、電感、電容中的一員。 電容上電荷的有、無代表訊息的「1」和「0」,需要讀、寫電容上的訊息時,就開啟讀寫電晶體。基礎物理教育告訴我們電容上的電荷,即使維持電容兩邊平行電板(parallel plate)的電壓差不變,電荷也會隨著時間逐漸流失。電荷流失的速度與兩片平行電板之間的距離成反比,與平行電板的面積以及在平行電板之間物質的介電常數(dielectric constant)成正比。因為電容上的電荷會隨時間流失,所以電容上的資訊必須經常更新(refresh),目前DRAM中的資訊刷新時間為64ms。 為了要控制個別的記憶單元,每一個單元的電晶體的閘極(gate)連有字線(word line),施加電壓後可以讓電晶體處於開啟狀態,可以用來執行讀、寫或更新的操作;位元線(bit line)則連接電晶體的汲極(drain),將自電容通過已開啟電晶體的電荷送到感測放大器(sense amplifier)偵測0或1的訊號。如棋盤線交錯的字線和位元線可以準確定位一記憶體單元,讓周邊線路挑選以讀寫其中訊息。以上就是DRAM運作的大概架構。 DRAM製程持續推進的挑戰,也正源自於這1T1C的架構。製程微縮的方向,與DRAM使用的電晶體以及電容所需的物理特性是朝反方向走! 首先遇到的是電容值的問題,2000年左右的電容值必須保持在40fF(femto Farad)左右,那時的電容已開始利用晶片上的垂直方向此一維度,電容要嘛挖成深溝(trench)狀,放在電晶體旁的下方;要嘛堆壘成圓柱狀(cylinder or pillar),置於電晶體上方,也就是利用垂直於晶片的方向面積的延伸來增加電容的面積。 但是製程的微縮會讓圓柱的底部縮小,電容的面積因而減少,電容值也會隨之降低,所以必須增加電容的高度,以增加電容的面積,藉以維持電容值在一定的數值以上。以10奈米級別製程為例,電容值必須維持在10~20fF以上。 但是減少圓柱底部面積、增加圓柱高度,就是增加圓柱的寬高比(aspect ratio),這會造成蝕刻製程的難度,圓柱底部較尖銳的形狀也會造成新的電性問題,所以寬高比就停留在1:50,難以再推進。 至於電晶體,記憶體的與邏輯線路的注重不同的特性。邏輯電晶體注重效能(performance),也注重漏電流(leakage current)及其它特性;DRAM電晶體首重漏電流,因為這對電容保存訊息的能力是致命。 電晶體存在漏電流的原因之一是柵極感應汲極洩漏(Gate Induced Drain Leakage;GIDL),指的是在柵極的位勢(potential)高於汲極的位勢時,即使電晶體處於關的狀態,電流仍然會從汲極洩漏流向襯底(substrate)。 這個問題是歷年來DRAM製程推進都要面對的問題,而且愈來愈嚴苛。 DRAM近年應對這個問題的措施包含在電晶體結構的變更,包括凹槽式通道陣列電晶體(Recess Channel Array Transistor;RCAT)、鞍鰭電晶體(saddle-fin transistor)、具有閘極工作功能控制(gate work function control)的埋柵(buried gate)電晶體等結構。 但是製程微縮也是朝不利於漏電流控制的方向移動。由於電晶體通道變短,於其上的閘極對於通道上的電流操控能力變弱,這就是短通道效應(short channel effect)。漏電流的降低也高度挑戰製程研發。
鑑往知來:packet(網際網路)vs. token(大語言模型)
從資訊技術演進的歷程來看,過去數十年來網際網路(Internet)的核心傳輸單位—封包(packet),與現今AI時代的大型語言模型(LLM)生成單位—語意單元(token),在基礎設施、商業模式發展上呈現出明顯相似性。透過回顧packet的發展路徑,我們可以摸著石頭過河,描繪出token相關技術的潛在演進軌跡,並預判其在產品形態、服務模式與產業價值鏈上的可能樣貌。何謂封包(packet)?封包是網際網路資料傳輸的最小「訊息單位」。所有透過網路傳輸的訊息(不管是信件、語音、甚至影片串流)都被拆解為多個封包,每個封包內含傳輸資訊等重要資訊,確保資料在龐大複雜的網際網路中,正確無誤地抵達目的地。過去數十年,網路基礎設施的投資便是圍繞封包品質的確保(如錯誤重傳機制)、提升傳輸效率(如頻寬升級、資料壓縮),以及整體系統吞吐量(throughput)的擴展而展開。正是如此,過去三十年來,我們才有日益豐富的網路服務,如訊息溝通、電子商務、社群媒體、影音娛樂等。而在LLM中,token則成為關鍵「智能單位」。語言模型在處理自然語言時,將一段文字訊息拆解成多個token,每個token代表不同的語意片段,經由模型運算後再組合(生成)為有意義的內容。與封包相似,token的數量和生成效率直接影響運算成本以及使用者體驗。例如,過去3年AI運算基礎建設投資的大幅增長,就是為了確保LLM模型的能力(token品質)以及服務品質(token生成效率),甚至近期邊緣裝置上token處理能力的提升,也正逐漸顛覆AI應用的場域邊界,向更多元、即時且全新的場域擴張。單看過去三十幾年網際網路packet的發展,我們發現token也在走類似的進程。不管是基礎建設,或是3個技術優化方向,包括「品質保障」、「效率提升」,以及整體「系統吞吐量的擴展」。品質保障:網路早期透過TCP/IP協定來確保封包傳輸的正確性,而LLM則透過scaling law加大模型、使用更多訓練資料,甚至後來以思維鏈(Chain-of-Thought;CoT)為基礎的推理技術,確保生成的token內容正確且提供高品質推理服務。效率提升:隨著頻寬提升和資料壓縮等技術的成熟,封包傳輸成本大幅降低;同樣地,token處理成本亦透過模型蒸餾(distillation)、量化(quantization,使用較少位元表示數值)、KV Cache等張量(tensor)降維壓縮,或是使用更有效率的架構(如MoE)來降低運算量,甚至有機會使大模型有效地運行於終端裝置。系統吞吐量擴展:過去網際網路透過光纖技術和提升邊緣設備(交換器、路由器等)大幅提升資料傳輸量,或是使用內容傳遞網路(CDN)等技術提高封包全局效益;在LLM領域,資料中心的垂直擴充(scale-up,提高算力、記憶體等提昇單一伺服器效能)與水平擴充(scale-out,高速網路連結、排程提升分散式系統效能)、或是採用雲端—邊緣混合架構(Cloud-Edge-Hybrid)等,實現整體系統更高的token處理吞吐量,滿足未來多元且即時的應用需求。循著過去網際網路發展的主軸,我們可以預見AI技術即將引爆的下一波變革—智能「去中心化」(普及化),低成本token開始在終端設備上運行。情境將如同2007年行動網路興起之際,packet進入行動裝置,催生智慧型手機,也推動Uber、LINE等全新服務的誕生,引爆長達十數年的行動生態系蓬勃發展。網際網路數十年來最佳化packet傳輸技術,帶動網路服務的快速普及,特別在行動網路時代,我們見證大量新應用與商業模式的誕生。這段歷程也為觀察生成式AI提供重要參照—當前token的品質提升與單位成本下降,正如當年packet優化所引發的技術擴張與資本投入,預示著新一波智能設備與創新應用的興起。隨著token處理成本持續降低,AI有望成為如網路般的關鍵基礎設施,深刻重塑產業結構。近來多個開放LLM模型在效能與成本上的突破,更強化LLM商品化與大規模應用的趨勢。未來如何因應?過去的歷史已經顯明,在技術變革時,應以開放的態度,極力接近實際場域,理解技術應用發展方向,甚至與合作夥伴共同設計開發,參與組建生態系。更積極的作法,是投資(國際)學研單位,甚至新創團隊,理解新的場域應用,以及技術演進。鑑往知來,回顧packet的發展經驗(許多企業經營層也曾親歷其境),將使我們更有效地掌握token所帶來的顛覆性機遇。對資訊電子產業的投資者與決策者而言,更是攸關未來競爭優勢的關鍵課題。每一次產業典範的轉移,總會帶來新的硬體、服務、企業、生態系,甚至整個產業格局的興起與殞落。當我們已清楚AI大模型即將重塑未來十年的產業樣貌,或許網際(行動)網路曾走過的歷程,正可作為產業AI戰略規劃的重要借鏡。
AI大語言模型無法馴服π
和一個人一生中相關的數字,都可以在圓周率的某一個位數找到。這是因為圓周率(π)是一個無理數,也就是說,它的十進制展開既不終止也不循環,並且其數字序列是隨機的。儘管目前沒有證據能證明圓周率的數字完全隨機,數學家普遍認為圓周率的數字分布沒有任何規律或模式,每個數字序列都有可能在某一位數中隨機出現。這意味著,無論選擇哪個數字組合,包括個人的生日、電話號碼或重要年份等,理論上都能在圓周率的某個位置找到。這些數字可能會在圓周率的某個長段中出現一次或多次,具體位置由數字的隨機分布決定。這種現象與數學中的均勻分布有關,這表示所有數字(0~9)在圓周率的各個位數上出現的機率理論上是相等的。因此,任何有限長度的數字組合都有可能出現在圓周率的某個位置。以最奇特方式運用圓周率的人,應屬高德納(Donald Ervin Knuth)。1969年時他開始發展一種計算機語言,讓使用者能夠以數位方式排版數學公式。接下來高德納花十年功夫,設計一套論文排版系統TeX,並以圓周率來當開發版本編號,由TeX3開始,現在的版本是TeX 3.141592653。人類於四千年前就嘗試找出π,但直到今日,我們仍然只是接近其實際數值。首次對π進行嚴格計算的,是西元前287至212年的希臘古數學家阿基米德Archimedes),他利用畢達哥拉斯定理計算內接於圓的正多邊形與外接於圓的正多邊形的面積,因為圓的實際面積必然介於這兩者之間,因此這些多邊形的面積提供了圓面積的上、下界。他明白這樣只能得到π的近似值,而非其確切數值。透過這種方法,阿基米德推導出π介於3.1429與3.1408之間。2021年8月19日,瑞士格里松應用科技大學(University of Applied Sciences of the Grisons)計算出圓周率最精確的數值達62,831,853,071,796位數。有趣的是,神奇的AI大語言模型無法馴服π。我問7種大語言模型,卻都給我不同答案。我詢問和我相關的4個數字:「May I ask at which digit position 1026 appears in the digits of pi? 」結果每個LLM給我的答案都不同。過去的測試中,總會有幾個LLM給出相同的答案,但這次完全沒有共識。我先試GPT,得到答案6284。接著要求GPT自我驗證:「What is the four-digit sequence starting at position 6284 in the digits of pi?」結果,得到的回覆是7590,而非1026。我試Grok,得到的回覆是1639,反向驗證,也沒得到1026,而是5807。我試Le Chat(Mistral.ai),得到的回覆是176451,反向驗證,得到3141。我試Qwen2.5-Max,得到的回覆是39,反向驗證,得到7169。我試DeepSeek,得到的回覆是8580,反向驗證,得到3099。我試Tulu 3,得到的回覆是2480,反向驗證,得到3282。我再試Gemini,得到的回覆是175319,反向驗證,他不告訴我答案,建議我找數學工具來算出。我最後試Claude,他不告訴我答案。這些大語言模型給錯答案的原因是,它們試圖自行編寫程式來找答案,但程式未能正確運行。我詢問Pi-Search頁面,它回答說:「字串1026出現於位置14678。這個字串在π的前2億位數字中出現20,130次。」這應該是正確答案。我的測試是在2025年2月24日。在告知GTP或Grok網路上特定數學工具可給答案時,它們的確會認錯,並依我建議,運用工具找到正確答案。隨著大語言模型的進化,也許未來能在第一次詢問時給出正確答案。
AI程式開發助理—Devin與Cursor
蘋果(Apple)創辦人Steve Jobs 曾說:「Everybody should learn to program a computer, because it teaches you how to think.」隨著人工智慧(AI)技術的快速發展,AI撰寫程式的能力已逐漸變強,可擴增人類的能力。許多AI輔助工具開始進入軟體開發領域,幫助開發者提高效率、減少錯誤,甚至自動完成部分重複性任務。終極目標是協助一般人像電腦工程師一樣,利用「 learn to program a computer」來達到「how to think」的理想。目前較為熱門的2款AI程式開發助理是Devin和Cursor,它們各自具備不同的特點與優勢,適合不同的使用情境。Devin由Cognition開發,主要定位為一個自主的AI開發助手,能夠執行完整的軟體開發流程,甚至能夠獨立完成某些開發任務。它具備高度的自主決策能力,可以設定開發環境、重現錯誤並進行修復,甚至執行軟體測試,無需開發者過多干預。使用者與Devin主要透過對話介面進行互動,開發者可以像管理人類工程師一樣,指派任務並監控其進度。此外,它在一個安全的沙盒環境內執行,內建開發工具,能夠與不同的技術堆疊無縫整合。Devin最大的優勢在於高自主性,能夠有效地幫助開發者處理從程式碼撰寫到測試的完整開發流程,適合希望讓 AI 執行較為獨立開發工作的團隊或個人。Cursor則是一款AI強化的程式碼編輯器,設計理念與 Devin不同,主要專注於提供即時AI協助,而非完全獨立執行開發任務。Cursor的AI代理能夠理解開發者的指令,並透過推理與工具整合,執行程式開發相關的任務,減少開發者的負擔。其 AI 代理基於Composer平台運作,使其可以與各種開發工具無縫連接。此外,它允許開發者導入擴充功能、主題、快捷鍵等,使其保持與傳統開發環境一致的使用體驗。同時,它提供隱私模式,確保程式碼不會被遠端儲存,並符合SOC 2安全標準,適合對程式碼隱私有高度要求的開發者。Cursor更適合習慣使用傳統編輯器的開發者,能夠提供即時的AI協助,減少開發過程中的繁瑣工作,提高編碼效率。這兩款工具在自主性、使用方式與環境整合方面存在明顯差異。Devin具備高度自主性,能夠獨立執行完整開發任務,而Cursor則更專注於即時AI輔助,適合需要持續手動操作的開發者。如果需要AI獨立完成開發流程,Devin是更好的選擇。如果希望在程式碼編輯器內獲得 AI 協助,並維持熟悉的開發環境,Cursor 是更理想的選擇。Devin和Cursor代表2種不同的 AI 助理設計理念Devin 偏向於自動化與自主開發,Cursor則著重於輔助開發者完成日常編碼工作。最終的選擇取決於開發者的需求——如果希望 AI 來執行完整的開發任務,Devin 更具優勢;如果更需要一款能夠提高編碼效率的AI編輯器,Cursor會是更合適的選擇。隨著 AI 技術的不斷進步,這兩款工具也將持續發展,未來可能會帶來更多令人期待的功能與應用。
伊莉莎白女王的虛實整合
2022年6月英國白金禧年(Platinum Jubilee)慶祝女王登基70周年活動中,伊莉莎白二世女王(Elizabeth II;1926~2022)的3D全像(Holography)被投射在金輝燦爛的皇家金馬車(Gold State Coach)窗戶上,這場景迅速吸引全球觀眾的目光,成為當天慶典的亮點之一。透過結合尖端科技與歷史文物,這次盛事展現虛實整合(Cyber-Physical Integration)的非凡潛力。這項技術讓歷史融入現代生活,創新地連結過去與未來,為文化遺產的展示開啟新篇章。虛實整合技術能即時監控、調整並優化現實世界的運作。這一技術已廣泛應用於自動駕駛、智慧城市與醫療等領域,而此次全像投影與金馬車的結合,則將其創意應用拓展到文化與娛樂產業。女王3D影像投射於擁有260年歷史的馬車上,參與白金禧年遊行,展現科技與歷史的完美融合。伊莉莎白二世女王的3D影像取材自1953年女王26歲時加冕典禮的珍貴存檔畫面,經過數位化處理與解析度提升後,這段影像得以在現代投影設備上清晰呈現。經由精密的投影技術,影像被準確映射到馬車窗戶上,營造出女王仿佛親臨現場的真實感。這種虛實結合的手法讓觀眾彷彿回到1953年,見證女王加冕的歷史時刻。金馬車本身是一件藝術與工程的雙重傑作。它於1762年完成,整體以鎏金木材製成,並飾有精美的天使、海神與獅子頭雕刻,象徵英國的國家力量與海上霸權。這輛馬車長約7米、高約3.7米,重達4噸,由8匹馬以步行速度拉動。馬車內部同樣豪華,以絲綢與天鵝絨裝飾。這一歷史文物多次經歷修復,至今仍然完好,成為英國皇室的重要象徵。將3D影像技術與擁有高度歷史價值的金馬車結合,是一項極具挑戰性的技術工程。由於金馬車的歷史價值極高,工程師設計了非侵入性的安裝方式,避免對文物造成損害。輕量化的投影設備被巧妙安裝在馬車內部及其周邊,確保整體視覺效果不受干擾。為確保虛實完美融合,工程師需克服影像穩定性與同步性等技術難題。他們利用高精度追蹤技術,確保影像與馬車移動完美同步,並特別設計投影系統以降低窗戶反光對影像品質的影響。這些技術突破為未來類似應用樹立新標杆。伊莉莎白二世女王3D影像與金馬車的結合,是虛實整合如何重新定義文化遺產的最佳例證。展望未來,虛實整合有望成為文化遺產保存與傳承的核心技術。透過更多元的數位手段,歷史文物可以超越地理與時間的限制,成為全球共享的資產。
智慧應用 影音