Redefine Innovation

「Co-Packaged Optics (CPO) 的趨勢、技術與製程」

在2025年的NVIDIA GTC大會上，Jensen Huang宣布將在接下來的Networking晶片上，導入Co-Packaged Optics (CPO) 技術。而在2026年的CES，Jensen宣布導入CPO技術的Spectrum-X Switch (102T Scale-Out Switch) 即將隨著Vera Rubin GPU平台量產。

NVIDIA對CPO的導入，象徵了Co-Packaged Optics的技術，終於要邁向業界量產的階段。

做為半導體產業最新的技術發展之一，Co-Packaged Optics有機會提升AI Cluster的整體算力並大幅降低能耗，所以今天就來快速分享一下為什麼需要CPO，以及接下來可能的發展趨勢。

▌為什麼需要CPO (Co-Packaged Optics) ?

如果你有注意到的話，先進封裝和data傳輸的界線變得越來越模糊，因為如果能晶片做先進封裝的話，就能大幅增加data傳輸的速度並降低能耗。

目前，AI晶片和Server的能耗越來越高，而現在動輒10萬顆GPU起跳的Cluster，更是一個吃電怪獸。

因此，如何降低AI晶片Cluster的能耗，就變成是一個重要的課題。

在AI Cluster的能耗上，資料的搬運和傳輸其實佔了很大的一個部分，因此大家都在找解決方案。

而根據NVIDIA自己的計算，CPO能夠降低總體Switch的I/O能耗到原本的1/3以下，因此，導入這種整合先進封裝和矽光子技術的CPO技術，就變成接下來發展很大的一個重點。

▌CPO對半導體產業的影響是什麼？

前面我們提到，CPO的導入可以大幅降低AI Cluster的能耗，不過我們還沒提到，要達到接下來的要求，半導體產業會需要發展很多相關的光學微結構以及整合先進封裝的技術。

而接下來在NVIDIA大量導入後，先進封裝、Modulator、IO Coupler……等技術都會需要再持續發展。因此，我們會看到先進封裝與矽光子技術的持續發展和整合。

這樣的趨勢也會推動先進封裝技術的持續發展。

▌CPO發展趨勢

不過，我們會看到CPO的發展趨勢不只在先進封裝，如何將光子引擎 (Optical Engine, 如TSMC的COUPE) 能夠做得更小 (如NVIDIA導入MRM)，如何讓光子引擎中的頻寬增加，甚至是訊號雜訊更低，都會是光子引擎發展的重要技術方向。

而比較廣的，就是光通訊要如何和其他的晶片整合，可以是用先進封裝的方式將Photonic IC和別的晶片整合，甚至是將光波導做在載版或中介層上，大幅增加資料傳輸的速度和自由度。我們接下來將會看到更多半導體和矽光子的結合。

在AI Cluster仍然在快速變大的情況下 (Grok預估到2030年要再增加數百萬顆GPU，Stargate也是)，只要能降低晶片和晶片之間傳輸的能耗一點點，就會對整個Cluster產生及大的效益。因此，CPO的任何技術發展都有被快速放大其效益的機會。

而這也會是接下來半導體產業發展的重要方向之一，大公司如Broadcom、NVIDIA、TSMC，新創如Ayar Labs、Lightmatter……等都在大力的發展CPO技術。

因為最近有很多半導體產業同好要求的關係，我們特別去整理了最近CPO的技術和發展趨勢，做成一個Workshop給需要的人。

而為了讓大家能有一個更全面的了解，這個Workshop會串連較廣的CPO商業趨勢 (背後需求驅動)、CPO中主要的技術分析、還有CPO細部的Process Flow拆解，讓大家可以有一個全面的了解。

歡迎想要更深入了解半導體產業＆CPO最新發展的版友參加～

Workshop大綱和Workshop報名資訊如下：

▌「共同封裝光學 (CPO) 技術趨勢」Workshop大綱 (Workshop P3)

1. AI System Scaling Trends: The Importance of CPO

2. CPO Technology Trends

3. PIC技術拆解

4. CPO製程分析 (含Process Flow)

5. Competitions & Future Development

▌報名資訊：
- 講者：Redefine Innovation 顧問服務負責人 Vince Liu（前ASML荷蘭總部產品經理）

- 形式：線上課程（本活動已經上架線上課程平台，報名後1週內會收到線上課程平台權限，兩週內不限次數觀看）

- 價格：NT$3000 / 人 (包含講義及兩週回放複習影片）

- 報名截止時間：2026/2/8 (Sun.) 17:00

- 報名連結：
請見留言處

Intel打算併購AI晶片新創SambaNova。

Intel終於走在正確的方向上了，Lip-Bu Tan真的是一個不同等級的CEO。

就如我們前兩年在商周CEO 50跟學員們的分享，AI應用和晶片設計才是Intel能夠槓桿的差異化，和TSMC正面硬拼半導體製造真的不是一個明智的作法。

Meta要買TPU炒得沸沸揚揚。
不過，Meta要買TPU，要多付三個重大成本：
1. 給Google的Margin利潤

2. 最大化TPU的能力因為Google的TPU是為了自家模型設計的，Meta用TPU就會損失很大一部份模型&硬體共同優化的部分

3. Meta要自己搞定軟體層來打造稱手的工具，他們有Pytorch，但整合還是需要蠻多成本的

這幾個都是要付很多成本，不是能照搬的。

「從影像生成到World Model建立：下一代AI晶片系統會如何發展？」

最近，AI界的教母李飛飛推出了新公司的第一個AI World Model “Marble”，這是一個你輸入文字或影像就可以得到一個3D世界的AI模型。

World Model這件事，將AI模型的發展推到一個新的高度。

原本大家在討論的，是我們可以生成文字，可以生成影像。但是現在，我們已經開始可以用AI直接生成一個3D世界了。

其實不只是李飛飛的公司，Meta的V-JEPA 2、Google的Genie 3，或是NVIDIA的Cosmos，都是World Model的代表。

不過，因為這類的模型較現在產生文字和影像的模型更複雜，要求更高，是現行LLM的幾百倍 (據李飛飛的公司World Labs估計，產出一個4K的影片1小時就需要產出1億個Tokens)。因此，現在他們在做的，是先用較小版本的World Model來讓大家了解其可行性和用途。

不過，這無可否認的會是AI的最前沿發展，也會是機器人發展的重要基礎 (NVIDIA使用他們的World Model來訓練機器人模型)。因此，我們可以看到各家公司 (NVIDIA, Google, xAI……) 都積極佈局這樣的AI模型。

為什麼這件事情重要？因為，現在在設計的晶片應該會需要為了2027年以後的AI模型做考量了。

▌運算需求的推升

而在這過程中，半導體晶片的發展會是極為重要的，因為，AI模型要和半導體晶片共同優化，才能發揮最大的算力。

而從NVIDIA Rubin CPX的晶片佈局，主打能夠一次產出超過100萬Tokens的長Context Window應用 (影片生成和程式碼生成)，我們可以看得出來這將會是支援終極World Model的一個中間過程。

人們現在已經不只是用AI在回答一些簡單的問題了，人們開始用AI來做深度研究 (Deep Research)、繪圖 (Nano Banana)、製作影片 (Sora-2)，甚至快速製作軟體工具。

而接下來，產出物理空間模擬結果的World Model，應該會是下一個重要的方向。

前幾天，我們為了快速的了解TPU和GPU在晶片互連架構上的優劣勢，就快速用AI打造了一個模擬器軟體，幫助我們更快速的視覺化比較。

以往研發人員可能要花上好幾天甚至是好幾個月來打造一個模擬器，但是現在有AI的幫助可能1小時內就可以有一個像樣的東西。

不過現在的問題是，我們會需要耗用大量的算力。因為當我們想把模擬器或軟體做得越來越複雜精緻時，需要產生的Token數量就會指數增加。

這些例子都顯示，我們現在對算力的需求才在初始階段而已。

▌各家晶片佈局競爭開始

為了滿足算力的需求，各家公司開始全力佈局各自的晶片來滿足接下來可能的算力需求。

如OpenAI先前公布的與Broadcom的合作，要研發自己的客製化AI晶片。

如果你以為這個客製化晶片只是為了下一個模型的話，那你就錯了。這個晶片起碼要是為了兩代後的模型，有可能是GPT-7做的設計佈局。

而如我們之前所述，現在各家的半導體硬體設計，也會需要開始考慮2027年之後的需求。

比如接下來TPU的設計和GPU的Roadmap。從戰略的角度來說，接下來的半導體晶片硬體Roadmap需要要考量到之後的模型，並有可以調整的彈性，之後可以再用軟體去和模型共同優化。

所以，我們如果想要了解接下來的AI晶片設計和半導體技術需求的話，我們最少要問我們自己兩個問題：
1. 接下來AI模型的趨勢為何？
2. 這些模型的半導體硬體瓶頸會在哪裡？
(運算單元、記憶體、晶片間傳輸 or 整體架構？)

▌下一代AI晶片系統 - 支援物理世界模型

回到先前的問題，下一代的AI晶片系統會如何發展？

答案可能有很多，但是有一個很重要的，其實是發展能了解真實物理世界的能力。

目前的AI，主要還是只有了解文字與影像的能力，對於更多真實世界變化的規律的理解，其實還是很缺乏的。

因此，支援更多模態更多種輸入的模型，可能會是一個重大的方向。

更重要的，就是機器人要可以有智慧的和現實的環境互動，在從AI Agent發展到Physical AI的過程中，”World Model”會是一個重要的拼圖。

要支援這樣的模型，我們會需要一個AI晶片系統，在Training時會需要更大量的多模態資料輸入，在Inference時會需要更長的Context Window產出更多的Tokens (Cosmos使用了比Llama多600倍的訓練資料)。這些都會帶動更多半導體技術的發展。

因此，接下來的半導體發展，應該會朝向可以支援這樣的系統邁進。

而這中間還會有很多技術細節，為了更仔細的討論這個問題，我們在11/30下午會舉辦一個線上的Workshop。

在這個Workshop裡，我們會試圖更仔細的回答以下的問題：

1. 未來的AI模型需求是什麼？

2. 順著模型需求現在有什麼技術發展，比如說GPU的一些算力核心技術如Transformer Engine和整體的硬體配置的考量為何？
（比如運算核心發展和HBM之間的替代關係如何，還有哪些硬體瓶頸)

3. GPU和ASIC體系差異？

4. 未來的發展Roadmap，如從現在的影像生成到接下來的World Model (如李飛飛最新發佈的Marble Model)會驅動怎麼樣的半導體需求？

如果對這些議題有興趣的朋友，歡迎參加～

報名資訊如下：

▌Workshop S1：「2026 - AI晶片系統的最新發展」報名資訊：

- 講者：Redefine Innovation 顧問服務負責人 Vince Liu（前ASML荷蘭總部產品經理）

- 時間：2025/11/30 14:00 - 17:10

- 形式：線上直播（另有回放票選項，直播和回放選項活動後一週都會收到回放影片連結，兩週內不限次數觀看）

- 價格：NT$3500 / 人 (包含講義及兩週回放複習影片）

- 報名連結：
請見留言處