WaferCopilot — 生成式 AI 智慧製造助理

基於生成式 AI 的半導體智慧製造助理

串接晶圓缺陷辨識、可解釋視覺化、SOP 脈絡診斷與模擬驗證，並由工程師核准製程調整的人機協作決策流程。

查看 GitHub 專案

問題

辨識出缺陷，仍不等於知道下一步該怎麼做

傳統缺陷分類能辨識異常的晶圓圖形，卻不會自動補上製程脈絡、定位根因或提出安全的處置方式。工程師仍需自行交叉比對視覺證據、設備紀錄與 SOP，再依經驗與反覆嘗試判斷參數該如何調整。

辨識與行動之間有落差

分類標籤只能說明圖形像哪一種缺陷，無法直接回答成因與下一步行動。

製造脈絡散落在不同來源

晶圓圖、機台訊號、SOP 與工程知識在診斷時彼此分散。

試誤成本高且經驗難以傳承

未驗證的參數調整若直接進入產線會帶來風險，也讓資深工程師的判斷難以被系統化傳承。

我們提出的解法

把缺陷偵測一路串到工程師核准後的行動

可解釋的缺陷辨識

以 ResNet-18 辨識八種晶圓缺陷，並用 Grad-CAM 呈現模型判斷時關注的區域。

有製程脈絡的診斷

結合模擬機台紀錄與 hybrid retrieval，讓 LLM 依相關 SOP 內容提出根因分析與處置建議。

執行前先模擬驗證

工程師要求測試 Center、Donut 或 Random 的具體參數時，才交由對應的 rule-based simulator 驗證，再評估後續行動。

保留工程師決策權的流程整合

預計的 fab 流程把 WaferCopilot 放在 FDC 與工程師審核之間；APC 只會執行工程師已核准的調整。

系統架構

WaferCopilot Streamlit 原型，呈現 Edge-Loc 的 Grad-CAM 熱力圖與結構化 AI 診斷對話。 — 目前生產脈絡為模擬資料，Digital Twin 也是 rule-based validation surrogate，並非真實 fab model。

實作與成果

以原型驗證完整的決策路徑

可解釋的視覺分析

原型使用 WM-811K 開源資料集、ResNet-18 transfer learning 與 Grad-CAM；在團隊的 benchmark 中訓練 20 epochs 後達到 99.2% 準確率，同時保留每次預測的視覺化依據。

可追溯的脈絡推理

系統以合成知識庫、模擬機台紀錄與 hybrid retrieval，把依缺陷對應章節的確定性檢索和語意搜尋結合起來；在展示情境中，log context 能把廣泛的 SOP 檢查清單收斂成較具體的根因假設與行動。

條件式 Digital Twin 驗證

Factory Pattern 會把 Center 交給 CMP simulator、Donut 交給 Etch simulator、Random 交給 environmental simulator；其餘五種缺陷會明確回覆無法模擬，不會編造良率結果。

考量企業環境的整合方式

部署構想是疊加在既有 FDC 與 APC 系統之上，而不是取代它們；流程保留工程師決策權，並提供 cloud 與 local LLM 選項，以回應效能與 fab 資料安全之間的取捨。

整合成同一套決策流程: 3 個模組; 串接視覺、推理與驗證三層能力
晶圓圖分類準確率: 99.2%; ResNet-18 在 WM-811K benchmark 訓練 20 epochs 的結果
由工程師保留最終決策權: Human-in-the-Loop; 屬於預計的運作模式，尚未串接真實 APC

限制

仍待驗證的部分

WaferCopilot 仍是競賽原型，使用 WM-811K 公開資料、模擬機台紀錄、合成知識庫與 rule-based digital twin surrogate。99.2% 只代表分類模組在該 benchmark 的結果，不等同整體 fab 流程成效。真正導入仍需取得代表性的產線資料、串接真實 FDC/APC、跨機台與製程條件驗證、提升模擬可信度，並完成權限與資安審查。