《給學弟妹的矽谷 AI / Software 指南》 是一個矽谷工程師自發的眾籌寫作計劃,由源來適你社群推動。 這將是一個在台灣軟體學生圈內很有影響力的文章系列。已有 >10 篇準備發布,目標 100 篇並出書,歡迎 tag 強者大神來寫!
作者:Wei Chen
聯絡方式:weichen@apache.org
產業背景:技術堆疊、框架與系統設計概述
製造業的核心涵蓋了規格制定,產品設計,到生產與供應鏈管理的整個流程。在人們導入智慧製造的過程中,機器學習工程師運用 AI/ML 技術來提升各個環節的效率。在理想的情況下,所有系統都能夠無縫整合,打造出一座「智慧工廠」,不僅能收集並分析商業決策指標,還能優化生產、探索次世代設計、預測風險、修復缺陷並降低成本。
目前,大多數企業都以 Python 為 AI/ML 的核心語言,並採用容器化架構來部署應用。不同容器負責不同 AI/ML 問題,使用各自的 Python 依賴環境。之前在 AWS 擔任 ML 顧問的時候,我們會需要應用不同的技術來跟客戶的現有架構整合,例如如果客戶都是使用 PyTorch 那我們就用 PyTorch。若客戶尚未建立自己的 ML 基礎建設,我可能會建議從簡單的方案開始,例如 XGBoost。
工作內容與職位特質
我之前在 AWS ProServe 擔任高級數據科學家,主要的工作是幫 AWS 的客戶打造 AI/ML 原型 (JD 範例)。這份工作就像是一家掛著 Amazon 品牌的 AI 顧問公司,當其他公司試著使用 AI 在業務上面,並且失敗了的時候,我們就會出場來拯救世界。
我們的角色必須是全方位專才,兼具產品管理、商業分析、數據科學、AI/ML 實作,以及將 ML 的應用推進到正式生產的能力。每一個工作都是一場硬仗,充滿挑戰與壓力,但換來的是飛快的成長。AWS 客戶想要實作的通常是最尖端與困難的技術,而且除了對最新技術的掌握,在這個職位因為需要常常與各個客戶討論,對於全球市場也都會有所了解。 在面試時,我最關心的兩件事是:
- 你有沒有實際將 ML 解決方案部署到正式環境的經驗?
- 你能不能在不同團隊或企業之間清楚表達技術觀點,利用溝通來推動專案進展?
在履歷裡面,我會希望能夠看到:「我做了什麼,來解決什麼問題,並帶來什麼效益。」只要把這些成果描述好,不需要自己主動找工作,機會就會自己找上門。
台灣的機會:課程、職位、實習與專案
台灣一直是全球製造業的重要樞紐。最近十幾年來,許多製造企業都在積極投入 AI/ML 技術,以提升生產效率,所以相關的機會不少。
以學校來說:「樣型識別」或「機器學習」等課程都能夠奠定技術基礎,但身為技術顧問最關鍵的能力仍然是溝通,而且數據科學最重要的價值,是來自於如何將領域知識與數據緊密結合。如果你在學期間能夠透過課程專案或碩士論文參與 ML 相關專案,這會加不少分,對大多數公司的智慧製造職務都能夠勝任。
但是如果你的目標是 AWS ProServe 的數據科學家,學校畢業生的機會並不大。你會需要累積足夠的產業經驗,並證明你能夠跨部門、跨企業溝通,成功交付與管理複雜的 ML 專案。
專案案例:挑戰與解決方案
這裡分享一個我們運用深度強化學習 (Reinforcement Learning, RL) 來優化某個製造業的生產排程系統的專案。這家企業的內部 ML 團隊已經努力了 5 年,但仍然無法找到利用機器學習來顯著改善排成系統效能的方法,最後他們決定跟 AWS ProServe 合作,進行一項實驗性專案來做一次新的嘗試。
這個題目的困難點在於,所有可能的生產排程組合多達 10^90 種,利用搜尋優化的方法也很難找到最佳解,高複雜度也使得機器學習模型很難有效的收斂。為了解決這個問題,我們採取了一系列策略:
- 在類神經網路模型加上跨層的連線,讓模型能夠在關鍵的資訊上能夠更快地找出趨勢,類似 ResNet 概念。
- 採用遞迴式神經網路 (RNN),確保結果的連續性,提升排程穩定性。因為更換排程會對產線操作員帶來額外的負擔。
- 使用 Actor-Critic RL 架構,分離「行動選擇」與「狀態評估」,讓模型學習更平衡。
- 加入許多 Domain Knowledge 的規則,防止模型學習到不合理的行為,並在 RL 模擬環境中提供行為違規回饋。
- 利用歷史數據訓練回歸模型,並將權重轉移至 Critic 網路 (Transfer Learning),以此來加快模型收斂速度。
- 進行大量特徵工程,篩選關鍵特徵,降低噪音,提高學習效果。
- 設定訓練檢查點 (Check Point),確保模型朝正確方向收斂,加速實驗週期。
- 運用 AWS 基礎設施並行實驗,最大化 ML 模型效能,並透過建立經驗池 (Experience Pool) 共享不同模型的學習成果 (Meta Learning)。
短短 4 個月內,我們從零開始啟動 ML 專案,與業務團隊合作取得專案機會、與客戶領域專家探討生產排程流程、與工廠管理者建立 RL 模擬器、與數據工程師收集與理解數據,並獨立完成數據科學與 ML 工程,最後舉辦工作坊,向客戶公司的決策層交付專案成果。
趨勢與職涯發展:樂趣與機會
這份工作最吸引我的地方,就是能夠站在產業最前線,親眼見證 AI/ML 在各大企業的應用與發展方向。
作為 AWS ML 顧問,我們只會接觸大型企業的專案,因為只有當議題足夠關鍵、內部團隊無法解決時,他們才會尋求外部支援。因此,我們面對的每個專案都是困難而且重要的問題,成功解決這些問題也會相對帶來大量的成就感,常常覺得為什麼自己可以這麼強。
AI/ML 的浪潮至少還會持續十幾年,因為數據科學的價值並不只是技術突破,而在於如何與領域知識結合,這個過程始終需要時間去累積與優化。
這份職位為未來職涯開啟了無限可能——你可以繼續擔任顧問,回歸技術當工程師,走向商業管理,也可以深入特定技術領域,成為專家。
結論:推薦
如果你想親身參與產業變革、挑戰最難的問題、並在這些挑戰中累積無可取代的經驗,AWS 智慧製造機器學習顧問是一個絕佳的機會!
這趟旅程會很艱難,可能會有無數的挫折,但我覺得非常值得!