Skip to content

Latest commit

 

History

History
68 lines (42 loc) · 6.84 KB

File metadata and controls

68 lines (42 loc) · 6.84 KB

《給學弟妹的矽谷 AI / Software 指南》 是一個矽谷工程師自發的眾籌寫作計劃,由源來適你社群推動。 這將是一個在台灣軟體學生圈內很有影響力的文章系列。已有 >10 篇準備發布,目標 100 篇並出書,歡迎 tag 強者大神來寫!


作者:Wei Chen

聯絡方式:weichen@apache.org


智慧工廠與 AWS 機器學習顧問在做什麼?

產業背景:技術堆疊、框架與系統設計概述

製造業的核心涵蓋了規格制定,產品設計,到生產與供應鏈管理的整個流程。在人們導入智慧製造的過程中,機器學習工程師運用 AI/ML 技術來提升各個環節的效率。在理想的情況下,所有系統都能夠無縫整合,打造出一座「智慧工廠」,不僅能收集並分析商業決策指標,還能優化生產、探索次世代設計、預測風險、修復缺陷並降低成本。

目前,大多數企業都以 Python 為 AI/ML 的核心語言,並採用容器化架構來部署應用。不同容器負責不同 AI/ML 問題,使用各自的 Python 依賴環境。之前在 AWS 擔任 ML 顧問的時候,我們會需要應用不同的技術來跟客戶的現有架構整合,例如如果客戶都是使用 PyTorch 那我們就用 PyTorch。若客戶尚未建立自己的 ML 基礎建設,我可能會建議從簡單的方案開始,例如 XGBoost。

工作內容與職位特質

我之前在 AWS ProServe 擔任高級數據科學家,主要的工作是幫 AWS 的客戶打造 AI/ML 原型 (JD 範例)。這份工作就像是一家掛著 Amazon 品牌的 AI 顧問公司,當其他公司試著使用 AI 在業務上面,並且失敗了的時候,我們就會出場來拯救世界。

我們的角色必須是全方位專才,兼具產品管理、商業分析、數據科學、AI/ML 實作,以及將 ML 的應用推進到正式生產的能力。每一個工作都是一場硬仗,充滿挑戰與壓力,但換來的是飛快的成長。AWS 客戶想要實作的通常是最尖端與困難的技術,而且除了對最新技術的掌握,在這個職位因為需要常常與各個客戶討論,對於全球市場也都會有所了解。 在面試時,我最關心的兩件事是:

  1. 你有沒有實際將 ML 解決方案部署到正式環境的經驗?
  2. 你能不能在不同團隊或企業之間清楚表達技術觀點,利用溝通來推動專案進展?

在履歷裡面,我會希望能夠看到:「我做了什麼,來解決什麼問題,並帶來什麼效益。」只要把這些成果描述好,不需要自己主動找工作,機會就會自己找上門。

台灣的機會:課程、職位、實習與專案

台灣一直是全球製造業的重要樞紐。最近十幾年來,許多製造企業都在積極投入 AI/ML 技術,以提升生產效率,所以相關的機會不少。

以學校來說:「樣型識別」或「機器學習」等課程都能夠奠定技術基礎,但身為技術顧問最關鍵的能力仍然是溝通,而且數據科學最重要的價值,是來自於如何將領域知識與數據緊密結合。如果你在學期間能夠透過課程專案或碩士論文參與 ML 相關專案,這會加不少分,對大多數公司的智慧製造職務都能夠勝任。

但是如果你的目標是 AWS ProServe 的數據科學家,學校畢業生的機會並不大。你會需要累積足夠的產業經驗,並證明你能夠跨部門、跨企業溝通,成功交付與管理複雜的 ML 專案。

專案案例:挑戰與解決方案

這裡分享一個我們運用深度強化學習 (Reinforcement Learning, RL) 來優化某個製造業的生產排程系統的專案。這家企業的內部 ML 團隊已經努力了 5 年,但仍然無法找到利用機器學習來顯著改善排成系統效能的方法,最後他們決定跟 AWS ProServe 合作,進行一項實驗性專案來做一次新的嘗試。

這個題目的困難點在於,所有可能的生產排程組合多達 10^90 種,利用搜尋優化的方法也很難找到最佳解,高複雜度也使得機器學習模型很難有效的收斂。為了解決這個問題,我們採取了一系列策略:

  1. 在類神經網路模型加上跨層的連線,讓模型能夠在關鍵的資訊上能夠更快地找出趨勢,類似 ResNet 概念。
  2. 採用遞迴式神經網路 (RNN),確保結果的連續性,提升排程穩定性。因為更換排程會對產線操作員帶來額外的負擔。
  3. 使用 Actor-Critic RL 架構,分離「行動選擇」與「狀態評估」,讓模型學習更平衡。
  4. 加入許多 Domain Knowledge 的規則,防止模型學習到不合理的行為,並在 RL 模擬環境中提供行為違規回饋。
  5. 利用歷史數據訓練回歸模型,並將權重轉移至 Critic 網路 (Transfer Learning),以此來加快模型收斂速度。
  6. 進行大量特徵工程,篩選關鍵特徵,降低噪音,提高學習效果。
  7. 設定訓練檢查點 (Check Point),確保模型朝正確方向收斂,加速實驗週期。
  8. 運用 AWS 基礎設施並行實驗,最大化 ML 模型效能,並透過建立經驗池 (Experience Pool) 共享不同模型的學習成果 (Meta Learning)。

短短 4 個月內,我們從零開始啟動 ML 專案,與業務團隊合作取得專案機會、與客戶領域專家探討生產排程流程、與工廠管理者建立 RL 模擬器、與數據工程師收集與理解數據,並獨立完成數據科學與 ML 工程,最後舉辦工作坊,向客戶公司的決策層交付專案成果。

趨勢與職涯發展:樂趣與機會

這份工作最吸引我的地方,就是能夠站在產業最前線,親眼見證 AI/ML 在各大企業的應用與發展方向。

作為 AWS ML 顧問,我們只會接觸大型企業的專案,因為只有當議題足夠關鍵、內部團隊無法解決時,他們才會尋求外部支援。因此,我們面對的每個專案都是困難而且重要的問題,成功解決這些問題也會相對帶來大量的成就感,常常覺得為什麼自己可以這麼強。

AI/ML 的浪潮至少還會持續十幾年,因為數據科學的價值並不只是技術突破,而在於如何與領域知識結合,這個過程始終需要時間去累積與優化。

這份職位為未來職涯開啟了無限可能——你可以繼續擔任顧問,回歸技術當工程師,走向商業管理,也可以深入特定技術領域,成為專家。

結論:推薦

如果你想親身參與產業變革、挑戰最難的問題、並在這些挑戰中累積無可取代的經驗,AWS 智慧製造機器學習顧問是一個絕佳的機會!

這趟旅程會很艱難,可能會有無數的挫折,但我覺得非常值得!