群聯潘健成談混合式 AI:雲端像住飯店,地端像買房子

來源是 YouTube 經濟日報EDN 頻道的影片「AI龍蝦的世界觀 群聯潘健成:混合式 AI 崛起」,講者是群聯電子執行長潘健成。
這支影片沒有中文字幕,我抓的是 YouTube 自動產生再自動翻成英文的字幕軌,所以底下的引述都是意思的轉述,不是逐字稿。自動字幕把「群聯」在好幾段誤譯成別的公司名,模型名稱也疑似誤聽,那幾處我就不引了。
他說瓶頸在記憶體
開場他先推了一輪自家的儲存產品,2TB SD 卡上過太空站做十一個月測試、上過月球、2020 年上過火星。重點在後面那一轉:過去 AI 跟儲存沒關係,現在他認為整條 AI 運算最卡的地方是記憶體不夠,不是算力不夠。
「記憶體不夠可以用 Flash 補」這句話,他說被老闆糾正過,要改講成「用 Flash 可以提高 token 吐出來的速度」,聽起來比較好聽。意思一樣:中小企業一開始不必砸大錢,才有機會開始做。
雲端像住飯店,地端像買房子

這個比喻是他從一位數學家那邊聽來的,自己講了很多次。雲端 AI 像每天住飯店,早上結一次帳,好處是床單浴室不用自己弄,壞處是不能裝潢。地端像借錢買房子,壞處是打掃要自己來,好處是不用每天付錢。他問台下:一年三百六十五天,你住飯店幾天?出差才住,其他時候住家裡。
他順著講到 Anthropic 跟 OpenAI 的營收成長在放緩,他的解釋是重度使用者撐不住了,不是使用人數變少。他拿 3G 剛出來的時候當對照,二十年前一天用幾 MB 沒人說得出來,今天出差買漫遊,半天兩 GB 就沒了。人對這種東西沒有節制。
他自己公司的狀況:雲端帳單每個月翻一倍,而且他形容團隊已經很克制很勤勞了,還是每個月翻倍。所以他訂了一條內規,雲端讓你用,但同一件事用滿兩個月,就得把一部分搬回地端。
題目從最簡單的開始挑
他把 AI 開發分兩種。一種要物理、數學、高階人才,那叫研究。另一種是應用,他說那只需要工人,解決得了問題就好,他做的是後面這種。
推動的方式是他自己開會,把各部門正副主管叫來出題:你希望 AI 幫你解決什麼問題。題目上百個湧進來,團隊當場傻住。接著面臨選擇,先做最難的還是先做最簡單的。他選最簡單的,理由是先做最難的,簡單的還沒輪到人就先跑光了。先做簡單的是為了做出成績、訓練人、建立信心。
起步的規模是三台伺服器,大約一千萬,團隊花七八個月弄出東西。他的對照是顧問常跟老闆講一開口就要花五千萬一億,老闆會想兩年;講三百萬五百萬,老闆就會試。試完被員工罵速度不夠快,再加機器,最後還是花掉五千萬一億,差別在於這次是看到成果才花的。
老闆不自己帶,這件事推不動
他講了「文無第一,武無第二」。推新東西的時候每個人都有意見,而且仔細聽都有道理,因為每個人站的角度不一樣。所以他的結論是,跟 ERP 一樣,創辦人、董事長或執行長不自己下來帶就不會成,每個部門都找得到理由。
他講得更白一點:讓副總來推是浪費時間。最近有不少公司的副總跑來找他談,他都認真談了,後來發現老闆根本不會聽副總的,就算聽了叫下面做,下面也不會跟著你走。
ERP 那段他也提了。他問台下,你們公司導 ERP 的黑暗期多久,自己回答平均兩年。他說 AI 也會有黑暗期,每天有人互指,那就是過程。
使用率從兩成多到八成,靠的是志工
他主持的 AI 會議大概兩三百人。講台上講著講著,他注意到幾個資深同事在底下操作,眼睛是亮的。他當場問在座的副總,要不要招募志工,概念像醫院的志工。
招志工的理由他講得很直接:他自己也是老人,老人用新軟體碰壁兩次就會放棄,公司裡很多資深同事碰壁兩次就不好意思再問,是面子問題。所以當時使用率只有兩成多。志工的工作就是幫左邊的同事、教隔壁部門、主動推。四月兩成多,九月到 81%。
志工團後來變成一支隊伍,他說這批人現在出去做生意了。
他拿出來的數字

這些數字他說是前一天從資料庫拉出來的,由他的 CIO 提供。四月那份報告說四台 AI 伺服器省下 41 個工程師,他第一反應是「唬外人可以,不要唬自己人」。CIO 不服,把資料庫拉出來給他看算法:驗證工程師看一份 log 原本要三個小時,有 AI 幫忙變三十分鐘,省兩個半小時,乘上一個月用這項服務的人次,換算成 41 個人。五月那份變 74 個,九月是 239 人天、使用率八成。
機器那邊,他說一台大概六千萬。他的算法是台灣一個像樣的工程師年薪三百萬都不見得找得到,三百萬除以十二是二十五萬,239 乘二十五萬,一個月就回本。設備他要求一上線就全額認列掉,不留債給以後。
token 那邊,九月地端最大的那個 agent 一個月用掉 4.27 億 token。他說如果逼大家改用雲端,光九月就是大約 120 萬美金。四月到五月量還不大,七月突然暴衝,原因是從 chatbot 換成 agent,伺服器當場被打掛。
軟體開發的花費,第一個月 150 萬、第二個月 300 萬、第三個月 600 萬,他說花。同一份報告說同期省下 5,000 萬。有一個案子團隊原本要兩週,用 AI 之後三天,十五個工作天變三天。
這些數字全部來自他自己的簡報,沒有第三方查核,引用的時候要帶著這個前提。
他先承諾不裁員,再把資深工程師推到客戶面前
六月那場 AI 會議上公司分成兩派。一派要讓 AI 寫控制器韌體,另一派是保飯碗派,帶頭反對的是韌體主管,手下好幾百個工程師。反對理由是 know-how 給了 AI,以後人人都會。對面回他:不用給,它已經會了,而且比你好,你六個月它兩天。
主管的臉當場垮下來,想的是導入等於裁員。潘健成的回應分兩段。第一段是承諾:我導 AI 不裁員,我說不裁就不裁;他同時對台下的老闆喊話,不要今年說要導 AI、明年裁一半,那以後沒有人會幫你導。
第二段是他給資深工程師的新位置。他的分析是寫程式是邏輯工作,你花錢可以寫、他花錢也可以寫,寫出來的東西差不多。做完之後還要有實體模組、實體測試、實體應用,那些領域知識跟整合的手感教不來,只能靠人。所以四五十歲的老將要推出去跟客戶談規格、談需求、做 BD。他說以前跟客戶談都是 PM 去,研發不去,PM 碰到問題只能說我回去問一下,很沒有效率。最近在韓國拿下一個大單,他說客戶問題還沒問完答案就出來了,單子就成了。
新竹馬偕那一段

這是整場離我最近的一段。他說新竹馬偕的院長很積極,群聯跟 NVIDIA 一起做了兩年,沒跟醫院收錢。示範的內容是醫師用台語、客語或國語跟病人對話,看完診按一個鍵,病歷就產出來。他去看護理交班的示範,護理師一直跟他道謝,說生活品質改善很多,還提到出院流程本來要好幾個小時,現在二十分鐘做完。
規模方面,地端 AI 這兩年在台灣做了十一家銀行,企業客戶目前四十幾家,第四季的目標是一百家。他說客戶找得到,卡住的是 GPU 跟 CPU 缺貨,還有自己人手不夠。
另外三段他講得比較短的
AI on device。他預期三年內新出的 PC 都做得了推論,不會很重但也不該太貴。他說現在的開發套件要兩百三十萬,只有開發者買得起,他們的做法是把 DRAM 砍掉四分之三讓它跑得動,先讓一部分市場用起來,明年會變主流。
出海用合資。他的模式是像加盟:第三地的在地業者覺得系統好用找上門,他把整包給對方,換 40% 股權,自己不出資,派人去訓練對方的顧問。他的理由是 AI 到了海外已經是文化跟語言的事,他一個人去印度不可能,技術跟彈藥他出,服務由在地的人做。
他對儲存的執念。他說台灣過去在供應鏈主要做零組件跟次系統,而且是照美日客戶的規格做;全世界有自主儲存技術的只有美日韓中。儲存重要到媒體不會寫,就像沒有人會寫米很重要。這條線是他整場的開頭跟結尾。
我看完之後在想的三件事
回本那個算法要換一組指標才搬得過來。他把省下來的人天乘工程師薪資,一個月回收一台六千萬的機器。醫院這樣算不出來:省下來的是醫師跟護理師的時間,不會變成現金流回到資訊室的預算。同一套論證要搬進醫院,得先找到一個院方認的單位,不然數字再漂亮也停在簡報裡。
他講機器的時間很短,講怎麼讓人用起來的時間很長。院內的 GPU 推論叢集我盤點過,H100 跟 L40S 那幾台還有可回收的算力,用 DGX Spark 把積木怎麼切也想過一輪。志工那一招是這場裡最可以直接抄的東西,成本只有幾個願意教人的同事,而且他給的理由很實際:資深的人碰壁兩次就放棄,是面子問題,不是能力問題。
新竹馬偕那三件事都落在 HIS 外圍。一鍵生病歷、護理交班、出院流程,剛好都是不用動核心資料庫就能接的位置,跟我在想的 FHIR 標準化跟 LLM 代理人全地端化是同一個層。他們用兩年、兩家公司的工程資源做到這裡,這個對照值得記著。
關於這篇的內容來源
這篇全文是用 AI 自動讀取 YouTube 字幕整理出來的。字幕本身是機器自動產生、再自動翻譯的,難免有誤聽、誤譯與漏句,我做的整理也可能把語意帶偏。文中的人名、數字、公司名與引述都請以講者本人在影片裡講的為準,有出入的地方以原片為準,不要拿這篇當逐字稿引用。