成功大學資訊系「機器人實驗室  (Robotics  Lab)」介紹  (2026/03/14)

 

1.  實驗室歷史:從電腦視覺到 5G 智慧運動場域

2002連震杰老師回國任教以來,實驗室已成立 24。我們的發展脈絡精準契合了科技產業的脈動:

1)  早期 (2002-2013):以「電腦視覺」與「機器學習」為核心,深耕自動光學檢測 (AOI) 與智慧監控 (Surveillance)。與東台精機、USA TI、智原科技、大聯大、研華科技合作

2)  中期 (2014-2020):全面切入「深度學習」,並與東台精機與東捷科技合作,將 AI 導入機械手臂與智慧製造。

3)  近期 (2021-2026):邁向「5G 邊緣運算與智慧運動」,在成大中正堂建置全台領先的 5G慧體育館,並推動醫療聯邦學習。與成大醫院Intel、佳世達合作。

2.  研究技術特色與競爭力

實驗室的核心競爭力在於 「ABCD 技術整合」 (AI、Big Data、Cloud Computing、Device):

1)      強大的感知能力:整合 RGB-D 攝影機、LiDARIMU,實現機器人的精準導航與 SLAM術。

2)      跨領域平台化:成功建立「智慧製造 AIoT 平台」、「醫療聯邦學習平台」與「5G 運動雲端平台」。

3)      國際級技術深度:與美國 CMU (卡內基美隆大學) Takeo Kanade 教授及 UC Berkeley 持續進行跨國技術合作。

3.  老師:卓越學術與學習導航者

老師不僅是學術界的傑出導師,更是學生心目中「亦師亦友」的長輩:

1)      卓越實作與得獎:曾任職美國  Visionics,獲得臉部辨識世界冠軍。回國後獲榮獲國科會未來科技獎 (2023、2024) 及多次國際國內會議最佳論文獎。

2)      教學貢獻:老師教學認真,曾獲 2023 成大教學特優傑出獎及 2022 優良教師獎。以同理心指導學生,重視學生身心平衡與職涯發展。

3)      產學橋樑:老師致力於讓研究「有用」,將實驗室變為產業界的研發中心(如與東台精機超

20 年的合作),讓學生在學時即具備產業視野。

4.  學生表現與企業最愛:高薪與高競爭力

本實驗室的學生是 「畢業即戰力」 的代名詞:

1) 企業首選:畢業生遍及台積電 (TSMC)、聯發科等頂尖企業。每年 11 月,台積電智慧製造部門常直接到實驗室面試優秀人才。


2) 就業優勢:學生畢業平均薪資優渥。學生具備整合電腦視覺、ROS 機器人作業系統與 AI算法的能力,在 AI 人才市場中極具優勢。


2. 機器人實驗室發展歷史與里程碑 (2002 - 2026)

這張表格記錄了實驗室從成立到 2026 年的轉型與重大成就:

 

時期

研究主軸

關鍵里程碑與技術成果

合作代表與獎項

創始奠基期

(2004-2008)

電腦視覺與 AOI

研發 TFT-LCD 面板與太陽能電池自動檢測技術。

友達、群創、茂迪

嵌入式開發期

(2009-2013)

嵌入式視覺系統

智慧監控與車牌辨識,開發停車場智慧管理系統。

德州儀 (TI)、研華

AI 智慧製造期

(2014-2026)

深度學習與手臂

發展視覺導向機器手臂,投入工業 4.0 智慧工廠。

東台精機、上銀科技

聯邦醫療期

(2019-2026)

智慧醫療與 AIoT-FL

建立聯邦學習平台,應用於肺結節偵測與輔助復健。

成大醫院、Intel 、佳世

5G 運動科技期

(2021-2026)

5G 雲端與邊緣運算

建置 5G 智慧中正堂體育館,發展排球/棒球軌跡分析。

2023/2024  未來科技獎

巔峰與國際期

(2025-2026)

AI Robotics 國際合作

與 UC Berkeley (BAIR)及東京科學大學深度對接。

國研院智慧機器人中心籌備處主任(2025)


國家科學及技術委員會工程處專題計畫主持人近五年成果績效表

申請人於申請截止日前五年內曾生產、請育嬰假者,研究成果評比年限得依每一出生數再延長二年,曾服國民義務役者,得依實際服役時間予以延長,但應檢附相關證明文件。

一、  近五年最具代表性之學理創新/實務成果、期刊論文/書籍發表、系統應用/技術突破之表現(至多五項)並請簡述國內外相關研究成果之比較。

1.     智慧運動:5G 智慧體育館與邊緣運算平台(2022-迄今)

2022/07~迄今 建置AI Edge Cloud Computing Platform 在成大中正堂體育館為智慧運動場域,並且安裝了 38 支攝影

- 發表 2 篇論文(一篇最佳論文獎

1.  T.Y. Hu and J.J. Lien, ”Monocular 3D Volleyball Trajectory via Geometric Constraints,” Springer International Conference on Intelligent Information Hiding and Multimedia Signal Processing (IIHMSP), Taiwan, October 2025. (Best Paper Award)

2.  C.W. Wu, M.D. Shieh, J.J. Lien, J.F. Yang, W.T. Chu, T.H. Huang, H.C. Hsieh, H.T Chiu, K.C. Tu, Y.T. Chen, S.Y. Lin, J.J. Hu, C.H. Lin, C.S. and Jheng, Enhancing Fan Engagement in a 5G Stadium with AI-Based Technologies and Live Streaming,” IEEE Systems Journal, Vol. 16, No. 4, pp. 6590-6601, Dec. 2022 .

 

我為成大智慧運動 CrowdEyes 團隊總主持人,團隊包含跨領域 10 位老師與約 30 位學生(跨領域包含資訊系、電機系、敏求智慧運算學院、體健休所、心理系等)分工合作建置中正堂體育館為智慧運動場域,目前安裝了 38 支攝影機,主要目標為「透過群眾直播串流來建構”增強觀眾參與度及沉浸式多媒體”之 5G 智慧體育館」 (Enhancing Fan Engagement and Immersive Multimedia via Crowdsourced Live Streaming for a 5G Smart Sports Stadium)

 

-  包含四大策略:1完善 5G WiFi6「異質通訊平台」 MEC Multi-access Edge AI Computing多接取 AI 邊緣運算平台技術,2整合「跨領域」精準智慧科技於運動場域,3藉由「群眾視覺」crowdsourced vision注意力為驅動源(attention-driven)來結合以人為本的沉浸式互動娛樂與運動產業之應用服務,4提供「加值大數 據」來帶動運動產業生態系的發展。

 

-  期能將成果契合「透明數據(運動數據)、感知智慧(運動場域)、全民有感(運動粉絲)、國際商模(運動新創)的運動健康發展全球化議題,藉此擴大“運動×科技“產業的服務受眾。為推動“運動×科技”應用服務的普及,包括運動數據、運動社群經營、民眾運動指導書等,發展民眾有感之“運動×科技”應用,建構以消費者導向的運動參與生態系,將服務推廣到一般大眾,形成運動文化風氣,進而樹立運動科技典範轉移。

 

- 技術之創見與成果:1)2021 年支援成大主辦全國大專院校運動會22023/02/04~05、2023/02/11~12、 2023/10/13~14 開幕賽及 2024/10/19~20  企業排球聯賽開幕賽連續 2 年在成大中正堂舉辦賽事,我們開發的運動科技畫面獲得電視Channel Eleven 運動台的青睞,全程支援電視台及YouTube 做即時轉播,成功大學校名及LOGO一直出現在電視及 YouTube 上,YouTube 線上平均有約 2 萬人在觀看及互動。(3)2024/10 台鋼籃球隊租成大中正堂為主場。


-  國家、社會、經濟發展之重要貢獻:透過此研究主題與運動科技應用結合,除了舉辦及經營賽事外,並且分析體育選手的姿勢與戰術分析,幫助教練替國家栽培更專業、實力更好之世界級運動選手,也讓選手可以自我改進技術。此外,也讓成大在體育館上體育課的師生透過場域的大螢幕顯示運動科技的結果,有更活潑的上課內容及提供更直接的技術溝通講解方式,人人可以提高自己的運動技術。

2.  智慧醫療基於聯邦學習與 CNN-Mamba 之肺結節自動化偵測平台 (2019-迄今)

2.12020~2022 跟成大醫院胸腔外科及放射科醫師們創新開發藉由 IMU TCN 深度學習技術來快速導航 Guided Needle Insertion

-   發表 1 篇期刊論文:

C.Y. Lin, MD, W.R. Tang, MD, P.C. Chiang, MD., J.J. Lien, P.Y. Tseng, Y.S. Liu, C.C. Chang, MD, and Y.L. Tseng, MD. Ph.D.,“Improving Punc-ture Accuracy in Percutaneous CT-Guided Needle Insertion with Wireless Inertial Measurement Unit: A Phantom Study,” European Radiology, Vol.33. No.5, pp. 3156 – 3164, May. 2023.

 

2020~2022 跟成功大學胸腔外科及放射科醫師團隊一起合作,放射科醫師在臨床上都要花將近 40 分鐘藉由他們的經驗很緩慢的 1 公分 1 公分來穿刺長針到有肺癌病杜病人身體的癌組織裡面,打入染色劑以易於開刀;此過程病人無法麻醉,對病人及放射科醫師都是煎熬跟經驗挑戰,病人會因為刺痛移動及呼吸影響到穿刺的精準度。

 

-  國家、社會、經濟發展之重要貢獻:透過醫師們臨床的需求條件,我們團隊設計出創新的解決方案,就是在長針上面套上一個小套筒,透過 3D 列印出那個小套筒,裡面放置一個IMU,透過開發的演算法來估算IMU 定位,所以長針 3D 座標相對 LDCT 上床的 3D 座標之間移動 3D 位置就可以知道。接著透過我們開發的 3D LDCT影像重建及投影到身體橫切面及縱切面的即時顯示  AR  技術,融合  IMU    3D  位置,再透過我們改良的 TCN

Temporal Convolutional Network)深度學習技術來導引(導航)長針到達癌組織的目的地,整個穿刺過程從一般的 40 分鐘減少到 5 分鐘,且穿刺技術由電腦 AR 來導航,大大減少年輕臨床醫師經驗不足的問題。

 

2.22019~迄今 建立聯邦學習肺結節偵測平台,結合了成大醫院、台南市立醫院與嘉義基督教醫院胸腔外科與放射科醫師團隊,及 Intel 與佳世達

- 發表 3 篇期刊論文及 1 篇會議論文(一篇最佳論文獎

1.  H.C. Yin, C.C. Chang, Z.W. Wang, C.Y. Lin, Y.T. Yen, Y.L. Tseng, J.C. Chen, and J.J. Lien, "False Positive Reduction for Lung Nodule Detection Using 3D Channel-Spatial Attention Model with Multi-Descriptor-Based Refinement," Expert Systems with Applications, Jul. 2025. (SCIE) Impact Factor=7.5, Ranking=7% (7/106)

2.  C.S. Lee, Y. L. Tseng, C.C. Chang, Y.T. Yen, C.T. Tu, S.M. Guo and J.J. Lien, "Federated Online Learning with Filters for Lung Nodule Segmentation in Low-Dose Computed Tomography Images," IEEE Intelligent Systems, Mar. 2025. (SCIE) Impact Factor=5.6, Ranking=6.3%

3.  W.R. Tang, MD., W. Su, J.J. Lien, C.C. Chang, MD., Y.T. Yen, MD., and Y.L. Tseng, MD., "Development of a Real-time RGB-D Visual Feedback-Assisted Pulmonary Rehabilitation," Heliyon, Vol. 10, No. 1, 2024.

4.  J.Y. Wu, P.S. Yang, C.C. Chang, C.Y. Lin, Y.L. Tseng, S.M. Guo, and J.J. Lien, “Subsolid Nodules Detection in 2D Lung CT Images with Modified YOLOv4,” The 26th International Conference on Technologies and Applications of Artificial Intelligence (TAAI), Taichung, Taiwan, November 2021. (Oral) Best Paper Award

 

肺癌持續佔據台灣死亡率最高的癌症,每年花費超過百億元健保費用,罹患肺癌者,超過六成沒有抽烟習慣,加以早期患者並無特異體感,症狀出現時多已進入晚期肺癌。所以肺癌篩檢可有效提高存活率並且降低死亡率,  低劑量電腦斷層(LDCT)掃描現為標準肺癌篩檢工具。然而遽增的LDCT 的篩檢(一般一個人照射LDCT 會產生約 500 張影像)與常見微小肺結節病灶,給醫師判讀帶來了很大壓力。如果能透過肺癌篩檢 AI 智能判讀系統,可以 協助醫師對進行判讀,大幅縮短閲片時間。

 

-    國家、社會、經濟發展之重要貢獻:我領導實驗室學生及資訊系郭淑美老師實驗室學生們,與成醫胸腔外科及放射科醫師等 5 位醫師團隊,成功的建立並且開發了聯邦學習平台於肺結節偵測的技術,我們先期 2021 年開發的肺結節偵測演算法稱為modified YoloV4 的深度學習模型,2021 年後開發的方法稱為 Lung Nodule Segmentation Using Modified 3D Transformer UNet on LDCT Images,能夠快速定位肺結節的位置,並根據肺結節大小劃分種類,除了減輕醫師的負擔,也將回饋術後病理報告來修正智能判讀系統並建立風險預測模型,針對高風險族群重點介入。


-    2021 年開始,我們就結合 Intel 與佳世達,開始建立聯邦學習平台;在 2023 年終於成功的聯結到台南市立醫院及嘉義基督教醫院,如此可以透過成大教學醫院的資源,幫助其他兩家醫院大大減少醫師們篩選 LDCT 肺結節的負擔,同時也照顧到人民的健康。目前recall rate 大概 90%precision rate 大概 85%,我們持續在改善我們的演算法。

 

3.  智慧製造:視覺導引機器手臂與智慧倉儲  (2019-迄今)

3.12019~~迄今 東捷科技及東台精機產學合作:開發視覺導引機器手臂於智慧化倉儲

- 發表 4 篇期刊論文及 1 篇國際會議論文:

1.   E.Y. Lin, C.T. Tu, and J.J. Lien*, "Nut Geometry Inspection Using Improved Hough Line and Circle Methods,” Sensors,” Vol. 23, No. 8, April 2023.

2.    M.T. Le and J.J. Lien*, “Lightweight Robotic Grasping Model Based on Template Matching and Depth Image,” IEEE Embedded Systems Letters, Vol. 14, No. 4, pp. 199-202, Dec. 2022.

3.    M.T. Le and J.J. Lien*, “Robot Arm Grasping Using Learning-based Template Match-ing and Self-Rotation Learning Network,” The International Journal of Advanced Manufacturing Technology, Vol. 121, No. 3, pp. 1915-1926, July 2022.

4.   M.T. Le and J.J. Lien*,“Learning-based Template Matching for Robot Arm Grasp-ing,” IEEE International Conference on Systems, Man, and Cybernetics (SMC), Aus-tralia, October 2021.

5.    M.T Le, C.T. Tu, S.M. Guo and J.J. Lien*, “A PCB Alignment System Using RST Tem-plate Matching with CUDA on Embedded GPU Board,“ Sensors, Vol. 20, pp. 2736-, MAY 2020.

 

2019~2022 與東捷科技及東台精機產學合作,致力於開發視覺導引機器手臂,應用於智慧化倉儲,倉儲自動化需要解決少量多樣物流物品的問題,放置與抓取物品盒子到架子上格子的左右誤差不能超過 1mm,架子通常有百公尺長及大於 2 層樓的高度。然而,現行大部分深度學習演算法有兩個問題需要解決:需要大量的資料及需要快速的訓練收斂方式,但在物流上都會碰到物品的量不多但樣式很多很雜。

 

- 技術之創見與成果:我們提出了一個具有 3D 視覺導引的機器手臂系統,使用透過 sim2real (simulation to reality)先做模擬及 pre-training,讓我們改良的 MobileNetV3 network 可以有初步的收斂,接著 semi-supervised learning 度學習透過少量的物品資料收集來進行訓練讓它可以快速收斂來完成物品偵測的目的。此系統由兩個用於深度學習的 3D 攝影機:1機器手臂以及基於學習的電腦視覺演算法組成,用於偵測、抓取、分類物品;2之後,透過深度學習方法的輪廓偵測,可以估算出架子上格子邊緣框框的正確位置以方便把貨物精準的擺放到架子上面或精準的抓取。對於存放螺帽等散物物品的倉庫,亦能將此類散物放置於特定盒子內來進行操作。

二、近五年協助產業發展績效:技術移轉、著作授權、產學合作、協助產業發展、實作研究上之成果與貢獻、產業規範標準之建立

 

 

 

 

 

計畫名稱

執行期限

計畫總金額

單位:元

 

 

 

 

 

企業計畫

1

 

東捷科技

影像相關技術

2025.01.01-

500,000

2025.12.31

2

影像相關技術

2024.01.01-

500,000

2024.12.31

3

影像相關技術

2023.01.01-

500,000

2023.12.31

4

影像相關技術

2022.01.01-

500,000

2022.12.31

合計

2,000,000

其他

1

嘉義長庚醫院利用邊緣運算建立膝關節病患輔助診斷系統之研究2023

976,600

合計

976,600


三、近五年國內外之成就與榮譽

1.   國際廠商 Intel 合作:

1)2021~2023 與美國 Intel 公司合作,採用每2週線上開會一次的方式,與 Intel 全球的 R&D 工程師進行計畫報告討論。

2.   國際廠商 AMD 合作成果及具體貢獻:

https://news-secr.ncku.edu.tw/p/404-1037-269350.php

1)  2024/06/11與全球知名 IC 設計半導體公司超微(AMD)共同舉辦「NCKU|AMD SOLU-TION DAY」一日論壇在成大,促進產學與教學合作及探索 AI 高效能運算應用,尤其為 AI PC 提供更多的軟體加值。

2)  AMD Day 吸引來自資訊產業的眾多企業代表和學界專家參與,共同探討科技趨勢和解決方案。整天共進行4場演講交流活動,內容涵蓋人工智慧、高效率運算、影像辨識、生成式 AI 等多個領域,為參與者帶來豐富的學術知識和實踐經驗。

3.   NCKU | TSMC 台積電 IMC Day on 20241108 400多人參加:

https://news-secr.ncku.edu.tw/p/405-1037-276528,c5934.php

1)跟台積電智慧製造研發部門(2500人的單位)合作-聚焦智慧製造與創新應用:成大主管及台積電10幾位長官一起舉辦參與。

4.   國內及國際廠商邀請一起參加國際展覽:

1)  2021/12/02~2021/12/05   佳世達邀請成大醫學院與資訊系此跨領域智慧醫療團隊參加台北南港展覽館-台北醫療展聯展,成醫、Intel 及佳世達聯展開發的“AI 影像辨識於肺部檢測成果。 

2)  2022/12/01~2022/12/04 Intel 邀請成大醫學院與資訊系此跨領域智慧醫療團隊參加台北南港展覽館-台北醫療展,成醫、Intel 及佳世達聯展“AI 影像辨識於肺部檢測結合聯邦式學習服務”。

3) 2023/03/06~11 2024/03/27-31 協助東台精機在台北南港展覽館 - 台北國際工具機展(TIMTOS) 做智慧製造與自動化展出,總統親臨展覽區嘉許。

5.   國際或重要活動邀請演講:

1)  2021/12/30 International Webinar Series on Smart Healthcare Science and Technology, 成功大學與

Taiwan Center for Smart Healthcare Science and Technology in Thailand (TCSMH) 跨國聯合舉辦。

-Talk Title:Visual Biofeedback System for Pulmonary Rehabilitation

2)  2022/01/12  「英特爾邊緣到雲端技術產業論壇」(Intel: Taiwan Edge to Cloud Conference) 擔任活動講師,活動地點:台北南港展覽館二館七樓,

-Talk Title: Lung Nodule Detection via Federated Learning and Pulmonary Rehabilitation

3)  2022/08/24 International Conference on Advanced Robotics and Intelligent Systems, 台北

-  Talk Title: Visual-Guided Mobile Robot Controls Based on Intel CPU

4)2025/09/04 東京科學大學(Institute of Science Tokyo)

-  Talk Title: The Cloud Thinks, the Edge Acts: Computing for AI Robotics

5)2025/11/07 IEEE Tainan Section

-  Talk Title: The Cloud Thinks, the Edge Acts: Computing for AI Robotics

6.   建立國際學術合作:

1)  2021~迄今  成大敏求智慧運算學院與日本香川高專(National Institute of Technology, Kagawa College)建立跨國合作課程,110 學年度第一學期開放成大大學部學生及香川高專學生選修。兩校老師將共同授課,提供人工智慧機器人理論與實務兼具之應用課程。

2)  2022~迄今 成大精準運動科技團隊-智慧運動場域中正堂建置-總主持人連震杰與美國卡內基美隆大學 CMU Takeo Kanade 教授做跨國技術合作,團隊師生每 1~2 個月透過網路開會一次。

3)  2025/05 隨成大沈校長赴美國拜訪 UC Berkeley,BAIR 建立 AI Robotics 合作事宜。

4)  2025/09 隨沈校長赴日本東京科學大學,發表演講並談醫學工程與運動醫學合作事宜。


四、近五年在人才培育、研究團隊建立及服務方面的重要貢獻及成就:獲得各類教學獎項;所指導之學生曾獲之獎項及特出之表現。

1.     校外獎項與榮譽

獎項名稱

年度

設獎(主辦)單位

日期

成功大學運動科技先鋒隊 運動賽事與科技的鏈- 金獎

110年度

台灣運動科技發展協會 運動

科技應用競賽

2021.12

AI Award Best Solution 學術產業化獎

113年度

台灣人工智慧協會

2024.04

2023未來科技獎

112年度

國家科學及技術委員會

2023.09

2024未來科技獎

113年度

國家科學及技術委員會

2024.09

2.     指導學生競賽獲獎

獎項名稱

年度

設獎(主辦)單位

日期

NASA Space Apps Challenge 2022 (NASA 黑客

2022) - 亞軍

111年度

美國在台協會AIT

2022.10

成大聯盟智慧製造數據競賽 - 金獎

113年度

教育部智慧製造跨域整合人才培育計畫-成大聯盟

2024.07

成大聯盟智慧製造數據競賽 - 銅獎

113年度

教育部智慧製造跨域整合人

才培育計畫-成大聯盟

2024.07

3.     本校教學傑出/特優教師

獎項名稱

年度

設獎(主辦)單位

日期

教學優良教師

111學年度

成功大學電資學院

2022.07

2023.06

教學傑出教師(全校共6位

112學年度

成功大學

2023.07

2024.06

 

序號

重要研究團隊主持

年度/主辦單位

1

主持人:成功大學智慧運動科技團隊-CrowdEyes-主持人

團隊:領導跨領域團隊 CrowdEyes 10 位老師與約 30 位研究生目標:建立成大中正堂體育館為智慧運動場域

111 學年度~迄今/成功大學

2

共同主持人:台鋼棒球隊成功大學運動科技團隊

團隊:沈孟儒校長為運動科技及運動醫學總主持人;團隊成員包含成大醫院醫師(骨科、影像放射科、基因新陳代謝科)與統計系、心理系及資訊系師生。

目標:透過數據分析來提升台鋼棒球隊的戰績及球員簽約考慮資訊;可能是台

灣第一個結合運動醫學與運動科技學術團隊跟職業棒球隊合作。

113 學年度~迄今/成功大學

3

主持人:晶創計畫子計畫三:建立多體學人工智慧分析平台,提供個人化精準健康管理及促進(沈孟儒校長為總主持人)

研究團隊:除實驗室研究生外,還有放射科蔡依珊醫師,統計系蘇佩芳院長、基因與新陳代謝林鵬展醫師教授,運動骨科許凱嵐醫師

目標:建立多體學人工智慧分析數據中台,藉由 AI 居家影像攝影系統,結合

InBody 身體組成分析,並整合基因體學和代謝體學等多體學,提供居家

年長者和慢性病患者精準照護使用

113 學年度~迄今/成功大學


4

共同主持人:水利 AI 創新應用研究(沈孟儒校長為總主持人)團隊:團隊成員包含成大醫院、電資學院、工學院

目標:建立 AI 高速運算平台給計畫師生用;結合 AI 科技、醫學、水利署災害

防治,透過運算平台來實現。

113 學年度~迄今/成功大學

4.       重要研究團隊主持