陳騰瑞 Teng-Ruei Chen
AI 基礎設施 · LLM 推論 · 深度學習 · 生物資訊
13論文
12已領證專利
3資料集與程式
9獲獎
AI 的成本正在從訓練移到推論。一個模型只訓練一次,卻要被服務上百萬次,而且跑在稀缺、各地價格不同、彼此又不能互換的硬體上。哪一個請求該跑在哪一台機器、花多少錢,正在從實作細節變成基礎設施的經濟問題。這就是我在做的事,而它跟我更早在電力調度、車輛充電、算力排程上面對的是同一個問題。
比較難的是另一半:這些決策很難評估。路由上報告出來的增益,是拿一個本身就不穩定的基準在比,而底下的硬體又不保證兩次給出同樣的答案。在量測站得住腳之前,這個領域分不出哪些是真的改進、哪些只是量測方式造成的假象,而差額是會被實際付出去的。這就是為什麼我的工作有很大一部分是量測而不是方法。
我的學士與碩士是資訊工程,博士是國立陽明交通大學生物資訊及系統生物,研究主題為蛋白質二級結構預測:在不犧牲準確率的前提下加快預測、以二級結構為基礎的位置特異性計分矩陣、這個問題的理論上限,以及 CirPred——針對環狀排列蛋白質的結構建模與 linker 設計系統。我一直在業界工作,並為十二件已領證專利的發明人,領域為算力調度與 AI 基礎設施。
- 2021
- 博士,生物資訊及系統生物,國立陽明交通大學,新竹
學歷
- 2026–
- 技術長,信任網路股份有限公司(BiiLabs Co., Ltd.)· 台北
- 2026–
- 執行長,宸核股份有限公司(Krixvon Company Limited)· 台北
- 2024–26
- 技術長,台灣智慧技術研發股份有限公司 · 台北
- 2022–24
- 工程師,工業技術研究院 · 新竹
- 2018–22
- 技術長,領星智慧股份有限公司 · 台北
經歷
路由
學習型路由器把請求分派到一組模型上。我量測這些分派,離一個事先就知道答案品質的 oracle 還有多遠。
隱私
serving 基礎設施在回應存在之前就送出 metadata:選了哪一層、佇列多長、採樣了幾份草稿。那條通道是讀得出東西的。
效度
在 benchmark 上量到的路由效果,碰到真實流量形狀之後還剩多少,以及最先壞掉的是哪一個假設。
論文
2022 年以前的論文是蛋白質結構預測,方法學上的問題意識是同一個。
資料集與程式
程式deterministic-int8-llm-inference: measurement programme and reproducibility companion for two papers on cross-kernel INT8 inference numerics21 次瀏覽 · 7 次下載doi:10.5281/zenodo.23685942資料集Per-layer int8 activation captures of Qwen3-1.7B (W8A8) for the fault-injection study in arXiv:2609.0036321 次瀏覽 · 8 次下載doi:10.5281/zenodo.23696093資料集When Strong Reasoners Join the Pool: run record and code (NVIDIA B300, MATH-500)160 次瀏覽 · 19 次下載doi:10.5281/zenodo.23724735
專利(發明人)
| 國別 | 專利號 | 名稱 | 狀態 |
|---|---|---|---|
| TW | — | 結合雲端及本地算力的調度系統及其方法 | 審查中 |
| TW | — | 換電排程系統及其排程方法 | 領證中 |
| US | — | 全球跨時區算力調度方法(美國案) | 領證中 |
| TW | I941269 | 區域算力管理平台系統及區域算力資源調度方法 | 已領證 |
| TW | I935869 | 全球跨時區算力調度方法 | 已領證 |
| TW | I928765 | 算力需求分析系統及其方法 | 已領證 |
| TW | I928714 | 結合深度與廣度的雙引擎思維的開放式分析結構及其方法 | 已領證 |
| TW | I907964 | 基於區塊鏈的電力資訊處理系統及其方法 | 已領證 |
| TW | I882792 | 智慧車輛輔助無人機作業之系統 | 已領證 |
| TW | I870046 | 電力驅動載具的無線充電系統及方法 | 已領證 |
| TW | I829017 | 智能車輛充放電系統及其方法 | 已領證 |
| TW | I827983 | 智能車輛無線充放電系統及其方法 | 已領證 |
| TW | I828105 | 一種物流處理系統及其方法 | 已領證 |
| TW | I824753 | 充電服務系統及其方法 | 已領證 |
| TW | I741788 | 一種廣域電力監控平台系統及其方法 | 已領證 |
本人為發明人,專利權歸各該專利權人所有。名稱依專利主管機關登錄。
獲獎
2019
- 佳作智能生產排程系統開發AIGO
2020
- 優等AI 頭髮區域偵測技術開發AIGO
2021
- 佳作AI 智慧規劃排程系統開發AIGO
- 評審獎無人機應用人形探測系統開發數位科技競賽
2022
- 評審獎AI 智能魚種辨識系統數位科技競賽
- 特優醫療院所門診看診時間智慧動態預測計算模型AIGO
2023
- 優勝錦鯉影像辨識系統AI 鬥智賽
- 優等ESG 智能萃取及精準匹配永續指標模型AI GOOD
- 評審獎生成式 AI 技術協助生物展示缸體解說變化性數位科技競賽