Teng-Ruei Chen
AIインフラ · LLM推論 · 深層学習 · バイオインフォマティクス
AIのコストの大半は学習から推論へ移りつつある。モデルの学習は一度だが、提供は何百万回も行われる。しかもその計算資源は希少で、場所によって価格が異なり、互換でもない。どのリクエストをどの機械でいくらで走らせるかは、実装の細部ではなくインフラの経済の問題になりつつある。これが私の扱う問題であり、以前に電力配分、車両充電、計算資源の調度で向き合ってきたものと同じ問題である。
難しいのはもう半分だ。これらの判断は評価がしにくい。ルーティングで報告される改善は、それ自体が不安定な基準と比較されており、下層のハードウェアも二度同じ答えを返すとは限らない。測定が確かなものになるまで、この分野は本物の改善と測定方法の産物とを区別できず、その差額を払い続けることになる。私の仕事の多くが手法ではなく測定である理由はそこにある。
学士と修士は情報工学、博士は国立陽明交通大学のバイオインフォマティクス・システム生物学で、タンパク質二次構造予測を扱った。精度を落とさない高速化、二次構造ベースの位置特異的スコア行列、問題の理論的上限、そして環状置換タンパク質のための構造モデリング・リンカー設計システム CirPred である。一貫して産業界で働いており、計算資源の調度とAIインフラの分野で12件の登録特許の発明者である。
- 2021
- 博士(バイオインフォマティクス・システム生物学)国立陽明交通大学、新竹
学歴
- 2026–
- CTO、BiiLabs Co., Ltd.(信任網路股份有限公司)· 台北
- 2026–
- CEO、Krixvon Company Limited(宸核股份有限公司)· 台北
- 2024–26
- CTO、Taiwan Intelligence Research and Development Co., Ltd. · 台北
- 2022–24
- エンジニア、工業技術研究院(ITRI)· 新竹
- 2018–22
- CTO、Lingshing Intelligence Co., Ltd.(領星智慧股份有限公司)· 台北
職歴
ルーティング
学習型ルーターはリクエストをモデル群に振り分ける。その割り当てが、答えの品質を事前に知るオラクルからどれだけ離れているかを測っている。
プライバシー
サービング基盤は応答が存在する前にメタデータを出す。どの層を選んだか、キューの長さ、サンプリングした下書きの数。その通路は読み取れる。
妥当性
ベンチマークで測ったルーティングの効果が、本番の流量形状に触れてどれだけ残るか。残らないとき、最初に壊れるのはどの仮定か。
論文
2022年以前はタンパク質構造予測。方法論上の問いは共通している。
データセット・ソフトウェア
特許(発明者)
| 国 | 特許番号 | 名称 | 状態 |
|---|---|---|---|
| TW | — | Scheduling system and method combining cloud and local computing power | 審査中 |
| TW | — | Battery Swapping Scheduling System and Scheduling Method | 登録手続中 |
| US | — | Global cross-timezone computing power scheduling method | 登録手続中 |
| TW | I941269 | Regional computing power management platform system | 登録済 |
| TW | I935869 | Global cross-timezone computing power scheduling method | 登録済 |
| TW | I928765 | Computing power demand analysis system and method thereof | 登録済 |
| TW | I928714 | An open analytical structure combining depth and breadth with dual engines of thoughts | 登録済 |
| TW | I907964 | Power information processing system and method based on blockchain | 登録済 |
| TW | I882792 | Intelligent vehicle-assisted drone operation system | 登録済 |
| TW | I870046 | Wireless charging system and method for unmanned vehicles | 登録済 |
| TW | I829017 | The system and the method of battery exchange of the electric car | 登録済 |
| TW | I827983 | The system and the method of wireless charging of the electric car | 登録済 |
| TW | I828105 | Logistics processing system and method thereof | 登録済 |
| TW | I824753 | Charging service system and method thereof | 登録済 |
| TW | I741788 | A wide area power monitoring platform system and method | 登録済 |
発明者として記載。権利は各権利者に帰属。名称は特許庁の登録どおり。
受賞
- Honorable MentionIntelligent production scheduling systemAIGO
- ExcellenceAI hair-region detectionAIGO
- Honorable MentionAI planning and scheduling systemAIGO
- Judges' AwardUAV-based human detection systemDigital Technology Solution
- Judges' AwardAI fish-species recognition systemDigital Technology Solution
- OutstandingDynamic prediction model for hospital outpatient waiting timesAIGO
- WinnerKoi image recognition systemAI Application Challenge
- ExcellenceESG extraction and sustainability-indicator matching modelAI GOOD
- Judges' AwardGenerative AI for varied interpretation of aquarium exhibitsDigital Technology Solution