《金融股》採NVIDIA NeMo平台打造金融代理 國泰金發表成果
2025/05/21 16:32
【時報記者莊丙農台北報導】國泰金(2882)首次參與NVIDIA GTC Taipei大會和輝達技術合作
成果，並由國泰金控副總梁明喬發表主題演講。國泰金去年率先推出「國泰生成式AI技術發
展框架GAIA」，提升集團在數位、數據、技術轉型的效率，國泰金與NVIDIA合作，共同研究
如何運用NVIDIA NeMo在符合法規與商業需求的前提下，於本地端安全部署大型語言模型（L
LM），以契合台灣的監管環境與市場需求。這項成果於今日在NVIDIA GTC Taipei發表，顯示
大型語言模型在處理專業金融知識方面的可行性，為區域內具規模、特定領域的AI應用奠定
基礎。
梁明喬表示，國泰金運用台灣本地金融授信知識、法規文獻及實務案例等作為訓練語料，
在模型上利用NVIDIA NeMo框架進行預訓練（Pre-training）、微調（Fine-tuning）等技術
手法，藉NVIDIA的加速運算完成70至80億參數量的大型語言模型訓練。透過知識蒸餾（Know
ledge Distillation）與NVIDIA NeMo Curator框架，擴增訓練資料達4至5倍，大幅縮短資料
準備時間，亦輔以NVIDIA TensorRT框架加速模型評估流程。
隨著全球AI技術快速演進，AI Agent正成為新一代人工智慧的發展趨勢。相較傳統具對話
功能的工具型AI，AI Agent具備環境感測、記憶與自主規畫能力，能根據情境變化主動推論
、規畫並執行任務，象徵AI由「回應式工具」正式邁入「主動型代理」的新階段。
在金融場域中，AI Agent的應用潛力無窮，惟目前市面上多數屬通用大型語言模型，對於
台灣在地金融知識、專業術語及產業實務掌握仍不足，難以準確回應台灣市場金融使用者需
求。此次國泰金控運用NVIDIA加速運算的優勢，充分展現金融機構如何結合專有與產業特定
資料，進一步提升大型語言模型的應用效能。
梁明喬強調，國泰金將持續與NVIDIA合作，推進具備更廣泛金融知識與實務應用能力的領
域專屬大型語言模型，也將持續強化AI Agent的適應性推理、複雜決策輔助與情境感知任務
執行等能力，涵蓋從交易處理、服務自動化到智慧資訊擷取等多元應用。
