群聯和聯發科攜手AI運算。資料照
AI應用領域不斷擴大,產官學單位對AI模型微調 (Fine-Tuning) 運算的需求也持續上升,群聯 (8299) 與聯發科(2454)今天攜手宣布策略聯盟。群聯的創新AI運算服務「aiDAPTIV+」將與聯發科旗下領先的生成式AI服務平台「MediaTek DaVinci」深度整合,共同開創AI運算與應用服務的新時代,加速普及生成式人工智慧於大眾的日常生活。
「MediaTek DaVinci」平台是聯發科基於GAI服務框架(GAISF)打造的一款先進的生成式AI服務開放式平台,開發者可在「MediaTek DaVinci」平台上開發各類實用的插件,建立豐富的生態系統,同時提升使用者的互動體驗。
群聯推出的「aiDAPTIV+」服務方案,通過其獨特的SSD整合AI運算架構,將大型AI模型進行結構性拆分,並與SSD協同運行。這種方法不僅大幅降低了AI基礎建設的硬體成本,還提高了運算效率,使得在有限的GPU與DRAM資源下也能夠訓練大型的AI模型。「
群聯的「aiDAPTIV+」方案不僅已在全球首款整合SSD協同運算的量產AOI光學檢測系統中展現其工業應用價值,更已協助國立陽明交通大學廖元甫教授的客台語AI提升辨識準確度。與聯發科「MediaTek DaVinci」的結合,將進一步拓展「aiDAPTIV+」技術的應用範疇,為AI服務市場注入新動力,不僅將為用戶帶來更優質的體驗,也將為開發者開闢更廣闊的創新空間。
群聯技術長林緯博士強調,群聯的使命即是透過創新技術來解決實際問題,並推動產業的進步。我們的「aiDAPTIV+」技術方案將為AI模型微調 (Fine-Tuning) 運算領域帶來革命性貢獻,而聯發科技的「MediaTek DaVinci」平台在AI服務領域也已取得卓越的成就,通過雙方的共同努力,我們將能夠快速導入AI應用於大眾的日常生活,並為我們的客戶創造更大的價值。
聯發科人工智慧暨數據工程處協理葉家順表示,聯發科技長期致力於推動AI的創新與應用,期待「MediaTek DaVinci」生成式AI服務平台能為產業激發出更多的新應用。群聯電子的「aiDAPTIV+」技術方案不僅為我們的平台帶來了前所未有的地端運算能力,也為我們的使用者和開發者社群開啟了新的可能性。我們期待這次合作能夠為整個產業帶來深遠的影響,並攜手創造更加智慧的未來。
群聯與聯發科雙方合作的效益包括:「aiDAPTIV+」的模型結構分拆並與SSD協同運行技術,支援更大型AI模型的訓練。預計將降低AI服務的硬體建構成本,使得AI技術的應用更為廣泛且經濟。結合「aiDAPTIV+」後,將為開發者提供更多元客製化插件的開發可能性。
4.
且透過加速部署地端AI應用,「aiDAPTIV+」能夠快速適應不同的應用需求。加上「aiDAPTIV+」能降低AI模型微調運算的總電力需求,減少能源消耗和碳足跡,符合環保趨勢。