2024-07-01 在地化的繁中AI語言模型TAME發表 精準解釋買東西「很盤」
多家企業今日共同發表繁體中文AI大型語言模型「Project TAME」,
該模型藉由企業所提供電子業、石化業、醫療、法律等各專業領域資料,進行5000億字的預訓練,
發展出在地化特色,可以精準解釋「很盤」等繁中語境下的特定用法,
甚至在國考、升高中大學的題目上,能拿到的分數也遠高於GPT-4o、Gemini等其他語言模型。
今日舉行成果發表的「繁體中文專家模型開源專案TAiwan Mixture of Experts」(Project TAME)是由多家企業聯合發起,
與台大資工系副教授陳縕儂合作,NVIDIA提供技術支持,總共預訓練5000億個字。
Project TAME是基於Llama 3 8B、70B的版本,訓練框架為NVIDIA NeMo Megatron,
推論框架為NVIDIA TensorRT-LLM,演算法及算力的支持則來自NVIDIA Taipei-1的DGX H100。