作者polor

2024-07-01 在地化的繁中AI語言模型TAME發表 精準解釋買東西「很盤」 (https://udn.com/news/story/6939/8065648)

多家企業今日共同發表繁體中文AI大型語言模型「Project TAME」，
該模型藉由企業所提供電子業、石化業、醫療、法律等各專業領域資料，進行5000億字的預訓練，
發展出在地化特色，可以精準解釋「很盤」等繁中語境下的特定用法，
甚至在國考、升高中大學的題目上，能拿到的分數也遠高於GPT-4o、Gemini等其他語言模型。

今日舉行成果發表的「繁體中文專家模型開源專案TAiwan Mixture of Experts」（Project TAME）是由多家企業聯合發起，
與台大資工系副教授陳縕儂合作，NVIDIA提供技術支持，總共預訓練5000億個字。
Project TAME是基於Llama 3 8B、70B的版本，訓練框架為NVIDIA NeMo Megatron，
推論框架為NVIDIA TensorRT-LLM，演算法及算力的支持則來自NVIDIA Taipei-1的DGX H10...