中国电信使用国产芯片训练有 1 万亿参数的大模型
中国电信 AI 研究所称它使用国产芯片训练了两个大模型。其中之一是 TeleChat2t-115B 为开源模型,项目托管在 GitHub 上,有大约 1150 亿个参数;另一个大模型没有公开名字,据称其参数有 1 万亿个。AI 研究所称,这表明国内在大模型训练上实现了完全自给自足。根据 TeleChat2t-115B GitHub 页面的描述,中国电信可能使用了华为昇腾 Atlas 800T A2 训练服务器,运行基于 Arm 8.2 架构的鲲鹏 920 7265 或鲲鹏 920 5250 处理器,分别有 64 个 3.0GHz 内核和 48 个 2.6GHz 内核。
https://github.com/Tele-AI/TeleChat2
https://www.scmp.com/tech/big-tech/article/3280588/china-telecom-say-ai-model-1-trillion-parameters-trained-chinese-chips
https://www.theregister.com/2024/10/02/china_telecom_model_trained_local_tech/