阿里巴巴发布了首个千亿参数的大模型 Qwen1.5-110B

阿里巴巴发布了首个千亿参数的大模型 Qwen1.5-110B。此前它发布了 0.5B、1.8B、4B、7B、14B 和 72B 不同规模参数的版本。阿里巴巴称，Qwen1.5-110B 模型在基础能力评估中与 Meta-Llama3-70B 相媲美，在 Chat 评估中表现出色，包括 MT-Bench 和 AlpacaEval 2.0。Qwen1.5-110B 与其他 Qwen1.5 模型相似，采用了相同的Transformer 解码器架构。它包含了分组查询注意力（GQA），在模型推理时更加高效。该模型支持 32K tokens 的上下文长度，同时它仍然是多语言的，支持英、中、法、西、德、俄、日、韩、越、阿等多种语言。
https://qwenlm.github.io/zh/blog/qwen1.5/
https://qwenlm.github.io/zh/blog/qwen1.5-110b/

转自 奇客Solidot | 阿里巴巴发布了首个千亿参数的大模型 Qwen1.5-110B