2024年中国大模型能力评测发布

近日，全球增长咨询公司弗若斯特沙利文发布《2024年中国大模型能力评测》，全面梳理了当前大模型的最新发展态势和竞争格局。报告对国内主流的15个大模型进行了权威评测。结果显示，百度、腾讯、阿里等互联网大厂旗下大模型位于第一梯队，综合表现相比初创企业更为优异。其中，文心一言能力最为全面，五项评测维度均为优势能力，并取得四项第一。

沙利文《2024年中国大模型能力评测》：大模型综合竞争力气泡图

沙利文的最新报告以用户使用体验和实际使用价值为衡量标准，综合考量数理科学、语言能力、道德责任、行业能力及综合能力等5大核心维度及21个细化二级维度。

报告显示，国际领先模型在通用基础能力和专业应用能力上略优于中国领先模型，但以文心一言为代表的中国模型具备亮眼表现。文心一言拿下数理科学、语言能力、道德责任、行业能力及综合能力等五大评测维度的四项第一，展现了中国大模型在自然语言处理领域的显著实力和在实际应用中的高价值。

沙利文报告的大模型通用基础能力评测包含数理科学、语言能力和道德责任管理等三大要素，结果显示文心一言排名第一，展现出模型在底层基础能力方面的较高水平。大模型的专业应用能力包含综合能力和专业能力两大核心要素，是大模型实际运用效能的集中展现，文心一言同样位列榜首，表现显著优于国际均线。

在日益重要的道德责任评测中，文心一言在道德理解深度、危险言论规避机制以及鲁棒性对抗方面均表现卓越。这反映出文心一言在模拟和处理涉及道德判断和决策的情境时，具备更为精准的理解力和适应性。这无疑将确保AI大模型的可持续发展和社会效益的最大化。

在大模型落地看重的行业能力评测中，文心一言同样排名第一。报告显示，文心一言灵活适应并高效解决了电商、工业、教育、能源、医疗等超过10个行业实际应用场景中遇到的问题，在多行业能力评测中表现优异。

沙利文还在报告中预测，2024年，大模型的技术发展将趋向多功能与小型化，同时产业端将强调自主研发和行业标准化，而伦理责任和数据标准规范将成为持续发展的关键。

百度文心一言等国产模型，正在不断提升大模型的效率，丰富大模型的功能。公开资料显示，自文心大模型发布以来，百度不断降低推理成本，进一步提升文心大模型的效率。借助百度独特的四层AI技术架构，文心大模型周均训练有效率超过98%。

百度还推出两款MaaS产品，降低大模型及AI原生应用开发门槛，分别是用于应用开发的千帆AppBuilder和用于专有模型开发精调的千帆ModelBuilder，累计帮助用户精调1.3万个大模型，服务8万企业用户，帮助用户开发出16万个大模型应用。

据媒体报道，百度近期在大模型上有诸多新动作。4月16-17日，百度Create AI开发者大会将在深圳国际会展中心（宝安）举办，不仅会带来AI技术的最新进展，还将设置超30节“AI公开课”，与全球各地参会者分享百度在AI领域的科研成果。