马斯(si)克的(de)大模型Grok，即将推出最新进化版——Grok1.5。
而这距(ju)离Grok 1 开源仅仅才过去 10 天。
美东时间周五，马斯(si)克宣布，xAI公司(si)最新的(de)Grok-1.5将于下周在他的(de)社交媒体平台(tai)X上推出。
他表示，Grok 2 应该在所有指标上都超(chao)过当前的(de) AI，现在正在训练中。
此前一天，xAI宣布Grok-1.5将在未来几天内提供给X上的(de)早期测试人员和现有的(de)Grok用户。
据介绍(shao)，Grok-1.5 推理能力大升级，支持128k上下文长(chang)度。
其中最显著的(de)改(gai)进之一是推理性能大幅提升。它在编(bian)码和数学(xue)相关任(ren)务中的(de)能力全面超(chao)越Grok-1、Mistral Large、Claude2。
在测试中，Grok-1.5在数学(xue)基准上取得50.6%的(de)得分，在GSM8K基准上获得了90%，这两个数学(xue)基准涵盖了从(cong)小学(xue)到高中的(de)各种竞赛问(wen)题。
从(cong)数据来看，Grok-1.5在GSM8K上提升到90，MATH上上升到50.6%。
在评估代码生成和解决问(wen)题能力的(de)HumanEval基准测试中，Grok-1.5获得了74.1%的(de)高分，超(chao)过了Claude 2的(de)70%、Claude 3 Sonnet的(de)73%、Gemini Pro 1.5的(de)71.9%以及GPT-4的(de)67%。
Grok-1.5 的(de)另一个新功能是，能够在其上下文窗口内处理多达 128K token的(de)长(chang)上下文。
这使得 Grok 的(de)内存容(rong)量增(zeng)加(jia)到以前上下文长(chang)度的(de) 16 倍，使其能够利用更长(chang)的(de)文档中的(de)信息。
此外，新模型还可以处理更长(chang)、更复杂的(de)提示，同时在其上下文窗口扩展(zhan)时仍保(bao)持其指令跟随能力。
在NIAH评估中，Grok-1.5 展(zhan)示了强大的(de)检索能力，可检索长(chang)度达 128K 字节的(de)上下文中的(de)嵌入文本，并取得了完美的(de)检索结果。
xAI 表示，Grok-1.5 构建在基于 JAX、Rust和 Kubernetes 的(de)自定义分布式训练框架之上。该训练堆栈允许开发(fa)团队能够以最小的(de)精力，构建想法原型并大规模训练新架构。
为挑(tiao)战OpenAI的(de)ChatGPT，马斯(si)克于去年创立(li)了xAI，并在去年底推出第(di)一版聊天机器人Grok1。
本月早些时候，马斯(si)克在起诉OpenAIde 几天后，宣布xAI将开源Grok。
xAI 表示，开源版大模型Grok-1是一个拥有 3140 亿个参数混合专家模型，远(yuan)超(chao)OpenAI GPT-3.5的(de)1750亿。
这也是，目前参数量最大的(de)开源大语(yu)言模型。
值得一提的(de)是，距(ju)离Grok-1开源不到半个月的(de)时间，马斯(si)克又火(huo)速(su)放出进化版Grok-1.5。
这搞大模型的(de)速(su)度，马斯(si)克也是出奇的(de)快啊。
眼下，AI大模型竞赛逐渐白热化，大家伙儿眼看着都“杀红了眼”。