开源大模型(xing)领域(yu)新秀再(zai)起。
昨(zuo)天，知名私募巨头(tou)幻方量化旗下的AI公(gong)司(si)深度求索（DeepSeek）发布全(quan)新第二代MoE大模型(xing)DeepSeek-V2。
这款支持128K上下文(wen)窗口的开源MoE模型(xing)，能凭借低至“谷底”的价格成为(wei)新星(xing)吗(ma)？
能力媲美GPT-4，价格为(wei)其百分之一
先看性能。
和当前主流大模型(xing)相比，DeepSeek-V2毫不逊色。
据悉，DeepSeek-V2拥有2360亿参数，其中每个token210亿个活跃参数，相对较少，但仍然(ran)达到(dao)了开源模型(xing)中顶级的性能，称得上是最强的开源MoE语言模型(xing)。
研(yan)究团队构建了由8.1T token组成的高质(zhi)量、多(duo)源预训练语料库。与DeepSeek 67B使用的语料库相比，该语料库的数据量特别(bie)是中文(wen)数据量更大，数据质(zhi)量更高。
据官网介绍，DeepSeek-V2的中文(wen)综合能力（AlignBench）在众多(duo)开源模型(xing)中最强，超(chao)过GPT-4，与GPT-4-Turbo，文(wen)心 4.0等闭源模型(xing)在评测中处于同一梯队。
其次，DeepSeek-V2英文(wen)综合能力（MT-Bench）与最强的开源模型(xing)LLaMA3-70B处于同一梯队，超(chao)过最强MoE开源模型(xing)Mixtral8x22B。
有分析指出(chu)，该模型(xing)的训练参数量高达8.1万亿个token，而DeepSeek V2表现出(chu)“难以置(zhi)信”的训练效率，并且计算量仅为(wei)Meta Llama 3 70B 的1/5。
更直观地说，DeepSeek-V2训练所需的运算量是GPT-4 的1/20，而性能却相差(cha)不大。
有外国(guo)网友给出(chu)了高度评价：在仅有210亿个活跃参数的情(qing)况下，能达到(dao)如此强的推理能力相当惊人。
“如果属实的话，那是相当惊人的。”
“原来是中国(guo)公(gong)司(si)？也许这就是‘中国(guo)队’在AI领域(yu)名列前茅的原因。”
“如果属实的话，那是相当惊人的。”
“原来是中国(guo)公(gong)司(si)？也许这就是‘中国(guo)队’在AI领域(yu)名列前茅的原因。”
不过，技术(shu)已经不是大模型(xing)的唯一宣传点了。
作为(wei)AI技术(shu)的前沿领域(yu)，大模型(xing)更新换代之快有目共睹，再(zai)强的性能也可能在发布的下一秒就被友商反超(chao)。
因此，DeepSeek选择“卷”价格。
目前DeepSeek-V2 API的定价为(wei)：每百万token输入(ru)1元、输出(chu)2元（32K上下文(wen)）。
和友商相比，仅为(wei)GPT-4-Turbo的近百分之一。
DeepSeek表示，采用8xH800 GPU的单(dan)节(jie)点峰值吞吐量可达到(dao)每秒50000多(duo)个解码token。
如果仅按输出(chu)token的API的报价计算，每个节(jie)点每小时的收入(ru)就是50.4美元，假设利用率完全(quan)充分，按照一个8xH800节(jie)点的成本为(wei)每小时15美元来计算，DeepSeek每台服务(wu)器每小时的收益可达35.4美元，甚至能实现70%以上的毛(mao)利率。
有分析人士指出(chu)，即使服务(wu)器利用率不充分、批处理速度低于峰值能力，DeepSeek也有足够的盈利空间，同时颠覆其他大模型(xing)的商业逻辑。
总(zong)结就是，主打一个“经济实惠”。
有网友表示：太便宜了，充50块能用好几年。
“日常的任务(wu)都能胜任。”
“开放平台送的十(shi)块钱(qian)共有500万token。”
“日常的任务(wu)都能胜任。”
“开放平台送的十(shi)块钱(qian)共有500万token。”
全(quan)新创(chuang)新架构，支持开源
价格是怎么被打下去的？
来自DeepSeek-V2的全(quan)新架构。
据悉，DeepSeek-V2采用Transformer架构，其中每个Transformer块由一个注意力模块和一个前馈网络（FFN）组成，并且在注意力机制和FFN方面，研(yan)究团队设计并采用了创(chuang)新架构。
据介绍，一方面，该研(yan)究设计了MLA，利用低秩键(jian)值联合压缩(suo)来消除推理时键(jian)值缓存的瓶颈，从而支持高效推理。
另一方面，对于FFN，该研(yan)究采用高性能MoE架构 ——DeepSeekMoE，以经济的成本训练强大的模型(xing)。
DeepSeek-V2基(ji)于高效且轻量级的框架HAI-LLM进行训练，采用16-way zero-bubble pipeline并行、8-way专家并行和ZeRO-1数据并行。
鉴于DeepSeek-V2的激活参数相对较少，并且重新计算部(bu)分算子以节(jie)省激活内存，无需张量并行即可训练，因此DeepSeek-V2减少了通信开销。
并且，DeepSeek-V2完全(quan)开源（https://huggingface.co/deepseek-ai），可免费上用，开源模型(xing)支持128K上下文(wen)，对话官网/API支持32K上下文(wen)（约24000个token），还兼容OpenAI API接(jie)口。
不仅性能好，还这么便宜，甚至直接(jie)兼容OpenAI API，DeepSeek-V2这手“王(wang)炸”，换谁可能都没(mei)法拒绝。
外国(guo)网友直呼：没(mei)理由不用！
DeepSeek-V2的性能水平几乎和与GPT-4一致、提供的API与OpenAI API兼容、可以免费使用500个token、付费版本价格仅为(wei)GPT-4的1/100……
“没(mei)有理由不用它。”
DeepSeek-V2的性能水平几乎和与GPT-4一致、提供的API与OpenAI API兼容、可以免费使用500个token、付费版本价格仅为(wei)GPT-4的1/100……
“没(mei)有理由不用它。”