文心4.0推理成本或暴增10倍，大模型如何走远

　　软件截图小编测评花小雨攻略app是一款专门为游戏爱好者打造的游戏攻略软件。小编点评在这里，有很多很受欢迎的小说资源，并且每天都在持续更新，玄幻、都市、言情、穿越等分类一应俱全，不管是男的还是女的，一键搜索你想看的，在这里都能找到。

　　夜谭汇集了各妖怪的衍生故事，妖怪们在各作者的脑洞里，也许不那么坏，也许没那么好。江南软件库怎么样？1.该软件简单，资源排列整齐，软件内存很小，启动速度很快，使用方便，对手机的要求不高。

　　软件优势1、【便民生活】便民服务，审批服务全汇集；2、【新闻资讯】汇聚热闻头条，畅览天下大事；3、【生活服务】便捷生活服务，随时随地贴心；主要特色1、本地信息很齐全，县内人民也能更好地去享受同城生活。主要特色1、聚集了各大视频门户网站大量的VIP影视资源，大家随时随地看个够。

　　2、让玩家们感受到一种更加刺激的感觉。找茬大冒险手游特色上千个关卡，清新可爱的游戏风格!好看又耐玩【7种游戏模式，丰富多彩】经典找茬，找茬小游戏，休闲模式，无尽模式，桌游模式和对战模式!【各种找茬小游戏】创新玩法：橡皮擦，气球障碍，弹球，镜像，探照灯，木板阻碍，还有超好玩的拼图游戏和对对碰!【有趣的找茬图片】独一无二的找茬图库!每一张都精心绘制，最值得收藏的精美找茬～【桌游模式】只需一台iPhone或iPad，适合全家或好友一起游戏，找到不同点后立刻传给下一个人，争分夺秒，看看炸弹在谁手里爆炸!【在线对战】支持GameCenter，可邀请好友或全球对战，超爽的快速找茬，你追我赶，还有3种趣味道具，令比赛气氛更加欢乐～【分享获取免费道具】找茬遇到困难向好友寻求帮助吧!一键分享至微信微博!每天送3个免费放大镜～更新日志2019/12/9，版本新增多种游戏道具丰富了游戏玩法简化操作步骤软件截图

重点推荐:【天天播资讯】2023中关村论坛首次设立女性平行论坛 2、点击更换按钮,在这里可以选择自己喜欢的角色,开启全新的冒险。2.自定义设置：用户可以根据个人需求进行天气应用的自定义设置，如温度单位、语言、主题等，提高使用体验。

　　从竞争打响，再到决出胜负，最快需要多长时间？

　　在科技圈，大模型如论第二，则很少有行业敢称第一。2023年，业界刮起一股“百模大战”风潮，百余个大模型面世，期待赢得下一个人工智能时代的入场券。但时间仅过半年有余，这场万众瞩目的角逐便走至了“决赛圈”。

　　目前，行业中的大模型用户体验已逐渐出现“分水岭”。背后的推手，无疑是科技巨头们正在投入巨资，强化自家产品的基础模型能力。

　　近期有媒体报道称，百度正在加紧训练文心大模型4.0，或将在10月17日百度世界大会上发布。据透露，目前这款基础模型已在理解、生成、逻辑和记忆四大方面有巨大突破，在逻辑推理、代码、数学等方面的进步水平明显。另一组引人注意的信息是，文心大模型4.0的推理成本相比文心大模型3.5增加很多，有传闻是8-10倍，也有说法是至少翻了10倍。

　　如何理解大模型的推理成本？其训练成本和推理成本的关系是什么？如果百度文心4.0推理成本真的至少翻了10倍，那么大模型的可持续发展之路在何方？这些问题无疑为这场科技竞赛增添了更多看点。

　　01

　　推理成本激增

　　什么是推理成本？通常意义上，它指的是大语言模型训练完成后在线为用户提供生成内容服务时产生的成本，模型的每一次“思考”和“输出”都会产生资源消耗。

　　推理成本由质量和数量两部分构成。一方面，在质量侧，需要优秀的算法和技术实力储备作为支撑，其背后往往意味着专业的算法工程师和数据科学家团队的支持；而在数量侧，“暴力计算”所依赖的计算资源也是重要因素。

　　GPU“堆料”能不能解决所有问题？

　　应该说，在过去的一段时间是可以这样认为的。不过，目前随着模型网络结构的复杂化、参数规模的巨量化，线性的基础设施投入所取得的边际收益正在降低。

　　对于技术研发能力不足的大模型厂商而言，由于AI芯片价格的持续高企，“堆料”逻辑是死路一条，并必将被市场淘汰。而推理成本本身，也是因不同的开发商而异的。

　　02

　　 “中文天才”已就位

　　在市场中，有实力的企业通常愿意雇佣名牌大学的高等生。在大模型领域内，这个规律同样适用。

　　目前，行业里已出现多种为大模型生成内容付费的使用方式，不过根本上，遇到刁钻或时效性问题时，大模型给出的结果仍然效果不甚理想。一方面，这是由于中文特有的复杂性决定；另一方面，也是用户激增带来的短期算力不足所导致。

　　实际上，此前行业所提及的“训练成本”和“推理成本”并不能等同。

　　一般而言，训练GPT-3等级的大模型的成本约为140万美元，这也是几个月前人们对大模型成本测算的核心依据，但GPT-3迭代到3.5、GPT-4后，大模型的成本增长是非常惊人的。对于一些私有部署的模型而言，其模式是在已经训练好的模型进行输出，成本相对较低。但这种模式只能满足特定需求，并不适用于开放市场。

　　目前，考虑到在线推理场景，则更需要处理大规模数据，成本随之被推高。

　　根据海外最新研究《The Economics of Large Language Models》，可以有如下估计： 每个 token（1000 token 约等于 750 个单词）的训练成本通常约为6N（N为参数的计量单位），而推理成本约为 2N，也就是说推理成本大约相当于训练成本的三分之一。但随着模型上线部署后使用量的增加，推理成本可能远超训练成本。

　　在国外，大模型的付费是大势所趋。其中以ChatGPT专业版为例，其版本所提供的用户体验与免费版差别很大。当然，这也有助于大模型向着健康正向、持续发展的角度进步。

　　有媒体估算过，使用云计算服务（以AWS为例）调用ChatGPT的能力，每处理一个输入长度为50字、输出长度为1000字的问题，大约需要消耗0.00014611美元的云计算资源。即用1美元可以向ChatGPT提问约6843个问题。

　　据推测，文心4.0的推理成本将比3.5版本上升10倍。不过，其带来的好处也是显而易见的，那就是相当于为每个普通人都带来了“高知高学”的AI助手。

　　03

　　中文大模型逐渐弯道超车

　　应该说，2023年是属于“遥遥领先”的一年。在众多网友的观感中，这个词汇除弘扬国产技术实力外，也有一些趣味因素在其中。

　　中文大模型是否能够“遥遥领先”？这是十分令人期待的。

　　严肃些说，中国需要自己的中文大模型。可以看到，中文大模型的崛起已在日程之上。在OpenAI的GPT系列活跃量连续下滑之际，诸如百度文心一言等产品的增长却与日俱增。应该说，从落后再到领跑，在过去的几个月间，中文大模型打出了一场漂亮的逆袭战。

　　中文大模型的优势是，它在语义理解上更加准确，在文化背景差异上也几乎没有代沟。如果当我们把视角放在科技创新、产业升级等大背景下，中文大模型所承载的知识量或将再次刷新人们的认知。

　　应该看到，中文大模型也是“国货”的一种，它不仅是高新技术领域的突破，也可被看成一种对外名片和集体记忆。

　　一个好消息是，目前据已知的讯息，百度文心大模型4.0已进入小流量测试阶段，其参数量大于所有已经公开的LLM（大语言模型）。

　　值得注意的是，该款产品是国内首次使用万卡规模AI集群训练的大语言模型。借助百度飞桨的深度融合，它将大幅超越前作。作为国内对标“GPT-4"的产品，它的问世将是令人激动的。

　　有媒体爆料，百度文心大模型4.0正在加紧训练，已经接近可发布状态。

　　言而总之，对于国内众多厂商而言，如今的大模型已至竞争的下半场，“百模大战”或更快落幕。不过对于普通人而言，产品的品牌厂商并不重要，能享受到体验上乘的产品才是第一选择。

   【免责声明】本文仅代表第三方观点，不代表和讯网立场。投资者据此操作，风险请自担。