• 最新
  • 热门
  • 所有
  • 期货市场
  • 外汇动态
  • 股票行情
破解AI大模型落地成本难题,开源开放是「必修课」丨ToB产业观察

破解 AI 大模型落地成本难题,开源开放是 「必修课」 丨 ToB 产业观察

2024 年 8 月 15 日
市场实际成交不活跃 尿素短期低位整理

港股券商板块交投活跃,香港证券 ETF(513090) 昨日 「吸金」 超 10 亿元,净流入额居全市场 ETF 首位

2025 年 9 月 11 日
中际旭创市值首超东方财富,「光」含量超50% 的创业板人工智能ETF华夏(159381)涨超3%

市场需求表现不佳 螺纹钢短期或延续低位震荡运行

2025 年 9 月 11 日
美国煤炭巨头皮博迪豪言:特朗普时代下煤炭需求将飙升五成

周生生黄金价格今天多少一克 (2025 年 09 月 05 日)

2025 年 9 月 11 日
pt999铂金回收价格今日多少钱一克(2025年09月01日)

六部门开展专项行动整治汽车行业网络乱象

2025 年 9 月 11 日
菜籽油期货收盘下跌0.49% 持仓较上日减持1856手

最高法院启动特朗普关税 「快审通道」!11 月定夺万亿贸易生死局

2025 年 9 月 11 日
隆基绿能:主业盈亏平衡时间点推迟到Q4  提高BC二代产品是主要目标|直击业绩会

日本将部署导弹,射程覆盖中国沿海?国防部:决不允许日本军国主义卷土重来

2025 年 9 月 11 日
【新华500】新华500指数(989001)10日涨0.23%

【新华 500】 新华 500 指数 (989001)10 日涨 0.23%

2025 年 9 月 11 日
券商晨会精华:第二季度长线资金对低位内需品种关注度开始回升

https://www.huxiu.com/article/4765443.html

2025 年 9 月 11 日
白糖:原糖价格震荡磨底 国内价格维持宽幅震荡

最高法发布人民法院反垄断典型案例

2025 年 9 月 11 日
https://www.huxiu.com/article/4762285.html

供需边际好转 预计铁矿石短期走势震荡反弹

2025 年 9 月 11 日
供给端压力再度回升 纯碱价格上行驱动或不足

机构称储能行业景气度持续向好,储能电池 ETF(159566) 全天获 3600 万份净申购

2025 年 9 月 11 日
调降销售环节费率!公募基金费率改革顺利收官

周生生铂金多少钱一克 (2025 年 09 月 05 日) 参考价格

2025 年 9 月 11 日
禾湖财经
  • 登录
  • 首页
  • 24 小时
  • 行业新闻
  • 股票行情
  • 基金快讯
  • 期货市场
  • 禾湖观察
  • 期货研报
  • 国际金融
  • 外汇动态
  • 贵金属
2025 年 9 月 11 日 星期四
没有结果
查看所有结果
  • 首页
  • 24 小时
  • 行业新闻
  • 股票行情
  • 基金快讯
  • 期货市场
  • 禾湖观察
  • 期货研报
  • 国际金融
  • 外汇动态
  • 贵金属
没有结果
查看所有结果
禾湖财经
没有结果
查看所有结果
首页 24 小时

破解 AI 大模型落地成本难题,开源开放是 「必修课」 丨 ToB 产业观察

1 年 之前
在 24 小时
阅读时间: 1 mins read
0 0
A A
破解AI大模型落地成本难题,开源开放是「必修课」丨ToB产业观察

猜您喜欢

LME推出强制削减头寸新规 苹果因AI信披问题被告上法庭 | 环球市场

LME 推出强制削减头寸新规 苹果因 AI 信披问题被告上法庭 | 环球市场

3 月 之前
0
看起来「淡淡的」年轻人,在你看不到的地方展露锋芒

看起来 「淡淡的」 年轻人,在你看不到的地方展露锋芒

1 年 之前
0


生成式 AI 带来的新一轮 AI 浪潮已经席卷各行业接近两年,经历过去一年的 「卷」 参数之争,今年各行各业,包括大模型厂商,都将目光投向行业侧应用落地。

「诸如大模型的这类数字技术就像是锤子,而应用像是钉子,场景像是墙,只有找到合适的场景,再用锤子将钉子 『钉』 上去,才能实现最后的价值。」 东软集团联席总裁兼首席运营官盖龙佳在近期与禾湖财经 APP 的对话中形象地比喻道,「而没有应用,没有场景,光有技术,这个技术也是没有用的。」

行业大模型落地成本是个难题

正如盖龙佳所述,应用和场景对于一项技术而言,是其真正发挥价值的着力点。

不过,今年以来,各行业对 AI 大模型的态度多少有点 「趋之若鹜」。尚且不论这些应用场景的好坏,一个个不断涌现的场景也为企业在数字化向数智化转型的过程中,增加了无形的成本压力。

虽然以通义千问为代表的一大批大模型已经在公有云价格战之后,打响了大模型的价格战,将 Token 的价格不断打下去,但对于企业而言,应用大模型的成本依旧很高。

一方面,应用大模型的场景尚处于探索之中,目前还没有现象级或者质的飞跃的产品问世,产品的迭代很可能意味着花更多的钱去购买一项自己可能并不那么需要,或者提升并不大的服务;

另一方面,因为出于数据安全的考虑,企业即便明确了大模型的应用场景,也需要本地化部署,或者采用本地化部署+云端调用的方式。本地化部署意味着原先的机房设备很可能无法支持大模型的良好运行,即便这个模型参数可能很小。硬件的设备升级又很可能是 「牵一发而动全身」,因为兼容性、匹配度等因素的影响,可能需要对原有机房设备进行 「大换血」。而部署大模型带来的提升与企业付出的成本很可能不成正比。

对此,浪潮信息服务器产品线总经理赵帅表示,对于绝大多数企业而言,AI 的应用只是嵌入其工作流中的一小部分,企业却要为此花费单台 200 万—300 万 (以 8 卡机为例) 的价钱,同时购买十几台,甚至二十几台服务器做 AI,「对于企业来说,成本的压力是巨大的。」。

尤其对于中小型企业来说,不寻求大模型的应用,将面临着落后于竞争对手、被时代淘汰的风险;积极拥抱大模型,中小型企业需要面临成本的压力,同时 「试错」 的机会也不多。

与此同时,随着大模型能力的持续进化,AI 大模型的规模和复杂性不断增加,数据量越来越大,算力需求在不断攀升,需要同时应对 Scale up(单系统性能提升),和 Scale out(集群规模扩展) 两个方向扩展的挑战。

在单系统性能提升方面,增加单个设备或节点的计算能力。这就需要使用更强大或者更多的 AI 加速卡、处理器等,更高速的互联通信,以提升计算效率。

在集群规模扩展方面,通过增加计算节点的数量来构建大规模集群,集群规模扩展不仅给大规模 AI 集群组网、网络带宽带来很大的挑战,也给基础设施的建设带来了快速部署、提供高效供电与制冷等挑战,「除此之外,在数据中心的算力资源管理方面,也会面临不同平台芯片、部件如何定义精细化的管理设计的问题。」 赵帅如是说。与此同时,从中国智算产业角度出发,国内的智算网络基本上都是基于集群规模扩展开发的网络。

开源开放是大趋势

面对大模型给企业带来的使用成本的问题,赵帅告诉禾湖财经 APP,开源的软件与开放的硬件设计是一条可行之路。

在软件层面,开源大模型降低了企业的应用成本,以及应用门槛。据统计,目前有超过三分之二的模型都选择了开源,「超过 80% 以上的 AI 项目使用开源框架进行开发。开源模型的下载量突破 3 亿次,并衍生出了超过 3 万个新模型。可以说是开源开放带来了 AI 的发展和繁荣。」 赵帅指出。

虽然开源大模型相关产品比闭源大模型的产品问世的时间较晚,但是其增长速度迅猛,而开源大模型的能力当下也足以媲美最先进的闭源大模型。例如,Meta 最新发布的 Llama3.1 模型的参数规模达到 403B,是目前参数规模最大的开源模型。

「国内外多个大模型全面开源,允许开发者自由使用、修改和改进,促进大模型性能快速提升,」 赵帅告诉禾湖财经 APP,「可以说开源开放的大模型成为的创新的驱动力,也带动了应用和产业的全面发展。」

国内,阿里云也一直在持续升级通义系列大模型的开源版本。今年六月份通义千问发布的 Qwen2.0 包含五个尺寸的预训练和指令微调模型,包括 Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B 以及 Qwen2-72B。阿里云很多客户根据具体场景对输出质量和响应时长要求来综合考量选取相应参数模型。

大模型在行业的落地除了离不开开源的模型和开源的软件生态之外,在硬件层面,开放的设计,以及成熟的产业上下游生态也已经成为大模型产业发展不可或缺的关键因素。

开放设计的第一步就是制定标准,有了一个开放的标准后,上下游企业在根据这个标准进行适配,就可以构建一个完善的生态。开放的标准和生态构建以后,可以让服务器厂商与用户的连接更加紧密,「用户都想要在享受新技术提升生产效率的同时,又不被一家或几家厂商绑定。这时候,一个开放的生态就能让用户有更多自主选择的权力,反而会增加了用户黏性。」 赵帅指出。

除了可以提高用户黏性以外,一个开放的硬件生态还为新技术快速的产业化、规模化落地提供了良好的环境。「如果一个技术没有人,或者只有很少人用,一般来说成本会很高,产业化也很难,」 赵帅明确道,「而开放会让很多人快速地拥抱新技术,从而快速降低成本,进一步来讲,就能快速降低产业化的难度。」

浪潮信息 AI&HPC 产品线高级产品经理张政告诉禾湖财经 APP,当下,企业级用户想要获取高端算力资源十分困难,一方面价格会很贵;另一方面渠道又很少,「这时候,多元算力的生态就体现出了价值。通过多元算力生态,企业能更容易的获得算力,」 张政强调,「在 OAM(开放加速规范) 标准之下,企业可以在模型训练的场景提供足够的算力和性能,尤其是一些传统的垂直行业,为了更好的支持 AI 在自身业务场景中的落地,他们采购 OAM 标准的产品的意愿很强烈。」

以传统的 8 卡服务器为例,其传统的 GPU 高速互联,已经无法满足当下万亿规模的 MoE 模型的训练或者推理需求,但是通过 OAM 集群规模扩展的方式,就能够实现 16 卡的高速互联,「这项技术已经很成熟了,可以很快的就将服务器迁移过来,满足当下企业对于大模型的需求。」 张政指出。

这样的小场景还有很多,而从中获利的企业也有不少,以浪潮信息为例,自 2019 年开始涉足开放加速计算服务器领域,彼时的合作芯片厂商只有 1-2 家,客户接受度很低,但是经过五年来的发展,如今形成了颇为可观的产业生态,「现在浪潮信息基本兼容了国内外所有的芯片厂商,我们最高端的产品全部采用了开放的标准,」 赵帅告诉禾湖财经 APP,「目前来看,通过开放的态度,产业上下游获得的收益巨大。」

除了现实利益方面给用户和服务供应商带来了可观的利益价值以外,OAM 标准还能加速上游 AI 芯片的技术迭代,起到推动技术演进的作用。以前,无论是 CPU,还是 GPU,其迭代速度大概在 2—3 年迭代一次,「目前,像 GPU 芯片,已经变成了一年一迭代,甚至有的是半年一迭代,」 张政指出,「在高速迭代下,企业不可能每次迭代都开发一个全新的系统,这时候通过标准化平台,产业链在加速上游芯片迭代的同时,还能够满足企业不断推进应用的升级。」

展望未来,为 AI 大模型而生的 OAM,自然也成为了 AI 大模型在更行业落地过程中的重要推手,而如何构建更强大的高速互联的产品和方案,也成为了当下各大厂商普遍关注的焦点。

未来,一切计算皆 AI

开源的软件生态与开放的硬件生态,其目的只有一个——让更多人可以以更低的成本,拥抱 AI 算力带来的红利。「未来,一切计算皆 AI。」 赵帅说。

从当下的技术演进上已经不难看出,无论是手机、电脑这类端侧的硬件设备,还是 CPU 服务器、加速服务器这类企业级硬件设备,都具备了 AI 计算的能力,也都在承载着多样化的 AI 应用。显然 AI 算力已经深入到千行百业之中,「AI 算力已经渗透到了每个计算设备中,面向人工智能的算力范式不断革新。」 这是赵帅对于当下及未来算力发展趋势的研判。

与此同时,从应用角度出发,AI 算力正在快速渗透至金融、通信、公共事业等更多传统企业应用。为了支撑千行百业最广泛的场景,让 AI 大模型应用与云、大数据、数据库等通用场景实现更为紧密高效的融合,而当下以及未来,通用算力也要具有 AI 计算的能力。

但目前 x86、ARM、RISC-V 等不同架构的 CPU 处理器百花齐放,仅中国,目前就有 10 多种 CPU 处理器,不同 CPU 协议标准不统一,系统功耗、总线速率、电流密度不断提升,导致硬件开发、固件适配、部件测试资源等时间激增,给算力系统设计带来巨大挑战。如何快速完成芯片到计算系统的创新,已经成为推动人工智能产业发展的关键环节。

在这些背景下,构建统一 CPU 底座的开放标准就显得更加重要。近日,2024 开放计算中国峰会上,开放算力模组 (OCM) 规范正式启动,首批成员包括中国电子技术标准化研究院、百度、小红书、浪潮信息、英特尔、AMD、联想、超聚变等。

全新的开放算力模组 OCM 规范,旨在建立基于处理器的标准化算力模组单元,通过统一不同处理器算力单元对外高速互连、管理协议、供电接口等,实现服务器主板平台的深度解耦和模块化设计,兼容不同架构的多代处理器芯片,方便客户根据人工智能、云计算、大数据等多样化应用场景,灵活、快速匹配最适合的算力平台,推动算力产业高质量快速发展。

OCM 规范是国内首个服务器计算模组设计规范,产业界上下游伙伴将基于 OCM 规范,共同建立标准化的算力模组单元,构建开放合作、融合创新的产业生态,为用户提供更多通用性强、绿色高效、安全可靠的算力选择。(本文首发于禾湖财经 APP,作者|张申宇,编辑丨盖虹达)

相关 文章

市场实际成交不活跃 尿素短期低位整理
基金快讯

港股券商板块交投活跃,香港证券 ETF(513090) 昨日 「吸金」 超 10 亿元,净流入额居全市场 ETF 首位

7 秒 之前

截至收盘,香港证券指数上涨 1.5%,中证银行指数上涨 0.1%,中证全指证券公司指数、沪深 300 非银行金融指数均下跌 0.3%。Wind 数据显示,港股券商板块交投活...

中际旭创市值首超东方财富,「光」含量超50% 的创业板人工智能ETF华夏(159381)涨超3%
期货市场

市场需求表现不佳 螺纹钢短期或延续低位震荡运行

3 分 之前

9 月 10 日螺纹钢期货行情走势显示,主力合约今日开盘报 3115.00 元,目前报 3121 元,跌幅-0.35%,盘中最高价报 3126.00 元,最低价报 3092.00 元...

  • 热门
  • 评论
  • 最新
老凤祥回收黄金多少钱一克(2025年6月27日)

国海证券策略首席分析师胡国鹏:下半年 A 股牛途在望,配置核心在科技成长

2025 年 8 月 1 日
铑多少钱一克(2025年06月27日)

人工智能+行动重磅发布!资金借道软件 ETF(515230) 布局,连续两日吸金近 2 亿元

2025 年 8 月 1 日
郑州宝泉钱币周五(6月27日)银条价格8.79元/克

老凤祥黄金价格今天多少一克 (2025 年 07 月 30 日)

2025 年 8 月 1 日
Lesson 1: Basics Of Photography With Natural Lighting

The Single Most Important Thing You Need To Know About Success

Lesson 1: Basics Of Photography With Natural Lighting

Lesson 1: Basics Of Photography With Natural Lighting

Lesson 1: Basics Of Photography With Natural Lighting

5 Ways Animals Will Help You Get More Business

市场实际成交不活跃 尿素短期低位整理

港股券商板块交投活跃,香港证券 ETF(513090) 昨日 「吸金」 超 10 亿元,净流入额居全市场 ETF 首位

2025 年 9 月 11 日
中际旭创市值首超东方财富,「光」含量超50% 的创业板人工智能ETF华夏(159381)涨超3%

市场需求表现不佳 螺纹钢短期或延续低位震荡运行

2025 年 9 月 11 日
美国煤炭巨头皮博迪豪言:特朗普时代下煤炭需求将飙升五成

周生生黄金价格今天多少一克 (2025 年 09 月 05 日)

2025 年 9 月 11 日
  • 隐私政策
  • 联系我们
  • 关于禾湖
联系我们:+86 15388934451

Copyright © 2025 长沙禾湖信息科技有限公司. 湘 ICP 备 2023006560 号-2

没有结果
查看所有结果
  • Home
  • Tech

Copyright © 2025 长沙禾湖信息科技有限公司. 湘 ICP 备 2023006560 号-2

欢迎回来!

在下面登录您的帐户

忘记密码?

重置您的密码

请输入您的用户名或电子邮件地址以重置密码。

登录