作者:彭昭(智次方创始人、云和资本联合创始合伙人)SIP Trunk的具体问题可以到我们网站了解一下,也有业内领域专业的客服为您解答问题,为成功合作打下一个良好的开端!https://www.siptrunk.cn/
这是我的第354篇专栏文章。
前几篇文章,我们不断探讨小模型(SLM)在端侧和边缘侧的崛起。现在,边缘侧小模型已然成为不可忽视的发展趋势。
AI模型犹如软件,需要硬件作为载体方能发挥作用。
面对边缘AI的迅猛发展,我们不禁要问:边缘硬件是否已经做好准备了
生成式AI模型要落地应用,离不开边缘硬件的支撑。对开发者和比较终用户而言,边缘硬件就是驾驭AI的利器。
一个良好的硬件“工具”,如同一柄削铁如泥的神兵,若能遇到善加利用的主人,定能所向披靡,威力惊人。
如今,边缘设备的算力与日俱增,从过去的几个TOPS@INT8(每秒可执行数兆次八位整数运算),跃升至数十TOPS的量级。这意味着边缘硬件即使在断状态下,也能单独完成SLM的推理任务,大大拓宽了应用场景。
伴随SLM的发展,多家企业纷纷推出针对SLM优化的边缘智能开发板。尤其值得关注的是,在上周,英伟达发布了令人瞩目的新品,将边缘硬件的性能和性价比推向了新的高度。
12月17日,英伟达CEO仁勋在发布的视频中,从烤箱端出比较新“烹饪”的全新边缘开发套件J O N S。
这款“边缘AI大脑”不仅性能更为强劲,售价更是直降一半,仅需249美元(人民币2000元以内)。这疑将掀起边缘AI的一场革命。
这一产品的问世,不仅将会掀起一场全球范围内的边缘AI开发板大战,也为企业在边缘AI领域的发展提供了难得的机遇。
本文将从英伟达新品的特点、边缘AI开发板的竞争格局、企业的机遇与挑战等角度,深入探讨这场边缘AI革命的意义与影响。
让我们做好准备,一起迎接即将来临的端侧AI、边缘AI硬件的“寒武纪”物种大爆发阶段。
重新定义边缘AI的可能性
在介绍英伟达新品之前,有必要明确端侧AI和边缘侧AI硬件所涵盖的范围相当广泛,从数十元到数百万的解决方案任选,可谓丰俭由君,应有尽有。
广义而言,凡是需联即可完成AI推理任务的硬件,都应归入边缘AI的范畴。相较端侧,边缘侧对算力和功耗的要求更高。业界普遍认为,AI工业电脑、嵌入式设备、电池供电的可穿戴设备以及服务机器人等,都属于边缘侧AI的典型应用。
当然,面向这些边缘AI设备的解决方案也是形态各异,包括微处理器(MPUSC)开发板、类树莓派型开发板、TPU加速棒等,当然也包括仁勋此次端上的“佳肴”:J O N S开发套件。
这款全新发布的产品是J N系列的升级版,堪称目前该系列中“性价比之王”。在性能大幅提升的同时,售价却直降一半,仅需249美元(人民币2000元以内)。
与前代产品相比,N S的AI推理性能提高了17倍,整体性能飙升70%,达到惊人的67 TOPS@INT8。此外,N S的内存带宽增加至102GB,较前代提升50%:CPU频率也从15GH升至17GH:而整机尺寸却只有一个手掌大小,功耗仅需25瓦。
J O N S支持同时调用多达四个摄像头,并提供比前代更高的分辨率和帧率。性能的全面升级,将为主流生成式AI模型和基于T的计算机视觉算法带来显著增益。
这款革命性的AI开发套件,将让机器人、工业自动化领域的开发者以及各行各业的硬件工程师,需连接云平台,即可在边缘侧现高效AI运算,大幅降低成本和延迟。
在谈到英伟达新品的同时,我们还需要关注美国对华芯片限制令可能带来的影响。
就在新品发布隔日,12月19日,美国商务部要求英伟达调查该产品在过去一年中流入大陆的情况。
然而,查阅美国商务部工业和安全局(BIS)发布的额外出口管制规定可以发现,ECCN 3A090项下的相关注释明确指出,非数据中心类且TPP未超过4800的芯片不在该项管制范围内。这意味着绝大多数用于笔记本电脑、智能手机和游戏机等消费电子产品的芯片不受影响。
因此,英伟达J系列产品可以通过正常渠道在销售。这款新品的推出,必将点燃更多创新开发者和应用企业的热情。
边缘AI高性价比时代来临
英伟达新品的问世,势必引发一场AI开发板的激烈角逐。
市面上与J O N相似的产品不在少数,各家都声称自己的算力高、性能强。曾有国外开发者对当时比较热门的款AI开发板进行了横向对比,分别是树莓派+英特尔神经络计算棒、英伟达J O N和G C。
结果发现,没有任何一款开发板能够达到官方宣称的比较高效率。
测试之后,这开发者还很可爱的透露:T CG。可见谷歌也是相当“心大”,认可这份客观中立、至少没被打脸的测试结果。
论哪家产品更胜一筹,对开发者而言,高性价比、算力强劲的AI开发板时代已经到来。今后,再也没有“算力昂贵、难出佳作”的借口了。
由此,围绕边缘AI的比较新“安迪-比尔定律”之争也拉开了帷幕。这一定律曾为IT产业创造了一种完美模式:W A ,B。如今,这一法则正在边缘AI领域重演。
除了本次新品,英伟达还计划在2025年推出J T,以争夺更大的AI硬件市场份额:而OAI则计划在2025年1月发布能够单独执行任务的AI代理O。
这对“准安迪-比尔”的持续迭代,不仅推动了AI技术的进一步成熟,也将重塑未来智能设备的功能和应用场景。
在上篇文章《2025智能代理大战来袭,2026智能代理+W3触发万物经济》中,我曾介绍OAI的AI代理O不仅在技术上具备自主性,在功能设计上也充分考虑了多样性,能够控制计算机并单独执行任务。与之呼应,英伟达则致力于通过硬件平台为智能机器人赋能,二者形成了互补之势。
在本次边缘AI开发板的大战中,企业有望占据一席之地。
这一预测既基于在芯片制造领域的快速进步,也得益于企业在当前“安迪-比尔定律”重构中的积极参与。
根据12月10日海关总署发布的比较新数据,2024年前11个月,集成电路出口额突破万亿元大关,同比增长203%。这一里程碑式的成就,标志着在芯片研发、生产与制造领域的能力已经上升到一个新的高度。
经历了6年的贸易战考验,已于2023年成为全球比较大的芯片生产国,为企业参与边缘AI硬件的竞争奠定了坚基础。
在新一轮“安迪-比尔定律”的演进中,企业正积极布局。一方面,企业可以充分利用自身在芯片制造领域的优势,为边缘AI开发板提供高性价比的核心组件:另一方面,企业也在加大研发投入,致力于打造性能卓越、功能丰富的边缘AI开发板产品。
边缘AI是现“硬件+服务”融合之钥除了参与边缘AI开发板的争夺战之外,英伟达新一代边缘AI开发套件J O N S的发布,为企业在边缘AI领域的发展提供了难得的机遇。
这款高性价比的产品,不仅让更多开发者有机会接触和应用AI技术,也为企业在硬件制造与AI服务整合方面开辟了新的可能性。
回顾过去数十年的国际分工,在硬件制造领域积累了显著的比较优势。然而,这种“硬件强、软件弱”的非均衡发展模式,导致内需不足、服务业滞后等问题日益凸显。而边缘AI硬件的兴起,恰恰为打破这一困局提供了契机。
边缘AI硬件的特点在于,它将强大的AI运算能力与物理设备紧密结合,使得智能化服务能够在本地时交付。
这意味着,企业可以充分发挥自身在硬件设计和制造方面的优势,同时通过边缘AI现服务能力的跨越式提升,比较终现制造业和服务业的均衡发展。
以服务机器人为例,它集成了先进的AI算法和传感器技术,能够根据用户需求和环境状况提供个性化、智能化的交互服务。毛茸茸的AI机器宠物、贴心的家庭陪伴机器人、懂人心的智能眼镜等,都是边缘AI服务设备的典型应用场景。这些创新产品的问世,将极大地丰富人们的生活体验。
拥有完善的电子制造业供应链和庞大的消费市场,这为边缘AI硬件的规模化生产和应用提供了得天独厚的条件。
如果企业能够抓住这一机遇,积极布局边缘AI硬件领域,不断强化技术研发和产品创新能力,就有望在全球边缘AI市场中占据一席之地,并带动服务业的转型升级。
不过,要真正现“硬件+服务”的协同发展,企业还需要在以下几个方面进行深入探索和践:
加强研发投入。边缘AI的竞争归根结底是技术的竞争。企业要在算法模型、芯片设计、传感器集成等方面加大研发力度,突破关键核心技术,提升产品的智能化水平和性能表现。
深化产业链协同。边缘AI硬件的研发和生产涉及芯片、算法、传感器、结构件等多个环节,需要产业链上下游企业的紧密协作。企业要充分发挥产业集群优势,建立健全的协同机制,提升供应链的效率和柔性。
创新商业模式。单纯的硬件销售很难获得丰厚利润,企业需要探索“硬件+服务”的创新商业模式。可以考虑通过硬件产品获取用户和数据,再通过软件服务现商业变现:或者针对特定行业提供端到端的整体解决方案,充分挖掘客户需求。
培育开发者生态。边缘AI的应用开发离不开广大开发者的积极参与。企业要通过开放平台、开发工具、社区活动等方式,积极培育开发者生态,激发开发者的创造力,共同丰富边缘AI的应用场景。
注重隐私保护。边缘AI的普及应用将产生大量的用户数据,这对数据安全和隐私保护提出了更高要求。企业要严格遵守相关法律法规,加强数据全生命周期管理,增强用户信任。
积极参与标准制定。边缘AI尚处于起步阶段,相关标准和规范亟待建立。企业要积极参与国际标准化组织的工作,争取在关键技术领域掌握更多话语权,为边缘AI产业的健康发展贡献力量。
只有在技术、产品、服务、生态、安全等多个维度形成差异化优势,企业才能在激烈的边缘AI竞争中抢得先机。
写在比较后英伟达比较新发布的边缘AI开发套件J O N S,以其强大的性能和超高的性价比,重新定义了边缘AI的可能性。
这一产品的问世,不仅掀起了一场全球范围内的边缘AI开发板大战,也为企业在边缘AI领域的发展提供了契机。企业可以充分利用自身在硬件制造领域的优势,同时通过边缘AI现服务能力的跨越式提升,比较终现制造业和服务业的均衡发展。
参考资料:
开发者如何选择E AI开发方案,作者:J OXRI,来源:欧尼克斯境互动工作室(OXRI)T F: NVIDIA’ P-S ST AI,来源:E M EB E C - C G, I,NVIDIA,作者:A A,来源:M |
|
|
|
|