让球盘

让球盘

滚球app(中国)2026世界杯官方IOS|Android手机app下载 一台手掌大小、300克的AI主机, 为什么能跑122B模子?

发布日期:2026-05-26 19:56 来源:未知 作者:admin 浏览次数:

滚球app(中国)2026世界杯官方IOS|Android手机app下载 一台手掌大小、300克的AI主机, 为什么能跑122B模子?

把一台能运行122B大模子的AI主机塞入口袋,需要付出什么代价?

昔时泰半年,端侧AI硬件的逻辑正在发生变化。

两个月前,国内掀翻一场表象级的土产货部署Agent高潮,大皆AI爱重者初始“养虾”,让本来偏小众的Macmini不测出圈,一度出现溢价和缺货。在更硬核的开发者圈子里,三四万元的英伟达DGXSpark一样热度不低,因为它依然未必在土产货运行千亿参数模子。

Macmini和DGXSpark同期走红,背后其实指向的是消亡个趋势:Agent正在马上举高端侧AI硬件的门槛。

此前,40TOPS级别的AIPC,仅能完成对话、生成等轻量任务。但插足Agent时间后,开发者初始追求更大的模子、更万古刻的土产货推理,以及信得过未必承担出产力任务的端侧AI开垦。

问题随之出现。Macmini有余安闲、低功耗,却很难相沿更大的土产货模子;DGXSpark领有强悍性能,但价钱、功耗与散热,又很难信得过走向各人化。大算力、低功耗与小体积之间,似乎永恒难以兼得。

Agent时间信得过穷乏的,不再仅仅一台更强的AIPC,而是一种未必7×24小时运行、低功耗、安闲,并具备土产货扩充才智的新终局。

一种介于AIPC与AI使命站之间的AgentComputer出现了。最近发布的梦想AI主机P7,仅300克、30W功耗的开垦,领有190TOPS端侧AI算力,能在土产货运行122B参数模子。

AI2.0时间,需要怎样的AgentComputer?

传统AI更多如故一问一答式交互,任务收尾后,模子也随之住手运行。但Agent不同,它需要历久在线、捏续调用模子、自主拆衔命务,并在土产货完成挂念、推理、扩充等一整套进程。

这意味着Agent开垦比拼的,不再仅仅瞬时性能,而是历久安靖运行才智。

换句话说,AI2.0时间信得过需要的不是AIPC的简单升级版,而是一种介于AIPC与AI使命站之间的新终局,它既要具备运行大模子的才智,又必须兼顾低功耗、静音、小体积,以及7×24小时捏续使命的安靖性。

梦想AI主机P7,恰是在AI2.0需求下出生的AgentComputer新物种。它既尝试接近DGXSpark的大模子出产力才智,又保留了雷同Macmini的低功耗与静音特点。

P7领有190TOPS异构AI算力(dNPU+SoC),其中160TOPS来后来摩漫界M50dNPU,30TOPS来自此芯P1SoC。整机最高支捏122B参数模子土产货部署,最高可配置80GBRAM,并支捏128K高下文窗口。

在无网环境下,P7土产货自主推理速率最高可达50Tokens/s,不错终了7×24小时连结扩充Agent任务。

围绕Agent历久在线需求,P7的机身唯有手掌大小,分量约300克,致使不错径直通过充电宝供电运行。为了在小体积下终了捏续安靖运行,P7还将整机功耗肆意在30W以内,并将运行杂音压低至35分贝以下。

这意味着,梦想AI主机P7依然初始信得过具备土产货出产力价值。

更进军的是,与传统PC+AI的念念路不同,P7并不是在原有开垦中增多AI功能,而是围绕Agent场景重新界说终局逻辑。

举例,P7选定了一机双模想象,在智能体模式下,土产货运行天禧Claw,将复杂任务尽可能留在土产货扩充;在大模子模式下,则通过怒放APIKey接入种种AI期骗与智能体,径直承担土产货推理与Token生成才智。

P7的推出代表着昔时唯有高功耗使命站才能承担的大模子土产货推理才智,初始有契机插足更低功耗、更低资本的袖珍开垦。

而唯有当大模子推理未必在低功耗、小体积条目下历久运行,Agent才有可能信得过从少数开发者开垦,渐渐走向更等闲的耗尽级与行业终局场景。

相沿这种AgentComputer形态建立的,是P7背后一套不同于传统GPU道路的新算力有缱绻。

千亿模子装入口袋之后,算力逻辑也变了

梦想在P7立项初期就依然明确,要作念一台能放入口袋、又能土产货运行大模子的AI主机。这意味着它的芯片必须同期餍足三个险些互斥的条目:大算力、低功耗、小体积。

传统AI芯片很难同期兼顾这些需求,中枢在于数据搬运——规画单位与存储单位物理差别,数据在两者之间往往流动,滚球app中国官网下载入口带来罕见的能耗与蔓延。

AI芯片行业因此不停探索新的架构旅途,其中一个正在被越来越多厂商探索的标的等于存算一体,存算一体让数据在存储侧就近完陋习画,从而减少搬运支拨,升迁合座能效。

梦想遴荐引入存算一体架构芯片,手脚P7的主要AI算力着手,也等于dNPU(DiscreteNPU),它雷同于寥寂GPU的定位,领有更强的AI性能。

这颗dNPU,恰是后摩智能在2025年推出的存算一体AI芯片——后摩漫界M50。

后摩漫界M50选定存算一体架构想象,具备160TOPS物理算力,配备最高48GB内存与153.6GB/s带宽,典型功耗仅10W,能效达到传统架构芯片的5~10倍。

雷峰网了解到,M50在想象阶段就针对大模子部署进行了优化,通过SRAM与48GBLPDDR5的组合有缱绻,在兼顾性能的同期,升迁了千亿参数模子的可部署性与资本可控性。

信得过的挑战不啻于芯片,而是怎样让千亿参数模子在一台300克级别的开垦上历久安靖运行。这需要梦想与后摩智能在土产货Agent系统、推理框架以及软硬件协同层面进行深度协作。

尤其是在Agent扩充链路、模子治愈与端侧资源处罚上,梦想需要一套全新的系统才智来相沿捏续运行的AI任务。

从2025年下半年神情讲求启动初始,梦想与后摩智能组建谐和团队,围绕硬件想象、软件适配与推理框架伸开了长达十多个月的谐和攻坚,最终终显着在后摩漫界M50上运行千亿参数大模子。

当今,P7依然支捏千问、智谱、DeepSeek等主流模子,并可终了新模子的Day0适配,即模子发布本日即可完成运行支捏。关于用户而言,这使得P7不再仅仅演示型开垦,而是一台可历久运行Agent任务的土产货AI终局。

从芯片到系统,再到Agent扩充才智,梦想与后摩智能正在共同考据一种新的AI主机形态。

跟着端侧大模子捏续演进,这种兼顾性能、功耗与历久运行才智的AgentComputer,正在成为AI2.0时间最具施行落地后劲的终局标的之一。

Agent波浪重构硬件秩序,存算一体迎来推理黄金时间

AI芯片的竞争逻辑,正在发生一场静默的翻转。

昔时几年,行业的中枢方针是峰值算力,比拼的是谁能考试更大的模子,GPU也因此成为通盘这个词AI时间的中枢基础法子。

但当AI从1.0时间的生成一次回复走向2.0时间的历久运行、捏续扩充当务的Agent形态后,芯片的评价体系初始变化:能效比、捏续推理才智、土产货扩充复杂任务的安靖性,渐渐与峰值算力同等进军。

这一变化并不是传统AI芯片的上风地点,却为新的架构旅途掀开了窗口。

一个彰着的信号来自行业巨头。英伟达重金收购初创公司Groq中枢时候钞票,将其LPU(LanguageProcessingUnit)说话处理单位用于高性能推理场景。后摩智能与Groq皆是存算一体时候道路,皆是基于SRAM想象产物,减少数据搬运、升迁推理能效,仅仅产物叫法不同。

后摩智能在建立之初就专注于存算一体时候的研发与产业化,2024年推出针对大模子推理优化的后摩漫界M30,支捏运行60亿参数模子,并获取了中国转移等客户。

当今,基于后摩漫界M50,后摩智能依然搭建起M.2卡、DM.2卡、Pcie卡,最高640TOPS算力的齐全产物矩阵,并完成了从时候原型到限度化商用的要道特出。如今后摩漫界M50已全面落地梦想AI主机P7、AIPC、桌面机器东谈主、AgentBox、智能语音终局、AI网关等多元端边场景。

后摩智能也在研发下一代芯片,方针是进一步升迁能效比与大模子推理才智,以适配将来更复杂的Agent时间。

凯发娱乐(K8)官方网站

这是一个符号性的升沉点,GPU界说了大模子考试时间,而Agent的全面爆发,正将算力竞争从云霄考试中心,推向海量的端侧、角落推理节点。在这场算力口头迁徙中,以存算一体为代表的AI原生架构,不再仅仅GPU的补充或替代,更在安祥开垦端侧Agent时间的全新硬件措施。

跟着Agent初始向更多土产货开垦渗入,行业关于低功耗、高能效端边推理芯片的需求也会捏续增多。

将来,围绕端侧大模子推理,还会出现更多新的芯片形态与架构道路。

在这场Agent驱动的AI硬件范式切换中滚球app(中国)2026世界杯官方IOS|Android手机app下载,AI原生的芯片成为竞争的要道,像后摩智能这么领先完成存算一体买卖化落地的公司,正在插足更大的增长通谈。