7月17日，于上海举办的2025年RISC-V中国峰会上，复兴微电子副总司理石义兵发表了题为《年夜语言模子推理部署RISC-V办事器运用和架构研究》的演讲。他体系阐发了年夜模子推理于RISC-V办事器中的部署机缘与挑战，提出需经由过程架构立异与生态共建，鞭策RISC-V于AI时代的范围化落地。
复兴微电子副总司理石义兵
年夜模子推理的算力需求与抵牾石义兵指出，年夜语言模子于办事器推理场景中出现出显著趋向：从密集型（Dense）向稀少型（MoE）架构迁徙，计较重心从算力转向效率。跟着模子参数范围冲破万亿级，推理历程中的算力需求虽有所降落，但对于存储带宽、缓存容量的要求却连续爬升。这一特征使患上存储优化成为AI解决方案的焦点，而RISC-V的开放性与矫捷性为其于这一范畴提供了差异化上风。
他进一步展现了年夜模子推理部署中的两年夜焦点抵牾：
计较与带宽的动态切换：预填充（Prefill）阶段需高算力保障首Token天生速率，解码（Decode）阶段则依靠高带宽支撑吞吐量，这对于硬件架构提出了动态顺应性要求。 存储成本与数据活跃度的违离：MoE模子中，每一个Token仅激活极少量专家参数，但低频专家仍需负担昂扬存储成本，致使资源使用率低下。混淆推理：降本增效的要害路径针对于上述抵牾，石义兵提出混淆推理架构的价值。
他指出，于中小范围私域部署中，基在CPU的方案因DDR存储成本仅为HBM的1/5~1/7，具有显著性价比上风；而于云端年夜范围部署中，GPU与CPU的协同可实现低频专家卸载，削减GPU部署数目，从而降低总体TCO。例如，经由过程将MoE中8/256的专家路由至CPU，可晋升HBM使用率并削减存储冗余。
他夸大，RISC-V于混淆推理中的潜力源在其可定制性与扩大性。当前，RISC-V已经撑持FP1六、BF1六、INT8等AI数据格局，并可经由过程自界说指令加快低比特精度计较（如FP4/FP8），进一步降低带宽与存储需求。同时，RISC-V的开放尺度答应快速适配BlockScale等量化技能，于连结精度的同时优化能效。
RISC-V办事器的挑战与冲破标的目的只管远景广漠，石义兵坦言RISC-V于年夜模子推理中仍面对多重挑战。
起首是架构与算法协同优化。MoE等算法的连续演进对于底层算力架构提出新要求，需摸索矩阵扩大（如AME）、多核通讯效率晋升等技能，以匹配算法迭代速率。其次经由过程定制指令集优化低byte数据操作，联合Scale机制维持精度，可以实现带宽与算力的两重优化。
其次是超长上下文治理。智能体（Agent）运用催生数万级上下文需求，CPU需强化KVCache治理能力，并经由过程当地化留意力计较卸载，防止跨芯片通讯瓶颈。
末了是异构计较尺度同一。当前RISC-V与GPU于数据格局、使命卸载接口上存于差异，需鞭策尺度化事情，降低混淆部署的繁杂度。针对于多核同步开消问题，复兴微电子鞭策RISC-V多核扩大尺度，于案例测试中降低39%的通讯延迟。
咱们正与新思科技互助，经由过程Chiplet技能实现RISC-VCPU与GPU的高效互联。 石义兵吐露，这一方案已经于复兴微电子的AiCube训推一体机中运用，兼容DeepSeek等年夜模子，显著降低企业AI部署成本。
构建开放生态：从尺度到财产协作石义兵呼吁行业配合推进RISC-V生态设置装备摆设。他提出三点建议：
底层尺度先行：加速RVV向量指令集、矩阵扩大（IME/VME/AME）等尺度的完美，同一AI数据格局与算力接口，为编译器与东西链提供不变基础。 场景化立异：聚焦轻量级推理、私域部署等细分场景，阐扬RISC-V于存储成本与定制化上的上风，打造标杆解决方案。 产学研协同：经由过程开源社区、认证明验室、人材培育等多维度互助，构建 可用 好用 落地 的完备生态链，鞭策RISC-V从试验室走向财产化。
石义兵总结称，RISC-V于年夜模子推理中的乐成取决在技能冲破与生态共建的两重推进。 开放性是RISC-V的基石，而生态的繁荣将决议其可否于AI时代盘踞一席之地。 他信赖，经由过程架构立异与财产协作，RISC-V有望于混淆计较、存储优化等范畴实现冲破，终极于全世界AI算力市场中树立新的标杆。
责编：Luffy 本文为EET电子工程专辑原创文章，禁止转载。请尊敬常识产权，背者本司保留究查责任的权力。 RISC-V作为优异的指令集架构，已经形成为了富厚的拓展（如AI、矩阵、乘数FMA等）及多样化的东西链。然而，这类富厚性也给软件企业带来了治理难题。 RISC-V正从嵌入式计较向数据中央、AI、汽车电子等全场景渗入，2025年将成为其生态发作的要害节点。 920亿美元投资规划为宾夕法尼亚州带来了史无前例的成长机缘，使其有望成为美国下一个“第二个硅谷”。 微软与OpenAI的和谈素质是一场缭绕AGI界说的豪赌。微软以130亿美元押注AGI不会过早实现，而OpenAI则保留 技能核按钮 以防本钱侵蚀其任务。当前构和不仅是贸易好处的再分配，更将决议将来十年AI权利格式的走向。 于本次独家视频专访中，咱们与 Allegro MicroSystems 总裁兼首席履行官 Mike Doogue 睁开对于话，切磋他在 2025 年 2 月就任公司新带领岗亭、履职百往后的思索与感悟。 智能与无人装备全方位安全将成为一座巨年夜金矿——功效安全数分 跟着诸如智能驾驶汽车、载人/货无人机、无人农机、各类专用及消费呆板人等智能与无人装备广泛进入咱们的事情及糊口，这些装备的安全性已经成了一个值患上存眷的主要话题。它们的安全运行与装备自身、搭客以和周边的职员及物品的安全紧密亲密相干。 为更智能的挪动堆栈呆板人提供动力 于全世界各地的堆栈中，自立呆板人正于与人类协同功课，实现比以往更快速的货物配送——而对于速率的需求也于连续上升。 2025 RISC-V中国峰会 | 奕斯伟计较以“产物+场景+生态协同”模式加快财产渗入 7月16日，第五届RISC-V中国峰会于上海张江科学礼堂进行，作为与“北美峰会”、“欧洲峰会”齐名的全世界RISC-V范畴三年夜顶级嘉会之一，本届峰会旨于构建财产生态，鞭策RISC-V技能的立异与运用，促成国际交流互助。奕斯伟计较高级副总裁、首席技能官何宁博士于主论坛发表《财产赋能：RISC-V场景化方案立异与生态协同》主题演讲，论述了奕斯伟计较于RISC-V场景化运用与生态设置装备摆设上的战略结构与实践结果。 达摩院玄铁构建RISC-V高机能基座：DSA扩大与全栈协同新范式 第五届 RISC-V 中国峰会上，达摩院玄铁发布C930办事器CPU与TITAN/DSA扩大，构建高机能 RISC-V 算力基座，重塑端-边-云算力生态。 WitDisplay动静，由中国光学光电子行业协会液晶分会、中国OLED财产同盟、SEMI主理，WitDisplay、励程展览结合承办的“第十一届中国OLED财产成长论坛（简称：CIOF）”将在202 据报导，华为正于基在麒麟9系列开发两款OLED显示屏。据微博爆料人数字谈天站（DCS）报导，华为正于开发一款8.8英寸及一款14.2英寸的平板电脑。这两款产物估计将搭载华为自立研发的麒麟9系列芯片组。 国芯网[原:中国半导体论坛] 振兴国产半导体财产！ 不拘中国、放眼世界！存眷世界半导体论坛↓↓↓7月16日动静，据台媒报导，台积电进步前辈封装厂进驻嘉义科学园区，5月26日一厂房发 上世纪90年月末，任何人只要懂一点HTML，租个虚拟主机，就能拥有一个网站。他们赖以保存的基础是开放的TCP/IP及HTTP和谈。今天的AI Agent创业者一样享受着史无前例的便当，他们 （告白支解线）7月17日，崇达技能（002815）发布通知布告，近日公司召开了投资者瓜葛勾当，重要会商了2025年的市场远景和公司战略。按照Prismark陈诉，2025年全世界印刷电路板（PCB）市场估计 2025 NVIDIA 创业企业展示勾当火热报名中！本次勾当将于天下多个都会启动一系列巡回展示勾当（包括区域展示和半程展示），缭绕 NVIDIA 技能专家赋能、路演投融资对于接、创业企业方案展示、福亨通 近日，电科博微四创电子中标辽宁省中小河道雨水情监测预告“三道防地”工程水利测雨雷达设置装备摆设工程装备项目。水利相控阵测雨雷达作为新一代水文监测技能，可以或许实现近地面层液态水含量的高精度、邃密化丈量，年夜幅晋升面 存眷「电动车公社」及咱们一路从头思索汽车不知道各人发明没有，本年推出的新车，好像没有前两年那末陈旧见解了。车企们，也于决心向三个差别的标的目的成长：主打自制年夜碗的高性价比，主打技能进步前辈体验精彩的高价值，以 点击上方蓝字➞右上「· · ·」设为星标➞更新不错过★德州仪器 C2000™ 系列培训携新 C29x 内核强势回归收集直播专场将在7 月 22 日拉开帷幕！诚邀列位技能喜好者们 聚焦:人工智能、芯片等行业接待列位客长存眷、转发逐日芯报0717期❶Coreweave公布60亿AI数据中央落户宾州Coreweave公司公布将于宾夕法尼亚州投资60亿美元设置装备摆设一座人工智能数据中央。该-华体会(中国)hth·官方网站-科技股份有限公司
