智东西（公众号：zhidxcom）
作者 | 香草
编辑 | 漠影

大模型训练推理，最低能压缩到多少成本？

智东西3月29日报道，昨日，AI科创板上市企业云天励飞（688343）交出了自己的答卷——重磅推出“深目”AI模盒，仅需千元成本即可实现边缘侧训推一体。

云天励飞副总裁罗忆现场展示了深目AI模盒。这款用单手即可托起的小小盒子实现了“3个90%”，即覆盖场景超过90%、算法精度超过90%、使用成本降低90%，解决了大模型在场景落地最后一公里的问题。

▲深目AI模盒

在云天励飞深耕的城市治理、智慧交通等领域，大部分场景属于碎片化、频率低的长尾场景，大模型的落地面临算法训练成本高、缺乏训练数据等行业痛点。传统的训推一体机价格普遍在百万元级别，绝大多中小企业难以承受如此高昂的成本。

深目AI模盒应运而生。基于大模型和芯片两个层面的架构革新，云天励飞成功将大模型“塞进”了小盒子，成为人人可用的“平民化”产品。

那么，在技术层面，深目AI模盒是如何实现“3个90%”的？其具体能应用在哪些场景，解决什么样的问题？深目AI模盒的发布代表了什么关键节点，背后有着怎样的故事？

智东西与云天励飞董事长兼CEO陈宁、云天励飞首席科学家肖嵘、云天励飞副总裁罗忆进行了深入交谈，试图寻找这些问题的答案。

一、自研多模态大模型+主控级SoC芯片，千元成本把大模型塞进小盒子

把大模型变“小”，离不开云天励飞背后长期积累的核心能力——算法芯片化。

陈宁告诉智东西，深目AI模盒主要在两个方面进行了重大的技术攻关。

一是多模态大模型架构革新。

深目AI模盒的大模型能力来源于云天励飞自研大模型“云天天书”。该模型在去年4月推出，目前已完成3个版本的迭代，此次与深目AI模盒同步推出的是云天天书3.5V版本，新增了多模态支持。据悉，云天天书下一代4.0V版本将于今年6月推出。

▲云天天书大模型的迭代进程

而针对深目AI模盒主攻的边缘推理，云天励飞对云天天书大模型进行了分层解耦、量化优化，使其能够高效运行在边缘的算力设备上，不仅能进行推理，还能完成微调等一系列任务。

▲深目AI模盒的SPACE训练推理引擎

通过集中的高效训练架构，深目AI模盒对比全量训练速度提升100倍，内存消耗降低至1/20；其采用混合精度训练，99%的计算为int8+fp16精度，其他采用fp32精度训练。

二是神经网络处理器及推理芯片设计优化。

深目AI模盒的算力基础来源于云天励飞去年推出的14纳米Chiplet大模型训推芯片DeepEdge10 Max。该芯片采用自主可控的国产工艺、国产RISC-V核，支持大模型训练推理部署。

▲云天励飞自研芯片DeepEdge10 Max

针对边缘计算，云天励飞通过自定义大模型专用指令集、专用算子，面向Transformer等基座大模型进行指令、工具链优化，使得一颗边缘芯片上不仅能跑大模型，也能完成微调训练。

▲深目AI模盒芯片核心

基于这两个方面的算法芯片化能力，深目AI模盒在边缘场景的在线学习能力大幅提升。与传统模式相比，算法生产从7步缩短至4步，算法调优则从7步缩短至3步。

▲算法生产、调优步数压缩

以云天天书为基座模型，云天励飞与生态合作伙伴联合完成预训练场景算法，再将其提供给广大中小企业用户。随后，中小企业客户可根据自身场景需求，在边缘端完成算法微调。在实际部署后，大模型的泛化和学习能力能够根据现实应用场景情况自进化，在线学习、优化算法，不断提升算法精度。

二、解决场景少、缺数据难题，看到“冰山之下”的长尾算法

罗忆谈道，AI的发展分为三个阶段。

第一阶段是技术找场景，基础算法首先实现突破，并在人脸识别、语音识别等头部场景完成价值验证。

第二阶段是场景反哺技术，新的细分场景不断反哺技术创新，倒逼算法不断变革。

第三阶段是场景找技术，聚焦不同行业、不同场景需求，找到适合的技术来解决这些问题。

如今，我们正处在第一、第二阶段转换的关键时期，冰山之下隐藏着大量不容易被看到的长尾场景算法。

▲冰山之下的“死亡之谷”

长尾算法指的是除了头部算法外，大量使用频率低、应用场景少的算法，面临着训练数据少，甚至没有训练样本的痛点。

例如在计算机视觉领域，人脸识别、车牌识别等头部算法已发展得较为成熟，但像识别一种特定的产品、识别一种危险的行为等细分算法制约了AI落地行业的最后一公里。

罗忆演示了深目AI模盒如何在数据少、无数据等极端情况下，快速完成算法训练。

1、算法自学习，少量数据迭代后精度超90%

在算法使用初期，只有少量数据，用户如何才能快速训练高精度算法？

以店外经营为例，用户需要训练识别算法时，可以直接使用平台现有算法对目标进行识别，再对识别结果标记“正确”或“误报”，算法就能通过自学习快速提升。经过1周迭代后，算法精度可超过90%。

罗忆称，云天励飞算法训练平台上提供了大量与生态合作伙伴共同打造的算法商城，覆盖14个大类、100+个小类、1000+算法，用户可以直接调用预训练算法，并上传自身场景图片完成算法的微调和升级，快速训练出高精度算法。

2、极端场景零数据样本，利用生成式AI合成数据

天灾人祸等极端场景识别训练的数据几乎空白，面对这样“无数据”的情况，用户该如何训练算法？

以加油站场景的吸烟识别为例，这类危险行为往往伴随着成不可挽回的后果，难以获取真实样本。平台可通过大模型能力生成在该环境抽烟的人物，并将数据用于算法训练中，填补训练数据的空白。

使用AI合成数据来训练算法，不仅能够填补数据空白，还能够规避隐私安全等问题，已经逐渐成为大模型时代下训练新算法和提升算法精度的一条重要路径。

3、识别目标标准不统一，利用大模型泛化能力解决

以购物中心提袋识别为例，罗忆演示大模型泛化能力如何解决识别对象标准不统一带来的算法训练难题。

大型购物中心一般没有统一的结算中心，难以掌握逛街顾客是否消费，也难以评估营销活动对实际消费转化的效果，顾客是否提购物袋是判断的重要标准之一。但各品牌购物袋的大小、颜色均不统一，且难以与顾客的背包区分，算法无法精准识别。

在云天励飞算法训练平台上，借助场景自适应能力，用户可调用手提袋识别算法识别所有的手提袋，再基于识别结果标记进行特定手提袋的识别训练，从而实现专用门店手提袋的精准识别。

三、填补模型计算市场空白，抓住生成式AI机遇二次创业

目前市面上主流的模型计算产品是百万级的训推一体机，其承担着数百甚至千亿级参数规模的大模型训练推理等任务。边缘侧产品则比较少见，虽然有一些常规推理盒子类产品，但其主要承载边缘端的小模型，不具备承载大模型的能力。

在这两类产品之间，存在巨大的市场空白——边缘长尾算法缺乏对应的大模型解决方案。

在大模型出现之前，这些低频问题大多通过小模型算法来解决。陈宁告诉智东西，对于大多数AI公司而言，其实每个小模型的算法成本和周期投入与头部算法相差无几，需要大量算法工程师和算力，收集大量数据去解决。但由于使用频率并不高，因此投入产出比不匹配。

▲深目AI模盒与常规推理盒子的对比

云天励飞看到了大模型在解决各类长尾问题上蕴含的潜力，通过深目AI模盒这个统一的技术平台，解决多类细分场景精度不够、成本太高、训练周期太长、需要的数据量太大等一系列痛点问题，推动AI真正能够在更多的场景、更多的行业落地，形成价值闭环。

这也是云天励飞长期在技术落地探索路上的又一重要关键节点。

谈到“深目”这个名字，了解云天励飞这家企业的读者可能不陌生。2016年，云天励飞推出第一款产品——动态人像识别系统“深目”，将科幻作品中的“天眼”第一次带入现实。

此次推出的AI模盒，是云天励飞在2023年登陆科创板后推出的首款产品，也是其“二次创业”的第一款产品，因此再次以“深目”来命名。

当智东西问道，Sora引爆的文生视频技术，对云天励飞所处的计算机视觉领域带来了哪些机遇和挑战？

肖嵘认为，Sora主要是一个增量式的进展，类似的生成技术被广泛地应用在云天天书大模型的研发当中，帮助生成一些缺乏真实数据的场景。

陈宁称，相比震撼的视觉效果，云天励飞更关注Sora背后的技术突破在应用落地方面带来的价值，如对世界运行规律的理解和解码。云天励飞对自己的定位是做物理世界的解码者，其发展路线也沿着这条路径展开。

▲云天励飞的AI发展路径

在AI方案化方面，云天励飞在安防、交通、城市治理、人居生活四个基础行业打造了成熟的解决方案，并在教育、低空经济等创新行业不断探索新的应用，形成“4+X”行业解决方案。

随后，基于在大量行业的落地经验，云天励飞已形成数据运营、新能源运营平台，走向AI运营化。

如今，云天励飞还逐步走向AI产品化，从去年与华为昇腾联合推出天舟大模型训推一体机，到此次推出面向边缘训推场景的深目AI模盒。此外，云天励飞还通过收购和投资，进军智能穿戴、机器人等硬件领域，形成日益完善的大模型产品体系。（云天励飞进军智能穿戴！收购IDH黑马，抢滩大模型C端落地窗口）

结语：挖掘全新“AI+”路径，打通大模型落地最后一公里

推出深目AI模盒是云天励飞AI产品化路径上的重要一步。据发布会透露，此次发布的是标准版型号，云天励飞今年还会发布一款基于云天天书4.0V、DeepEdge10 Pro芯片的轻量版产品，明年将推出基于DeepEdge10 Ultra芯片的旗舰版。

作为云天励飞二次创业的首款产品，深目AI模盒将于6月30日正式发售且面向所有客户统一发货，我们期待看到其在边缘长尾场景中的实际应用，让大模型在千行百业中转化为物理世界的新质生产力。