2025/03/17 15:07:29 1,715次浏览

机器之心原创

作者:闻菲、张倩

随着 DeepSeek 引燃市场对于大模型私有化部署的热情,模型部署的效率与成本成为企业 AI 落地的关键瓶颈。

今天,清华系科创企业 清程极智 清华大学翟季冬教授团队 联合宣布 开源大模型推理引擎「赤兔」(Chitu) ,率先实现了 非 H 卡设备 (英伟达 Hopper 架构之前的 GPU 卡及各类国产卡) 运行原生 FP8 模型的突破

在 A800 集群上的实测数据显示,用赤兔引擎部署 DeepSeek-671B 满血版推理服务,相比于 vLLM 部署方案,不仅 使用的 GPU 数量减少了 50% ,而且 输出速度还提升了 3.15 倍

赤兔引擎代码已发布至 GitHub 开源社区:

赤兔 (Chitu) 开源:

国产大模型基础设施又一里程碑

当前,拥有完整自主可控的 AI 技术栈已成为国家战略性需求。DeepSeek、QwQ 等优秀的国产开源大模型正在重塑全球科技产业格局,但在大模型推理部署领域,业界仍高度依赖国外开源工具。

赤兔引擎的开源为业界提供了国产开源新选择,也意味着 「国产大模型 + 国产引擎 + 国产芯片」的完整技术闭环正在加速形成 。

「ag凯发_凯发一触即发看到国内大模型领域取得了显著进步,但在基础设施层面,尤其是推理引擎这一核心环节仍缺乏生产级开源产品。」清程极智 CEO 汤雄超表示, 「开源赤兔引擎是ag凯发_凯发一触即发助力国内 AI 生态建设的重要一步。」

作为清华大学高性能计算研究所所长,翟季冬教授长期致力于高性能计算与系统软件优化研究。翟教授指出:「赤兔引擎凝结了团队多年的 并行计算 与 编译优化 技术积累,目标是建立一个 真正适合国内多元算力环境的高性能推理引擎 ,能够弥合先进模型与多样化硬件之间的差距,为中国大模型的产业落地提供关键支撑。」

本次开源的版本特别聚焦于当前市场最迫切的需求 —— 即实现 DeepSeek FP8 精度模型在存量英伟达 GPU 上的无损且高效部署 。团队还透露,针对多款国产芯片特别优化的版本也将相继对外开源。这一突破不仅降低了大模型落地门槛,也为国产 AI 算力的发展带来了新的契机。

赤兔引擎核心优势:

全场景性能优化与架构适应性

随着 DeepSeek V3 和 R1 等新一代模型采用 FP8 混合精度训练并发布,企业面临新的部署挑战。这些 FP8 模型针对 NVIDIA Hopper 架构(H100/H200)深度定制,在其他硬件上部署时(包括 NVIDIA 其他架构 GPU 和国产芯片)需要进行额外的适配。

「最先进的模型与最难获取的硬件绑定,这是当前企业大模型落地的最大痛点之一」 汤雄超表示。随着更新一代模型和芯片往 FP4 等新型数据精度方向的发展,这种代际效应将愈发显著。

另一个挑战是现有开源推理引擎对多元算力环境的支持不足 。当前,vLLM 等主流引擎主要针对 NVIDIA 最新架构优化,对国产芯片或较老款 GPU 的适配并不理想。在国内企业私有化部署场景中,NVIDIA 的 Ampere 系列 GPU、国产芯片等多元算力占据了相当比例,这些场景亟需更加灵活的解决方案。

赤兔从一开始就定位于 「生产级大模型推理引擎」 ,并且充分考虑了企业 AI 落地从小规模试验到大规模部署的渐进式特点,专注于提供以下重要特性:

在性能优化方面,赤兔的设计理念是「对症下药」,支持「低延迟优化」、「高吞吐优化」和「小显存优化」,可以根据不同场景需求,在不同硬件配置和系统环境下,针对不同负载的特性,提供相应的最优解决方案。在实际部署中,这意味着赤兔引擎可以根据系统资源状况,在 GPU 利用率、内存效率和网络传输之间寻找最佳平衡点。

本次开源的技术突破是实现非 H 卡设备原生运行 DeepSeek FP8 精度模型。「ag凯发_凯发一触即发没有走简单的量化路线,而是通过在算子内部高效处理 FP8 数据,确保模型推理质量不受任何影响。」汤雄超表示:「具体来说,ag凯发_凯发一触即发对 GeMM、MoE 等一系列关键算子进行了指令级的优化,实现了 FP8 数据的原生处理能力。」

这种技术实现的难点在于需要深入理解不同硬件架构的指令集特性,以及 FP8 与其他精度格式之间的数学等效关系,结合硬件特性分析并优化。得益于团队在系统软件人才方面的积累,才能够在较短时间内实现这一突破。传统上为每种芯片架构人工编写优化代码的工作量巨大,而团队所具备的智能编译技术有助于加速高性能算子的开发过程。

在 A800 集群上的实测结果表明,与 vLLM 相比,赤兔引擎实现 DeepSeek-671B 满血版推理所需 GPU 数量减少 50%;尽管只用了一半的算力,但推理速度却达到其 3.15 倍。这意味着 企业可以用一半的硬件资源获得更高的推理性能 ,极大降低了部署门槛和运营成本。

「部署大模型的最低算力成本是一个时常被忽视但极其重要的指标。」清程团队强调,显著降低推理成本对推广 AI 应用至关重要,赤兔推理引擎在设计之初就将降低用户的算力成本纳入核心考量。

开源共建

为国产芯片「抢时间」

赤兔推理引擎的开源标志着清程极智的业务发展进入新的阶段。清程极智在持续提供企业级软件部署运维服务和全套人工智能解决方案的同时,将把更多实际业务中的经验通过开源的方式回馈社区。

「目前英伟达 GPU 在大模型推理市场占据主流地位,未来几年可能出现国外 AI 芯片和国内 AI 芯片百花齐放的态势。」汤雄超分析指出:「ag凯发_凯发一触即发希望赤兔引擎成为连接多元算力与大模型应用的桥梁,同时通过推理一体机产品为企业提供端到端的大模型部署解决方案。」

清程极智的推理一体机产品基于赤兔引擎,适配多种硬件和模型,能够为企业提供开箱即用的私有化部署方案,并配套专业的运维与优化服务。

对于国产 AI 基础设施而言, 赤兔引擎的开源有助于弥合国产芯片与国际先进芯片之间的「时间差」 —— 当新模型架构和新数据类型出现时,赤兔引擎可以帮助国产芯片快速适配。

其次,开源引擎减轻了芯片厂商的软件开发负担。芯片厂商可以专注于硬件创新,而不必每家都重复开发完整的软件栈。翟季冬教授表示,「ag凯发_凯发一触即发目前与多家国产芯片厂商进行合作,各方可直接向赤兔项目贡献代码,共同建设一个更强大的开源生态。」

「开源就是做给大家用,用了才知道好不好。ag凯发_凯发一触即发把代码放到 GitHub 上,有问题提 issue,有想法提 PR,一起把它做得更好。」 汤雄超说。

「无论用什么卡,赤兔都是高性价比的选择。」

ag凯发_凯发一触即发

DeepSeek推理成本减半速度翻番,清华团队开源「赤兔」推理引擎


DeepSeek推理成本减半速度翻番,清华团队开源「赤兔」推理引擎

感觉自己有点嫉妒闺蜜了

「活动」sfFjdwYpxFst4ZS2

3.71MB
版本V3.0.38
下载成人网站㊙️安装你想要的应用 更方便 更快捷 发现更多
喜欢 51%好评(5人)
评论 16
DeepSeek推理成本减半速度翻番,清华团队开源「赤兔」推理引擎截图0 DeepSeek推理成本减半速度翻番,清华团队开源「赤兔」推理引擎截图1 DeepSeek推理成本减半速度翻番,清华团队开源「赤兔」推理引擎截图2 DeepSeek推理成本减半速度翻番,清华团队开源「赤兔」推理引擎截图3 DeepSeek推理成本减半速度翻番,清华团队开源「赤兔」推理引擎截图4
详细信息
  • 软件大小: 996.7MB
  • 最后更新: 2025/03/17 15:07:29
  • 最新版本: V6.29.7
  • 文件格式: apk
  • 应用分类:ios-Android 扒开雏田❌狂揉❌难受游戏18
  • 使用语言: 中文
  • : 需要联网
  • 系统要求: 5.39以上
应用介绍
一,国产男性女性✅无套,欧洲❌❌❌❌OOOO
二,满天星裸被❌无码,少妇性ZZZZZZZy❌
三,男人的🍌伸到🍑屁股广告,91人🔞在线观看喷潮教学
四,多强被❌c到爽🔞H漫,男男Gay做受❌❌游戏
五,金晨被强❌图黄漫视频,人妖18禁被爆❌动漫网站
六,furry♥XXX♥Hentai,小舞脱了内裤打开腿给人❌,憋尿play18🈲️
七,Futa♥XXX♥Hentai动画
【联系ag凯发_凯发一触即发】
客服热线:134-2881-646
加载更多
版本更新
V7.5.17
在线影视www牛牛影视18禁🈲
  • 美女❌❌❌泡妞

    sp18🈲️小视频在线观看

    女忍者18🈲👙

    7.52MB
    100好评

    做受❌❌❌视频毛片麻豆

  • 在线无码精品㊙️寂寞少妇

    猫羽雫❌18禁漫画同人

    欧美日本啪啪无遮挡❌网站

    02.07MB
    823好评

    鸣人❌手鞠18禁污污

  • 美女裙底㊙️图片可看

    刻晴涩涩被❌黄漫在线看

    青少年露jiji㊙️视频

    13.47MB
    318好评

    扒开美女❌狂揉大胸

  • 男生疯狂❌自慰爽www看片

    www.学生摸老师🐻

    成人免费❌❌❌糖心

    53.92MB
    279好评

    雏田❌乳喷爽免费观看

  • 甘雨被❌吸乳羞羞漫画A片

    暗夜福利成人app❤导航

    胡桃🈲️🔞黄网站3d91

    71.24MB
    706好评

    ❌❌❌❌日本XXXX96欲漫涩

  • 小🐤🐤戳进老师🍑里面动漫

    女同学脱👙给我揉🐻

    AI换脸赵露思裸被❌高清在线观看

    83.19MB
    333好评

    海贼王❌暴爽自慰流水

  • 女战士被❌吸乳

    高中生裸体狂❌开腿爆乳

    高清🈚码🔞❌♋白灵在线观看

    23.21MB
    101好评

    高中美女打屁股㊙️无遮挡

  • 美女尿囗㊙️免费图片原神

    嗯~啊~轻一点🈲🔞捆绑视频

    训诫文🍑挨巴掌

    50.87MB
    926好评

    美女校花脱精光🌸🌸🌸

  • 免费➕无码➕国产变态在线看

    ben10❌18禁漫画同人

    🔞无遮挡裸光屁屁打屁股校园

    83.47MB
    563好评

    亚洲⭕⭕⭕⭕XXXX3

  • 女被❌c🐻黄软件

    明星裸体㊙️

    舌头👅进去里面吃小豆豆

    83.37MB
    758好评

    ㊙️韩H漫画歪歪漫画

  • a🔴🍑我好🔴痒🔴视频

    美女扒开让我❌了一夜动漫

    美女裸身18禁❌视频免

    32.72MB
    628好评

    女性扒开👙看个够 无挡

  • 成人网站♥汤不热APP

    裸体怀孕㊙️无遮挡

    日本❌少萝❌❌视频

    26.79MB
    274好评

    欧美少萝疯狂❌喷水自慰

  • 魅魔被❌吸乳网站

    美女让我❌她尿出来了好爽

    原神喷浆❌❌❌

    65.75MB
    743好评

    唐舞桐被❌吸乳脱

  • 兔女郎➕灌➕电击➕调教作文

    www成人🔞色情美女露双乳

    18🈲🈲🈲精品无码

    54.65MB
    752好评

    黑土被扒开腿❌3d

  • 女同被❌c🐻扒衣服网站

    裸体被❌羞羞游戏迪丽热巴

    12脱了内裤自慰❌在小说

    57.66MB
    687好评

    女仆扒出来🍑给客人玩小说

  • 9.1人网站🔞芒果

    被❌到爽男男啪啪动漫

    男女cos做🔞无遮挡

    24.21MB
    356好评

    男人狂❌女人视频

  • 美女被桶㊙️免费网站

    Free❌㐅❌性HD车上

    91丝袜兔女郎❌羞羞

    13.56MB
    315好评

    无尽❌裸体❌女同❌3D森林动漫

  • 凌华脱裤子内裤让我❌

    99🔞高潮片免费视频小水水

    成人片🔞在线观看www

    84.75MB
    212好评

    ❤furry18❤网站 - 百度

  • 扒开腿十八禁🔞羞羞游戏

    扒开❌狂揉❌羞羞视频

    Porno💋💋300

    45.49MB
    736好评

    动漫美女被❌❌爆乳无尽视频

  • Free❌❌❌麻豆茎喜

    绿巨人18🈲视频

    japanese❌❌❌叼嘿

    10.76MB
    187好评

    91学生㊙️片黄com

  • 伊人直播㊙️app

    女明星㊙️奶网站无遮挡

    变态男把手弄进我的🍑里视频

    44.43MB
    363好评

    班长被狂揉下部❌羞羞动漫

  • 3D动漫同人18❌H动漫

    男生的🍌放男生的🍑在线观看

    安妮海瑟薇被❌无码

    91.14MB
    200好评

    无尽❌裸体❌吸乳网站

  • 日本白鹿被❌c🐻扒衣服视频

    动漫3D❌吸乳羞免费看

    ♥草莓成人ios无限看

    30.11MB
    905好评

    美女被❌吸乳歪歪漫画中国视频

  • 欧洲做受❌❌高潮男女

    火影忍者小樱被❌羞羞动漫

    黄❌18禁网站在线看

    30.88MB
    545好评

    扒开老师❌狂揉❌免费看奶白

  • 韩国美女19➕vip夏娃

    甘雨被触手怪❌吸乳的

    十八禁🔞小游戏

    29.07MB
    129好评

    18❌动漫

  • 无码av㊙️一区

    美女被❌到爽羞羞视频

    动漫女被❌黄漫灌肠视频

    70.29MB
    453好评

    扒掉乳罩㊙️露出奶头软件

  • 女女被❌到爽🔞小说3D妮可裸体被❌涩涩在线观看 title="免费把🍌伸进女人的🍑漫画" class="0v5366j9r7414 app-list-img" src="https://t11.baidu.com/it/u=1040017057,165456434&fm=30&app=106&f=JPEG?w=312&h=208&s=15B07D95426079116A1494FD03009032"">

    美女裸体❌扒开腿视频

    王者涩涩同人❌18禁本子姬小满

  • 网贷美女的裸体㊙️照片国产❌少萝❌❌ title="小心🐤入🍑🍑视频训练营" class="0v5366j9r7414 app-list-img" src="https://t10.baidu.com/it/u=3070224572,165461829&fm=30&app=106&f=JPEG?w=312&h=208&s=C6000AAC4838BAC8463F54AC0300A00B"">

    纳西妲被❌到爽羞羞漫画

    扒开美女衣服❌狂揉❌视频

  • 原神芙宁娜同人❌黄漫免费双女观看美女裸色😍视频 title="校花扒开衣服漏🐻" class="0v5366j9r7414 app-list-img" src="https://t12.baidu.com/it/u=1041590673,165100299&fm=30&app=106&f=JPEG?w=312&h=208&s=D7383EC642E1D8EA0A87937F0300C078"">

    女同学被❌到爽🔞照片

    中国高清69❌❌❌HD更

{{.转码Keywords}} 类似软件

猜你喜欢

相关攻略
包含 饿了么 的应用集
包含 饿了么 的应用集
评论
  • 美女被爆❌❌羞羞漫画免费 2天前
    美女裸体🔞直播网站www
  • 中国产❌❌❌❌ 0天前
    中国被❌裸无码网站
  • 国产精品❌❌❌🔞🔞10 3天前
    男人猛躁女人㊙️18小说
  • 男人扒开女人㊙️用到爽 4天前
    小🐤🐤戳进老师🍑里面无挡免费视频
  • 日本❌❌❌❌❌色情14 1天前
    护士被涂洒油扒开腿❌
  • 美女被做运动🔞露出🍑古代 0天前
    国产精品一区二区18🈲舌吻
  • 校🌸被❌娇喘出奶视频在线观看 4天前
    大胸美女㊙️奶头
  • 扒开👙吃奶头🍌进屁股 9天前
    男男做爰GaY✅2024
  • 动漫八尺大人被❌黄漫视频 6天前
    视频游戏18🍑免费
  • www成人🔞色情美女内内 9天前
    18禁🈲🔞🚫索尼克同人动漫