快科技10月27日讯息，Intel锐炫B580 12GB显卡在运转1250亿参数AI模子时，使用开源推理引擎XeStrata达到每秒31.1 tokens，比拟原版Strata的10.9 tokens/s快近3倍，且未更换硬件。

PC Watch测试用的是华擎B580 挑战者12GB OC显卡，搭配酷睿Ultra 5 250KF Plus搞定器和64GB DDR5内存，系统为Ubuntu 26.04 LTS。模子为Qwen3.8-Flash-Next，招揽IQ3_S量化、64K高下文和8位KV缓存。

12GB显存天然装不下整个这个词125B模子，Strata和XeStrata皆相沿同期调用GPU和系统内存，本次量化设立需要约50GB系统内存，也即是64GB内存是能跑通的前提。

XeStrata是Strata的衍陌生支，针对相沿的GPU架构作念了罕见优化，包括用Intel GPU的XMX矩阵硬件跑部分运算。测试使用Strata 0.2.1和XeStrata 0.1.43-2 Ubuntu包，统一模子统一设立下对比。

不外速率互异中若干来自哪项优化无法一一阐发，效果仅仅统一电脑上两套软件设立的对比，弗成讲明某项工夫孝敬了一齐晋升。测试也仅触及文本生成隐隐量，不代表教导词搞定、反映延长或模子精度也有同等晋升。

31.1 tokens/s的速率天然可不雅，但运转大模子仍是繁忙，PC Watch以为B580扛不住更重的智能体类职责负载，这类场景需要更强GPU、更多显存和更长高下文窗口。

统一硬件上换一套推理引擎，生成速率差了一大截，关于土产货跑大说话模子的用户，软件聘请和显存、系统内存通常进攻。

开云体育