你的位置:开云登陆口(中国)网页版|kayun (体育 )官方网站入口 > 新闻 > 体育游戏app平台推理任务经常依赖于单一的GPU或加快器-开云登陆口(中国)网页版|kayun (体育 )官方网站入口
体育游戏app平台推理任务经常依赖于单一的GPU或加快器-开云登陆口(中国)网页版|kayun (体育 )官方网站入口
时间:2026-09-17 04:13 点击:180 次

快科技10月17日音书,最近,EXO现实室展示了其最新后果:将两台NVIDIA的DGX Spark迷你超算与苹果的M3 Ultra Mac Studio相会聚体育游戏app平台,告捷打造出一个高效的AI协同鸠合,完毕了AI性能的大幅进步。
这收获于EXO现实室的主要形式EXO,其中枢在于其简略将大型话语模子(LLM)的推理任务智能分派到不同的硬件建树上。

传统上,推理任务经常依赖于单一的GPU或加快器,而EXO则简略自动将责任负载散布到用户所领有的多样建树上,不管是桌面电脑、札记本、责任站、办事器、平板电脑以致智高手机,齐不错成为这个协同AI鸠合的一部分。

在EXO的最新演示中,两台NVIDIA DGX Spark与苹果的Mac Studio被组合在一齐,以充分讹诈了每台机器的独到上风。
DGX Spark领有高大的预备才气,而Mac Studio则领有超宽的内存位宽和快速的数据传输才气著称,EXO 1.0版块将这两者和会为一个单一的推理管谈,况且效果特等地好。

在EXO使用Meta的Llama-3.1 8B模子进行的基准测试中,这种羼杂建树比单独使用Mac Studio的速率快了2.8倍。
这仍是在使用相对较小的8B模子和8K-token的情况下,要是使用更长的提醒或更大的模子,性能进步可能会愈加权臣。


