歡迎來(lái)到HH撲克 &德?lián)淙σ迅拿?HHpoker 您的約局神器!專(zhuān)注于線上德州競(jìng)技,推薦加入排行(名)前十實(shí)力靠譜一線老牌聯(lián)盟俱樂(lè)部,德州牛仔、推推樂(lè)、Omaha奧馬哈、短牌應(yīng)有盡有!全天24小時(shí)HHpoker俱樂(lè)部客服聯(lián)系全方位對(duì)接。

AI初創(chuàng)公司面壁智能發(fā)布并開(kāi)源了新一代端側(cè)模型小鋼炮4.0，可實(shí)現(xiàn)長(zhǎng)文本推理速度5倍常規(guī)加速以及最高220倍加速，共有8B和0.5B兩個(gè)參數(shù)規(guī)模。

李大海表示，隨著大模型知識(shí)密度越來(lái)越高，端側(cè)模型將大有可為。（澎湃新聞?dòng)浾?秦盛）

wepoker官網(wǎng)下載

據(jù)介紹，8B模型為稀疏注意力模型，在多個(gè)基準(zhǔn)測(cè)試中，以22%的訓(xùn)練開(kāi)銷(xiāo)，性能比肩Qwen-3-8B、超越Gemma-3-12B，同時(shí)，注意力機(jī)制上采用高效雙頻換擋，可根據(jù)文本長(zhǎng)短切換稀疏與稠密。0.5B模型相較Qwen-3-0.6B、Llama 3.2, 僅2.7%的訓(xùn)練開(kāi)銷(xiāo)，一半?yún)?shù)性能翻倍，并實(shí)現(xiàn)最快600Token/s的推理速度。

面壁智能CEO李大海表示：“沒(méi)有做過(guò)上下文稀疏化的模型內(nèi)存消耗過(guò)大，顯存不夠要用CPU的內(nèi)存，?Offloading（顯存優(yōu)化技術(shù)）會(huì)導(dǎo)致速度急速下降。我們拋磚引玉，做了兩個(gè)還不錯(cuò)的應(yīng)用，作為demo一并向大家開(kāi)源?！?/p>