wpk打破地域界限,無論你身在何處,只需輕點(diǎn)鼠標(biāo),即可與各地的撲克高手同臺競技。感受不同文化的碰撞。
李大海表示,隨著大模型知識密度越來越高,端側(cè)模型將大有可為。(澎湃新聞記者 秦盛)
據(jù)介紹,8B模型為稀疏注意力模型,在多個基準(zhǔn)測試中,以22%的訓(xùn)練開銷,性能比肩Qwen-3-8B、超越Gemma-3-12B,同時,注意力機(jī)制上采用高效雙頻換擋,可根據(jù)文本長短切換稀疏與稠密。0.5B模型相較Qwen-3-0.6B、Llama 3.2, 僅2.7%的訓(xùn)練開銷,一半?yún)?shù)性能翻倍,并實現(xiàn)最快600Token/s的推理速度。
面壁智能CEO李大海表示:“沒有做過上下文稀疏化的模型內(nèi)存消耗過大,顯存不夠要用CPU的內(nèi)存,?Offloading(顯存優(yōu)化技術(shù))會導(dǎo)致速度急速下降。我們拋磚引玉,做了兩個還不錯的應(yīng)用,作為demo一并向大家開源。”
AI初創(chuàng)公司面壁智能發(fā)布并開源了新一代端側(cè)模型小鋼炮4.0,可實現(xiàn)長文本推理速度5倍常規(guī)加速以及最高220倍加速,共有8B和0.5B兩個參數(shù)規(guī)模。