RESEARCH · SIGNAL STARTUP
The Other Half of the Memory Wall: Serving 35B MoEs from SSD with Trained Routing Prediction
arXiv:2609.18063v1 Announce Type: new Abstract: Mixture-of-experts (MoE) inference on consumer hardware is bounded by weight memory: a 35B-class model is 19.5GB at 4-bit, and spar…
出典・元記事arXiv — Artificial Intelligencehttps://arxiv.org/abs/2609.18063 配信元で続きを読む◆ SOURCE POLICY
公開RSS・Atomから取得した短い概要のみを表示しています。詳細は必ず配信元の記事で確認してください。
公開RSS・Atomから取得した短い概要のみを表示しています。詳細は必ず配信元の記事で確認してください。
SHARE STARTUP