LAUNCH · SIGNAL STARTUP
Show HN: Sparse kernel delivering 36% higher training throughput
I developed a custom GPU kernel in Triton to accelerate training with a sparse feed-forward network (FFN).With K=256, activating 256 of 4,096 FFN neurons per token (6.25%), the sp…
出典・元記事Hacker News — Show HNhttps://huggingface.co/JakCwi/eugen-sparse 配信元で続きを読む◆ SOURCE POLICY
公開RSS・Atomから取得した短い概要のみを表示しています。詳細は必ず配信元の記事で確認してください。
公開RSS・Atomから取得した短い概要のみを表示しています。詳細は必ず配信元の記事で確認してください。
SHARE STARTUP