Cerebrasは公式ブログで、兆パラメータ級モデルのウェハースケール展開計画を公開し、オープンモデルKimi K3（約3兆パラメータ、93層）を試算例とした。4ビット量子化では1層あたり約16GBで、69層のリニアアテンション層は1枚のウェハーに2層ずつ、24層のフルアテンション層はKVキャッシュ用の余地を残して1枚ずつ占有し、35＋24で計59枚になる。各WSE-3Tウェハーは44GBのオンチップメモリを持ち、層全体をチップ上に直接置ける。実行時は層がパイプラインを組み、ウェハー間では中間結果だけを1ホップ約2マイクロ秒で伝送する。Cerebrasによれば、このクラスのモデルは毎秒1000〜2000超のトークンに達するという。ただし重要な注意点がある。K3はあくまで例示であり、これは展開レシピであって、59枚のウェハーでの実測結果ではない。モデルが大きいほど、展開のエンジニアリングが重要になる。
原文リンク：原文を見るにはここをクリック
Anthropicは、まだ公開されていない内部研究モデルが、現行で最強の公開モデルであるClaude Mythos 5.1を、能力とアライメントの両指標で上回っていると初めて公に認めました。 ポイント1：根拠は実際の攻撃の再現分析 この主張は、英国AI安全研究所（AISI）によるサイバーセキュリティテストのログを再現分
10月20日、DeepSeekは自社の推論フレームワークDeepInferと本番グレードのトークンコーデックdeepseek-recipeをオープンソース化した。フロンティア大規模モデル企業が実際に本番稼働しているネイティブ推論フレームワークを公開するのは初めてのことだ。 主な数値：DeepInferはすでにDeepS
記録的な発注 ロイターの2026年10月20日の独占報道によると、ByteDance、アリババ、テンセントなど中国のテック大手がNvidiaにRTX PRO 5500グラフィックスカードを300万枚以上発注し、総額は350億ドルを超えた。これは記録上最大級のGPU調達の一つとされる。 3つのポイント ワークステーション
コメント