Mechanistic Interpretability

Transformerは「数えられない」のではなく、「答えを出すベクトル」を間違えている

Transformerのカウント失敗を、内部表現の欠如ではなく、出力ヘッドと数字トークンの幾何学的な読み出しズレとして説明する論文を整理します。