Deep Search の評価に安易に LLM-as-a-Judge 使う前に
REFLECTが、Deep research agent を評価する LLM-as-a-Judge を「既知の失敗を見抜けるか」という形でメタ評価する仕組みを整理します。
Category
LLM
6本の記事を、このカテゴリからまとめて確認できます。
LLMの嘘を「異常値」として見る：PCNET / PC-LDCDの研究
PCNETとPC-LDCDが、LLMのハルシネーションを隠れ層の幾何的な異常として検出し、必要なときだけデコード時に介入する仕組みを論文ベースで整理します。
Transformerは「数えられない」のではなく、「答えを出すベクトル」を間違えている
Transformerのカウント失敗を、内部表現の欠如ではなく、出力ヘッドと数字トークンの幾何学的な読み出しズレとして説明する論文を整理します。
HiGMemを読む：長期記憶は「たくさん思い出す」から「読むべき証拠を選ぶ」へ
HiGMemが長期会話エージェントの記憶をTurnとEventに分け、LLMに読むべき証拠だけを選ばせる仕組みを論文ベースで整理します。
A-Memを読む：LLMエージェントに「育つ記憶」を持たせる長期記憶設計
A-MemがLLMエージェントの長期記憶をどのようにノート化し、リンクし、進化させるのかを論文ベースで整理します。
LLMのAPI使用料金は、入出力の公開価格だけでは比較できない
推論モデルの公開価格と実コストがなぜずれるのかを、thinking token を中心に論文ベースで整理します。