株式会社トドオナダ(本社:東京都台東区、代表取締役:松本泰行)は、LLM(大規模言語モデル)がカテゴリに関する質問を受けたときに何を思い浮かべるか「LLM 想起集合」を、誰でも閲覧できる形で公開するサイト「ディギコのチャピりログ」(https://chappyru.qlipper.jp)を本日公開しました。
LLM の記憶の中身を直接見ることはできません。しかし、同じ質問を繰り返し投げ、安定して現れる対象を並べると、そのカテゴリで LLM が「思い浮かべている」集合に輪郭が出ます。本サイトはその輪郭をビューティー領域84小カテゴリで可視化し、モデルが更新されるたびに記録を積み重ねていきます。測定基盤には当社の LLM 認知確認ツール「ディギディギ」を用いています。

サイトで見られるもの
カテゴリページ
- 想起集合: 「{カテゴリ}といえば？」を10回投げたとき、何が何回・何位で現れたか
- 強度: 想起集合の安定度を4段階(盤石/強固/中程度/不安定)で表示 RAG 発火率: 記憶で答えず検索ツールを呼び出そうとした回数(10回中n回) GPT / Claude のモデル別比較

商品ページ
- 想起された対象ごとに、LLM 自身が述べた説明文と参考商品を掲載

解説
キャラクター「ディギコ」が、各カテゴリの想起の特徴を短く解説します



仕様ページ
測定方法・指標の定義・対象カテゴリの一覧を全文公開
ディギコのチャピりログとは
- LLM 想起集合という概念: 同じ質問を10回投げたとき何が現れるか。安定した集合(盤石)から揺れる集合(不安定)まで、カテゴリごとに違いがあります。
- 想起集合の安定度と RAG 発火率の関係: 安定しているカテゴリほど LLM は記憶で答え、安定度が下がるほど検索に頼ります(同日公開の調査リリース「LLM は『記憶で答えるか、RAGに頼るか』をどう決めているのか」を参照)。
- カテゴリを横断して見える傾向: ブランド名で答えるカテゴリ、物品の種類名で答えるカテゴリ、カテゴリ語の言い換えで埋まるカテゴリ、といった答え方の型の違い。

測定の考え方
- 質問文は「{カテゴリ}といえば？」に固定しています。「おすすめ」「人気」といった語は、想起の状態とは別に検索を誘発するため、純粋な想起を引く質問文として「といえば？」を採用しました。
- 想起集合は事前学習で決まり、次のモデル更新まで動きません。そのため測定は各モデルの更新のたびに実施し、API が返した実バージョンを記録して世代ごとに保存します。
- RAG 発火率は、実際には実行されない検索ツールの定義だけを与え、LLM が検索を呼び出そうとしたかを数えたものです。製品(ChatGPT 等)の検索動作そのものではありません。

自社ブランドについて知りたい場合
本サイトはカテゴリ単位の公開記録であり、個別ブランドの測定や任意カテゴリの追加はできません。自社ブランドが想起集合に入っているか、競合との想起シェア、ハルシネーションの有無を確認する場合は、同じ測定基盤を使ったディギディギ(月額10,000円・Qlipper 利用者は無料)でご確認いただけます。
今後の予定
- カテゴリ領域の拡張
- 各モデルの更新にあわせた再測定と世代別記録の公開
- 質問文を切り替えた RAG 発火の測定(「おすすめ」「人気」)のディギディギへの実装

ディギディギについて
LLM が特定カテゴリで何を想起するか、自社ブランドがその中に入っているか、ハルシネーションが起きていないかを測定する LLM 認知確認ツールです。GPT / Claude など複数モデルに対応しています。月額10,000円(Qlipper 利用者は無料)。 https://digidigi.qlipper.jp
Qlipper について
広報担当者向けのPR効果測定ツールです。キーワードで設定した検索式をもとに記事を自動収集し、仮想 PV・Ad 換算値などの指標で広報活動の効果を測定します。



会社概要
社名: 株式会社トドオナダ
所在地: 〒110-0005 東京都台東区上野7-11-13 弥彦ビル302
代表者: 代表取締役 松本泰行
事業内容: PR Tech(Qlipper / ディギディギの開発・提供)
公益社団法人日本パブリックリレーションズ協会 会員
本件に関するお問い合わせ
株式会社トドオナダ TEL: 03-6453-6886 E-mail: qlipper@todo-o-nada.com