top of page
検索

AIレポートシステムを作って気づいた「AIに任せること・任せないこと」の大切さ


「AI SearchScopeのレポート機能、どうやって作ったんですか？」


この質問、最近よく聞かれます。正直に言うと、めちゃくちゃ苦労しました。

特に何度も作り直したのが「ハルシネーション制御」の部分です。AIが「予測」で回答してしまうと、それはレポートではなくAIの妄想になってしまう。この問題と格闘した数週間の話をします。


開発者目線のリアルな話なので、AIツールを作っている方・AIを業務に使っている方にも参考になると思います。


目次

  • 1. そもそもAI SearchScopeのレポートとは何を出力するのか

  • 2. 最初の失敗：AIに全部任せたら「レポート」にならなかった

  • 3. ハルシネーションとの格闘：AIが「嘘をつく」仕組みを理解する

  • 4. 解決策：「AIが担当する部分」と「APIが担当する部分」を切り分ける

  • 5. 切り分けの設計図：実際にどう分けたか

  • 6. この経験から学んだ「AI活用の本質」

  • 7. AIツール・業務自動化に取り組む人へ



1. そもそもAI SearchScopeのレポートとは何を出力するのか


AI SearchScopeは「自社サイトがAI検索エンジンにどう認識されているか」を可視化するツールです。

レポートに出力する主な情報はこちらです。

  • GEOスコア（100点満点）：AIに引用される可能性の総合評価

  • AI回答ログ：実際にAIがそのサイトについてどう回答したか

  • ハルシネーション検知：AIが誤情報を回答していないかの照合結果

  • Share of Model：競合他社との推薦回数の比較

  • 技術チェック結果：llms.txtやSchema.orgの実装状況


「AIが自社をどう認識しているか」を正確に報告するレポートです。ここが重要なポイントで、このレポートに求められるのは「正確な事実の記録」です。AIの推測や予測ではありません。


2. 最初の失敗：AIに全部任せたら「レポート」にならなかった


最初の設計はシンプルでした。「AIに全部聞けばいいじゃないか」という発想です。

❌ 最初の（失敗した）設計

「このサイトのGEOスコアを100点満点で評価してください」→ AIに聞く「このサイトについてどんなことを知っていますか？」→ AIに聞く「競合他社と比べてどちらが優れていますか？」→ AIに聞く

一見シンプルで合理的に見えます。でも実際にやってみると、大きな問題が起きました。


問題①：スコアがその都度変わる

同じサイトを同じプロンプトで評価させても、AIは毎回違う点数を返してきます。「72点」「85点」「68点」——これではレポートとして使えません。AIは本質的に確率的な生成をするため、同じ入力でも出力が変わります。


問題②：存在しない情報を「ある」と言う

「このサイトはllms.txtを実装していますか？」と聞くと、AIは実際に確認せず「はい、実装されています」と自信満々に答えることがあります。これがハルシネーションです。実際に確認しに行くわけではなく、学習データから「それっぽい回答」を生成してしまうのです。


問題③：「現在の状態」ではなく「一般論」を答える

「このサイトのSchema.orgの実装状況は？」と聞いても、AIはそのサイトを実際にクロールするわけではなく、学習済みの知識や推測で回答します。最新の実装状況ではなく、AIが「こうであるはずだ」という予測を返してくるのです。


3. ハルシネーションとの格闘：AIが「嘘をつく」仕組みを理解する


ここで一度立ち止まって、なぜAIがハルシネーションを起こすのか整理しました。


💡 ハルシネーションが起きる根本的な理由


LLM（大規模言語モデル）は「次に来る確率が最も高いトークンを予測する」機械です。「正確な事実を検索して返す」機械ではありません。だから質問に対して「それっぽい回答」を生成するのは得意ですが、「今この瞬間の正確な事実」を答えることは苦手です。


この理解が設計の転換点になりました。


「AIは予測機械だ。だとすれば、予測に向いている仕事と、予測ではなく事実確認が必要な仕事を、最初から切り分けて設計しなければいけない」——この発想の転換が解決への鍵でした。


4. 解決策：「AIが担当する部分」と「APIが担当する部分」を切り分ける


解決策はシンプルでした。「事実確認が必要な部分はAPIで直接取得する。AIにしか判断できない部分だけAIに任せる」というルールを設けることです。


❌ AIに任せてはいけない部分

✅ AIに任せるべき部分

llms.txtが存在するかどうか

レポートの日本語要約・解説文

Schema.orgの実装有無

改善アドバイスの優先度判断

AIが実際に何と回答したか

ハルシネーションの深刻度評価

競合サイトのAI推薦回数

業界トレンドの文脈解釈

サイトの技術的な実装状況

次のアクション提案の文章生成

robots.txtのクローラー設定

スコアの強み・弱みの言語化


5. 切り分けの設計図：実際にどう分けたか


具体的に、AI SearchScopeのレポート生成はこんな流れになっています。


STEP 1：事実データの収集

  • Gemini API＋Google Search Groundingを使用し、実際のGoogle検索結果に基づいたAI検索シミュレーション回答を生成。複数の業界クエリ・ブランドクエリを実行し、推薦パターン・引用元・言及頻度を記録

  • サイトに直接アクセスしてllms.txt・robots.txt・sitemap.xml・Schema.org構造化データ・OGPタグを確認（AI不使用、HTTP応答とHTML解析のみ）

  • 口コミ・評判データはGoogle Search Grounding経由で取得


STEP 2：集めたデータの分析・評価

  • 収集したクエリ回答から推薦スコア・SoM（シェア・オブ・マインド）・引用サイト・推薦理由を集計（ロジック計算、AI不使用）

  • AIが述べた事実主張を公式サイトのテキストと照合し、ファクトチェックを実施（GeminiによるSemanticな検証）

  • サイトテキストをGeminiに渡して改善処方箋・エグゼクティブサマリーを生成


STEP 3：スコア算出（完全にロジック固定）

  • totalScoreは決定的な計算式で算出（AIに点数付けさせない）

  • 技術実装（15%）＋AI推薦力（35%）＋ブランド認知（25%）＋コンテンツ品質（25%）

  • すべての入力値は実データ（HTTP応答、クエリ結果の集計値）に基づく


💡 設計のポイント

AIには2つの役割があります。①Google Search Groundingを活用した検索シミュレーション（実際の検索結果に基づくため、純粋なハルシネーションを抑制）と、②収集した事実データの言語化・解釈・改善提案の生成です。スコア算出はロジック固定で、同じデータからは必ず同じスコアが算出されます。


6. この経験から学んだ「AI活用の本質」


この開発経験を通じて、AI活用について本当に大切なことを学びました。


「AIに何でも任せる」は失敗の元


AIは万能ではありません。「現在の事実確認」「再現性のある数値計算」「外部システムへのアクセス」はAIが苦手な領域です。ここをAIに任せると、毎回違う結果・存在しない情報・古い情報が混じります。


AIが本当に得意なのは「言語化」「解釈」「パターン認識」


一方、AIが圧倒的に得意なのは「与えられた情報を自然な言語で説明する」「複数の事実から意味を読み取る」「優先度や重要度を判断する」という作業です。人間が書けば何時間もかかる評価レポートの文章を、数秒で生成できます。


「AIと自動化の役割分担」こそが設計の核心


AIを使う際の本質は「AIが得意なことだけAIに任せ、AIが苦手なことは別の方法で補う」という設計思想です。これはツール開発だけでなく、日常業務でのAI活用にも全く同じことが言えます。


AIが得意なこと

AIに任せてはいけないこと

✅ テキストの要約・言語化

❌ 現在の事実確認・リアルタイムデータ

✅ パターン認識・分類

❌ 再現性が必要な数値計算・スコアリング

✅ 複数情報の統合・解釈

❌ 外部システムへのアクセス・取得

✅ 優先度・重要度の判断

❌ 定量的な比較・ランキング

✅ 改善提案の文章生成

❌ 「ある」「ない」の確実な事実判定



7. AIツール・業務自動化に取り組む人へ


この「切り分け思想」は、ツール開発以外でも使えます。

たとえば「ChatGPTに営業レポートを作らせる」場合も同じです。ChatGPTに「今月の売上データを分析して」と丸投げすると、数字を捏造したり古いデータで回答したりするリスクがあります。


正しいやり方は「売上データを自分でエクスポートしてCSVにする（事実取得）→ そのCSVをChatGPTに渡して分析・要約させる（AI活用）」という手順です。


「事実はシステムから、解釈はAIから」——これがAI活用の基本原則だと、今では確信しています。


業務別・切り分けの具体例


■ 営業レポート作成

CRMから数字を取得（自動化）→ ChatGPTで分析・文章化（AI）


■ 競合調査

検索・スクレイピングでデータ収集（自動化）→ AIで比較・評価（AI）


■ 顧客対応

問い合わせ内容・過去履歴を取得（システム）→ AIで回答案生成（AI）


■ SNS投稿分析

インサイトデータをAPI取得（自動化）→ AIで傾向解説（AI）


■ GEO診断レポート

AIの実回答・技術実装をAPI確認（自動化）→ AIで改善提案生成（AI）



まとめ

AI SearchScopeのレポートシステムを作る中で学んだことをまとめます。

  1. AIに事実確認を任せると「ハルシネーション」が起きてレポートにならない

  2. LLMは「予測機械」であり、現在の事実を正確に返すことは苦手

  3. 解決策は「事実取得はAPIで・解釈と言語化だけAIに」という役割分担

  4. AIが得意なのは言語化・解釈・パターン認識・優先度判断

  5. AIに任せてはいけないのは事実確認・数値計算・外部アクセス

  6. 「事実はシステムから、解釈はAIから」がAI活用の基本原則



苦労した分だけ、「AIに何を任せるべきか」という感覚が研ぎ澄まされた気がします。まだまだ改良を続けていきます。

AI SearchScopeの現在の診断精度は、この設計思想の上に成り立っています。ぜひ一度試してみてください。


著者情報

中森秀彬（morimori.ai）

GEO・AIOレポート自動作成ツール「AI SearchScope」開発者。法人向けAIマーケティング支援・AIマーケティング研修・AI×Web制作を手がける。

 
 
 

コメント

bottom of page