AI活用で本当に難しいのは「何を測るか」だった自社専用ニュース配信を作ってわかったこと

AI活用で本当に難しいのは「何を測るか」だった｜自社専用ニュース配信を作ってわかったこと

毎朝6,200本のニュースから、自社に関係する5本だけを選んでLINEに届けるツールを社内で作りました。技術的な難所は、生成AIの性能ではありませんでした。「何を数えれば意思決定に効くのか」という指標の設計です。この記事では、5回作り直した「話題度」の話を含め、実装の過程で分かったことを公開します。

この記事でわかること

• ニュースの「話題度」を5回作り直すことになった原因と、成立した測り方

• 収集の設計が結果を静かに歪める仕組み（一次情報が構造的に排除されていた話）

• 絶対値ではなく「平常値との比」で測ると何が見えるようになるか

• 測れないと分かった指標を、あえて実装しなかった判断の基準

自社専用のニュース配信を作りました

アサヨミとは、国内外236の情報源から毎日6,200本のニュースを読み、自社の事業に関係あるものだけを選んで、平日の毎朝7時にLINEへ届けるツールです。

きっかけは私たち自身の困りごとでした。AI関連のニュースは1日6,000本を超えます。全部読むのは不可能で、たまたま目に入ったものが一番大事とは限りません。かといって一般向けのニュースアプリは「みんなが読むもの」を出すので、自社の業種や顧客層は考慮されません。

つくってみて分かったのは、難所がモデルの性能ではなかったということでした。「何を測るか」の設計で、5回失敗しています。

「話題度」を5回間違えた話

最初に入れたかったのが「その発表がどれだけ話題になっているか」の指標でした。ニュースの大きさが数字で分かれば、優先順位を付けやすいと考えたからです。結論から言うと、5回作り直しました。

決定的だったのは1つ目の失敗です。1億回以上再生され数千のコメントが付いている発表に対して、システムは「言及6件」と表示していました。ニュースそのものではなく、それを記事にした一つのメディアの共有数を数えていたのです。

正解は「引用ポストを、発表直後24時間に限って集める」でした。反応が集まるのは返信ではなく引用で、しかも発表直後に集中します。時間帯を切らないと新着に埋もれてしまう。同じ発表を測っているのに、いいねの合計が2から280に変わりました。

つまり、測る対象がずれていると、どんなに良いモデルを使っても数字は意味を持ちません。

海外の情報が、日本語メディア経由で届いていた

もう一つの発見は収集の設計にありました。配信を分析したところ、67本中で英語ソースは5本（7%）しかありません。フィードの構成は日本語56・英語31で英語が36%を占めるはずなのに、採点の候補に入る段階で14%まで落ちていたのです。

原因を探すため、フィードごとに最新記事の古さを実測しました。

答えははっきりしていました。ベンダーの公式発表、つまり一次情報が構造的に全滅していたのです。公式ブログの更新は数日おきなので、30時間の収集窓には絶対に入りません。一方で日本のメディアは1媒体あたり毎日数十件を出すため、同じ窓で競争させると日本語が必ず勝ちます。

結果として、海外のニュースを日本のメディア経由で1〜2日遅れ、しかも日本の編集を通した形でしか読めていませんでした。収集の窓を言語別に分けた（日本語30時間・英語72時間）ところ、採点候補の英語比率は14%から32%になり、配信の1本目にOpenAIの公式発表そのものが並ぶようになりました。

「小さいチャンネルが跳ねた」を検出する

YouTubeの監視でも同じ問題が起きます。再生数の絶対値で並べると、登録者400万人のチャンネルしか出てきません。X言及数で失敗したのと同じ罠です。そこでそのチャンネル自身の平常値との比で測ることにしました。

8,683回の小規模チャンネル（6.71倍）が、92,471回の大手（3.13倍）より上に来ます。再生数は10分の1でも、事象としてはこちらの方が大きいからです。なおこの方式ならAPIコストもほぼゼロで、1日171ユニット（無料枠10,000の1.7%）に収まっています。

測れないものは、測れたことにしない

作る過程であきらめた機能もあります。海外記事に「この話題は日本でまだ報じられていません」というバッジを付けようとしました。日本と欧米・中国の差を可視化する、分かりやすい指標になるはずでした。

しかし実データで検証すると、英語と日本語の見出しは文字がほとんど重ならず、同じ話題として結び付けられません。固有名詞の一致で照合したところ、20件×149件の照合で6組がヒットしたうち5組が誤対応でした。製品名を共有しているだけの別記事です。条件を厳しくすると0件になります。

このまま出すと、すべての海外記事に「日本未報道」と表示されます。それは嘘です。実装をやめました。

AIを業務に組み込むとき、この判断が一番効きます。もっともらしい数字を出すことは簡単ですが、根拠のない数字は、無いより悪いからです。

よくある質問

ニュースアプリや業界紙と何が違うのですか

選ぶ基準が違います。ニュースアプリは「みんなが読むもの」、業界紙は「編集部の判断」で選びます。アサヨミは自社の事業内容・顧客層・目的を書いたプロフィールを基準に選びます。同じ日のニュースでも、会社が違えば届くものが変わります。

AIが選ぶと、的外れなものが混ざりませんか

混ざります。だからLINEで返信して直せるようにしました。「開発者向けの技術記事は減らして」と送れば翌日から反映され、「戻して」で取り消せます。実測では、この読み手プロフィールの有無で選ばれる5本が1本も一致しませんでした。基準を持つかどうかが、そのまま結果を決めます。

導入までにどのくらいかかりますか

設定さえ決まれば、翌朝から届きます。時間がかかるのは選定基準を作り込む工程で、事業内容・顧客層・このニュースで何をしたいか・特に知りたい領域・要らないものをうかがいます。ここが記事の質をそのまま決めるので、30分ほど対話しながら詰めます。

同じ仕組みを自社の業界でも作れますか

作れます。情報源のリストと採点の基準を入れ替えるだけで、製造・医療・不動産など業種を問わず成立します。技術的に難しいのは実装よりも「何を測れば意思決定に効くか」の設計で、そこは業務を知っている人と一緒に決める必要があります。

まとめ

• 難所はモデルの性能ではなく、指標の設計にある。「話題度」は5回作り直した

• 測る対象がずれると、数字は意味を持たない。一メディアの共有数を「ニュースの大きさ」と呼んでいた

• 収集の設計は結果を静かに歪める。30時間の窓が一次情報を構造的に排除していた

• 絶対値ではなく、そのものの平常値と比べる。小さいチャンネルが跳ねた方が事象として大きい

• 測れないものは、測れたことにしない。根拠のない数字は、無いより悪い

生成AIの導入では「どのモデルを使うか」に注目が集まりがちです。しかし実際に業務へ組み込むと、効いてくるのは何を入力し、何を指標にし、何を出さないかを決めることでした。ここは業務を理解している人にしか決められません。

E-team AI では、こうした自社専用ツールの設計・開発から、AI活用の社内定着までを一貫して支援しています。アサヨミは asayomi.e-team.co.jp で提供中です。自社の業務でどこにAIを使うべきか迷われている方は、お問い合わせからお気軽にご相談ください。

著者情報

中森秀彬(morimori.ai) 株式会社E-team 共同創業者・AI開発責任者。AIO・GEOレポート自動作成ツール「AI SearchScope」他、IntraCanvas、Veloraxa、アサヨミ などAIマーケティングツールの開発者。法人向けAIマーケティング支援・AIマーケティング研修・AI×Web制作を手がける。年間100回以上の講師登壇。 X: @morimori_ai_dev