いろいろ試験的な

あれこれを置く場所

【検証】AIの「URL捏造(404)」をどう防ぐか?(2)


 

ハルシ、また別の解決策


前回の記事

bringyouralibis.hateblo.jp


では、URLのハルシネーションを防ぐには、Google の AgentBulderがいいよ、って話に落ち着かせました。でも

 

「無料の Gemini API でもいいじゃないか」と思われるかもしれませんが、API側のハルシネーション(URL捏造)に悩み、**検証のために無駄な時間を費やすくらいなら、1回数十円払って「リンクの確実なニュース」を手に入れるほうが、結果的にコストパフォーマンスは圧倒的に高い**かもしれません。  


なんていうのは、Geminiの受け売りですw  

 

きっともっとよい方法がありそうな気がします。私はGoogleの環境のみで構築してみたけれど、ほかの自動化ツールとAIベンダー製品を使えば、また違った方法が取れるのかもしれません。

と書きましたが、懲りずに Google AI Studio の Build Apps で作ってみました。

 

1つ前は「現在地の天気模様を読み上げて」みたいな簡単なアプリ作ったきり放置していた機能です。

 

最初のプロトは一発でした。


が、やはりURLのハルシは防げませんでした。

 

何度かやり取りのあと、結局 API コールを3回することで、まぁまぁハルシを抑えることができました。

 

  1. タイトル、概要、日付、および掲載元のドメインのみを出力。
  2. 正規URLを特定。
  3. 特定できたものについてのみで記事を書かせる。

あとから3に2のURLを合体。

 

といふうにして、様子をみています。

 

A11yチェッカーの自動化やってます

いま集中して作っているのは、スクリーンリーダー向けのA11yチェッカーのほうで、上の記事自動生成&投稿は、その合間にやっていた作業です。

 

この件については、また別記事で書きます。

 

と、そんなところで。