【第19回】AIに「私のこと」を知ってもらうと何が変わる？
最近、私はChromebookにLinux環境を構築し、Ollamaを使って「ローカルLLM」の勉強をしています。
現在試しているのは、
Qwen2.5 1.5B（アリババ 中国）
Gemma 3 1B（Google アメリカ）
Llama 3.2 1B（Meta アメリカ）
という3つの小型LLMです。
ChatGPTやGeminiのようなクラウド上の生成AIではなく、自分のChromebookの中でAIを動かす。
実際にやってみると、これはなかなか面白い。
「おお、本当に自分のパソコンの中でAIが動いている！」
最初はそれだけでも感動しました。
ところが今回、この3つのAIにある質問をしてみたところ、とても興味深い結果になりました。
私は彼らを、
「ハルシネーション3兄弟」
と呼ぶことにしました（笑）。
自分の会社について聞いてみた
質問したのは、自分が一番正解を知っていることです。
「株式会社CNCコンサルティングのことを調べてください」
当然ですが、株式会社CNCコンサルティングは私自身が代表を務めている会社です。
ですから、回答が正しいか間違っているかはすぐに分かります。
まずQwen2.5に質問しました。
すると、なんとCNCコンサルティングを大手商社系の会社のように説明し始めました。
もちろん違います。
「その情報は間違っています」
と指摘すると、今度は別の海外企業らしき情報を持ち出してきました。
そこで、
「https://cncconsulting.pro これが会社のサイトアドレスです 」
と教えてみました。
すると、あたかもサイトを確認したような返事をするのですが、やはり内容はまったく違います。
どうやらQwen君、自信満々です。
でも間違っています。
次男Gemma君も負けていない
次にGemma 3 1Bに聞いてみました。
「ネットで株式会社CNCコンサルティングのことを調べてください」
すると今度は、
「CNCコンサルティングは建設コンサルタントです」
という回答。
道路、橋、建物、プラント、BIM、施工管理……。
詳しい！
ものすごく詳しい！
でも、
全部違います（笑）。
そこでGemma君にも正しいURLを教えました。
そして、
「サービス内容を調べてください」
とお願いしました。
すると、
「建設プロジェクト全般のコンサルティング」
「道路建設」
「鉄道建設」
「橋梁建設」
「建設法務」
「コスト削減」
などなど。
さらに詳しくなってしまいました。
私の知らないところで、いつの間にかCNCコンサルティングは巨大な建設コンサルティング会社になっていたようです（笑）。
三男Llama君にも聞いてみた
ここまで来たら3つ目も試したくなります。
Llama 3.2 1Bにも会社のURLを示して、
「この会社のことを調べてください」
と質問しました。
すると今度は、
「NTTが運営する会社」
という設定になりました。
IT Consulting、IT Strategy、IT Risk Management、IaaS、PaaS……。
おお！
今度は大手IT企業になった！
もちろん、これも事実ではありません。
見事に3人とも違う！
今回の結果をまとめると、
Qwen2.5 → 大手企業・海外系コンサル？
Gemma 3 → 建設コンサルタント
Llama 3.2 → NTT系ITコンサルタント
見事です。
同じ会社について質問しているのに、3つのAIがそれぞれ違う会社を作り上げてしまいました。
そこで命名。
「ハルシネーション3兄弟」
です。
そもそもハルシネーションとは？
生成AIを使う上で非常に重要なのが「ハルシネーション」です。
簡単に言えば、
AIが事実ではないことを、もっともらしく回答してしまう現象
です。
今回がまさにその典型例でした。
しかも厄介なのは、
「分かりません」
とは言わないことです。
文章だけ読むと、それらしく見えます。
会社名、サービス、事業内容、専門用語などを組み合わせて、立派な説明を作ってしまう。
知らない人が読めば、
「へえ、そういう会社なんだ」
と思ってしまうかもしれません。
これが生成AIを使う際に注意しなければならないポイントです。
なぜ会社のURLを教えてもダメだったのか？
今回、私自身も非常に勉強になったことがあります。
URLを入力したので、
「これでWebサイトを読んでくれるだろう」
と思っていました。
ところが違いました。
今回使ったOllama上のローカルLLMは、基本的にそれ単体でWebブラウザを操作したり、インターネット検索をしたりしているわけではありません。
つまり、
「https://cncconsulting.pro」
と教えても、そのURLを実際に開いてサイトの内容を確認しているとは限らないのです。
それなのに、
「サイトを確認しました」
というような回答をしてしまうことがあります。
ここは非常に重要な学びでした。
「ローカルLLMは使えない」で終わらせない
今回の実験だけを見ると、
「ローカルLLMなんて使えないじゃないか」
と思ってしまいます。
実際、現在の小型モデルをそのままChatGPTやGeminiの代わりとして使おうとすると、かなり厳しいと感じました。
しかし、私はここで終わらせたくありません。
なぜなら今回の目的は、
ローカルLLMを使いこなすことだけではなく、その仕組みを理解すること
だからです。
今回の失敗によって、
「LLMそのもの」と「Web検索」は別物だということが、実体験として分かりました。
これは本を読んでいるだけでは、なかなか実感できなかったと思います。
では、ローカルLLMにネットの情報を読ませるには？
ここからが次の勉強です。
例えばPythonを使って、
Webサイトにアクセスする
↓
ページの文章を取得する
↓
取得した文章をOllamaに渡す
↓
ローカルLLMに内容を整理・要約させる
という仕組みを作ることができます。
さらに発展させれば、
検索
↓
必要な情報を取得
↓
LLMに渡す
↓
回答を生成
という仕組みにすることもできます。
そして、資料やWebサイトなどから必要な情報を検索してLLMに与える「RAG（検索拡張生成）」という技術にもつながっていきます。
失敗したから面白くなってきた
今回の実験は、結果だけ見れば失敗です。
株式会社CNCコンサルティングについて、3つのローカルLLMはまともに答えられませんでした。
しかし私にとっては、
「なぜ答えられなかったのか？」
という新しい疑問が生まれました。
そして、
「じゃあ、どうすれば正しい情報を与えられるのか？」
という次の学習テーマも見つかりました。
これこそ、今私が取り組んでいる、
「65歳からのAIプログラミング」
の面白いところなのかもしれません。
最初から全部理解する必要はない。
動かしてみる。
失敗する。
「あれ？」と思う。
調べる。
また試す。
その繰り返しで少しずつ仕組みが見えてきます。
今回登場した、
Qwen2.5
Gemma 3
Llama 3.2
の「ハルシネーション3兄弟」。
彼らには盛大に間違えてもらいました。
でも、そのおかげで私は、
「ローカルLLMは、どうやって外部の情報とつながるのか？」
という次の課題を見つけることができました。
さて次は、この3兄弟に本当にCNCコンサルティングのWebサイトを読ませてみたいと思います。
果たして今度は、
「株式会社CNCコンサルティングは建設会社です！」
などと言わずに、ちゃんと答えてくれるのでしょうか。
私のローカルLLM学習は、まだまだ続きます。
■ 「65歳からのAIプログラミング学習基地」
■ すべてのコラムはこちら
https://mbp-japan.com/fukuoka/cncconsultingpro/service1/
■ 株式会社CNCコンサルティング 公式サイト
https://cncconsulting.pro/
