子供にとって毒か薬か「人間の脳と生成AIの違い」

では、生成AI技術は、「なぜ」そんな上手な応答を可能にさせたのでしょうか。

田口先生も前掲書の中でくり返し明言していらっしゃいますし、その他の研究者からも聞かれることばですが、「なんで生成AIがこんなに上手く動くのかわからない」というのが現状における正直な答えのようです。

「上手く動いている理屈がわからない」ことから、生成AIは「ブラックボックス的」とも表現されます。

私は生成AIの設計に直接関わっているわけではないので、現場の感触について証言はできないのですが、このような意見をよく耳にすることは確かです。

私の「生成AIの仕組みはブラックボックスだから怖い」という発言に、「でも、医療の現場でもブラックボックス的な薬ってあるよね」といった反論がなされることがあります。

実際その通りで、例えば、全身麻酔薬は、その仕組みが完全に解明されているとは言い難いそうです。

なぜ意識が消失し、そしてどうして再び戻ってくるのか―神経科学の立場からも、まだ解明されていない部分があると聞きます。

それでも医療現場で麻酔薬が安全に使われているのは、訓練を受けた専門家が、これまでの経験知に基づいて、対象者の状態をモニターし、用量や環境を厳密に管理した上で使用しているからです。

これに対して、生成AIの状況はかなり異なります。

その出力のプロセスは極めて複雑で、しかも使用者のほとんどがその仕組みを理解していません。

しかも、スマホやタブレットに搭載され、誰でも手軽に使えてしまうのです。

専門的な知識も訓練もなしに、子どもたちの発達に大きな影響を与える可能性のあるツールを、ブラックボックスのまま触れさせることの危うさは、やはり無視できないと思うのです。

「自然言語には似ているけど、やっぱり異なるもの」、そして、「その仕組みがブラックボックス的であること」に鑑みて、私は生成AIの出力を「ナニカ」と呼ぶことにしています。

生成AIの出力が人間言語に似ていることは否定しません。

しかし、その背後にあるものは人間言語と別ものですし、その出力を生みだしているものが、なぜ現状のような結果を出しているのかは謎なのです。

人間の言葉に似ているけれど、その正体がよくわからない『何か（ナニカ）』です。

そして、次に論じる懸念点は、賛否が分かれるかもしれませんが、「なんで上手く動いているかわからないナニカ」に子どもの発達を任せることは、果たして安全・安心か、ということです。例えば、住む家について考えてみましょう。

建物は、どのような強度を持った構造であれば、どのような揺れに対応できるかを計算した上で、設計されています。

そのためには、建物の構造とその耐震性を理解することが肝要です。

「どんな仕組みで建っているかよくわかってないけど、何となく倒れないし、地震が来てもきっと大丈夫だと思う。仕組みはわからないけど」という家に住む勇気を持つ人はどれだけいるでしょうか。

その仕組みがわかっていないものは、何か問題が起こった時に、どこに原因があるかを追求し、それを解決するのが難しいという欠点があります。

また、不意に予期していないような問題が起こる可能性も排除できません。

おしゃべりアプリに関連する具体例をあげれば、子どもが「怖い話」をリクエストしたとしましょう。

現状の生成AIでは、学習データの中に含まれていた不適切なコンテンツが、どのような条件で出力されるかが予測できないため、おしゃべりアプリが子どもには不適切なレベルの残酷な話をしてしまう可能性があります。

しかし、ブラックボックスであるため、「なぜ」そのような不適切な話をしたのか原因がわからず、根本的な対策を立てることが困難なのです。