参議院内閣委員会（2025-05-22）での発言

○参考人（大屋雄裕君）　二つの事案があろうかと思います。 　一つは、おっしゃった例の一つは、サイバー攻撃があったようなケースで、本来学習させたもの、あるいは利活用者が意図していたのとは違う目的が勝手に注入されたと、こういう形でのアタックを受けることによってシステムが乗っ取られる危険というのは当然ございます。これについては、したがって、結果をちゃんと検証して、ドローンの場合であれば、多分違った方向に行ったのが目に見えますので、その時点でシステムをシャットダウンして、安全回復、安全確保措置を講じるみたいなことが要請されることになります。 　それとは別に、先ほどのバグと同じなのですが、一定の評価基準は伝えましたと。ところが、その評価基準が言葉足らずであった、我々からするとですね、というようなことがよく起きるわけであります。先ほど申し上げたＨＡＬ９０００の例というのは実はそのケースだったはずで、要するに、安全を確保しようとすると、中に乗っている人間を殺すのが一番早いのではないかというふうに人工知能が考えちゃったみたいな事案だったわけですね。 　なので、これについては、まず第一に、ＡＩシステムに入力する目的をちゃんと正しく検証するということが必要になってまいりますし、やはり、事後にその効果を検証し、監査の問題ですけれども、間違ってないということをきちんと確認していかないといけない。 　あるいは、特に重大で回復不能な損害が生じ得るシステムについては、これは直接に出力をさせるのではなくて、あるいは出力から自動的に何か起こすのではなくて、人間が介在して、本当にこれでいいのかというのを確認した上でないとゴーサインが出ませんよみたいな安全確保措置を講じなければいけないということになろうかと存じます。