「賢いコンピュータ」が繰り出した、まさかの反則技

人工知能ブーム再燃の真実（その８）

　SF作家アイザック・アシモフのロボット工学三原則に私が初めて触れたのは、1973年頃に読んだ『鋼鉄都市』(原題：The Caves of Steel)でした。感情をむき出しにするニューヨーク市警刑事と、人間そっくりのロボット刑事が「2人」がペアとなって互いの長所を生かして、何十年ぶりに起きた、論理的に考えて不可能と思われる殺人事件を解決していきます。

　昨今流行りの「人工知能脅威論」が気になる方や、人間の仕事が機械に奪われて失業者が溢れるのではないかと心配される方は、この『鋼鉄都市』やその続編の『はだかの太陽』(原題：The Naked Sun、「剥き出しの太陽」の方が原意に近いと思います) を読んでみることをお勧めします。後者の『はだかの太陽』では、理想郷を目指して地球人が進出した惑星ソラリアで、わずかな人口の人類が広大な土地に離れて暮らしており、立体視覚通信システム（今でいう仮想現実VRシステム) で必要な時だけ瞬時にコミュニケーションしています。そして、1人ひとりが2万体ものロボットにかしずかれ、豊かな暮らしを享受するという1つの極端な未来イメージがその副作用とともに描かれています。

アシモフの「ロボット工学三原則」

　アシモフが一連のロボットSF小説シリーズを30年にわたって執筆する中で一貫して前提とされてきたロボット工学三原則は、次の3カ条からなります。

• 第一条　ロボットは人間に危害を加えてはならない。また、その危険を看過することによって、人間に危害を及ぼしてはならない。
• 第二条　ロボットは人間にあたえられた命令に服従しなければならない。ただし、あたえられた命令が、第一条に反する場合は、この限りでない。
• 第三条　ロボットは、前掲第一条および第二条に反するおそれのないかぎり、自己をまもらなければならない。

　―2058年の「ロボット工学ハンドブック」第56版 、『われはロボット』より。

　初期の比較的単純なロボットの場合、次のような行動が見られたことが描かれました。第一条に従って倒れた人間を救いに近づこうとしたら、有害ガスに阻まれ、第三条が作動して元の場所に戻る。そこで自己への危険が去ったので、再び人間を救いに近づこうとするが再び有害ガスに阻まれて…というのを延々と繰り返した、というものです。

コンピュータが「反則技」を繰り出した！

　このロボット工学三原則は、技術がいくら進歩しても実現できないかもしれない、などと伝統的に議論されてきました。

　各条を守るために、ほぼ無限の可能性を検討して評価し尽くさなければならない、という『フレーム問題』というのがあります。この問題を回避するために、汎用的にさまざまな事態に対処することを諦めて、特定の問題解決に絞った人工知能（もどき）しか当面は作れないだろう、という議論もありました。

　目的を、将棋に勝つことだけに狭く絞ったコンピュータプログラムでさえ、この問題に突き当たったように見えた出来事が最近起こりました。ある将棋プログラムが、対戦中の計算量を節約するために、過去の膨大な対戦履歴データ中に存在せず、常識では考えられない反則技に陥るプロセスの評価を省略してしまいました。このため、対戦相手（人間）のある手をきっかけに、反則技を繰り出して人間に負けてしまったという珍事です。

　これについて、複数の棋士・関係者による見解が述べられているのを見ると、自分に王手がかかっているにもかかわらずそれを放置したということで、確かに、人間が盤面を見ていれば一目瞭然で、まず犯さない過ちだったろうというのが印象的です。王手を回避する、というのは、将棋の基本中の基本原則。自分を守る原則ということで、ロボット工学三原則の第三条に似ているといえるでしょう。開発者によれば、毎回ゼロからプログラムを作っているので、今回はたまたま作りこみ忘れていて、それを本番まで気づかなかったということです。

　コンピュータ科学の分野では、何かの制約条件を守りながら最適な解答を見つけ出すための問題解決手順（アルゴリズム）が多数考案されてきました。しかし、1日に訪問する客先を最短ルートで回るにはどうしたらいいか？（『巡回セールスマン問題』）など、一見単純・簡単そうな問題でも、計算量が爆発し、数十、数百の要素になっただけで、現在のスーパーコンピュータでも、太陽系の寿命の何百倍の時間の計算をしても計算が終わらないことが証明できてしまった問題もいくつもあります。

　その解決には、現在のディープラーニングや、発売されたばかりの単純な量子コンピュータがもっと高度に進化して、現在と全く違う原理で問題解決できるようにならなければならない、と考える研究者が多いです。あるいは、良い意味で人間のように「適当に」常識の範囲で、少ない解決案の検討ですませることになるかもしれません。この場合、ロボット工学三原則を機械に守らせることは実際上、不可能になってしまうことでしょう。

　Wikipediaにも解説されているように、アシモフによれば、ロボット工学三原則が適用されるのは自我を持って自分で判断を下せるロボットに限られています。

　"ロボット工学三原則が適用されるのは自意識や判断能力を持つ自律型ロボットに限られており、ロボットアニメに登場する搭乗型ロボットなど自意識や判断能力を持たない乗り物や道具としてのロボットに三原則は適用されない。現実世界でも無人攻撃機などの軍用ロボットは人間の操作によって人間を殺害している道具であるが、自意識や判断能力を持たないため三原則は適用されていない。"

　ところが、現時点で自意識、自我とは何であるかの定義は不明確であり、その実態は科学的に解明されていません。そこでこの制約をはずして、家電製品を含むあらゆる機械にこれらの原則を適用できるよう個別に設計してやればいいじゃないか、という議論が説得力を持ちます。しかし、どんな機械が相手としても、ロボット工学三原則を守らせる、すなわち、実装することは容易にできるのでしょうか？

ロボットが「ロボット工学三原則」を守るのは困難！

　最近、第一条を守らせる実験によればロボット工学の原則を守らせるのは実際的に困難だ、という記事が出ました：

「実験の結果ロボットがロボット工学三原則を守るのは困難だと判明」

　人間役のロボットが穴に落ちるのを、第一条を実装された「倫理ロボット」が防ぐことができるかどうか。英ブリストル・ロボティクス・ラボラトリーのロボット学者のアラン・ウィンフィールド氏とそのチームが実験したところ、守る相手が1体のときはうまくいくが、2体の人間役ロボットを相手にした途端に倫理ロボットは混乱をきたし、相手をうまく守れなくなったそうです。2体のうちどちらを守るかの決断を迫られたときに、機械らしく、「厳密に考え」ようとして迷って時間をロスし、2体とも救えなかったケースがあったといいます。

　もちろん人間でも、同じように混乱して文字通り二兎を追う者一兎をも得ず、という結果に終わることも多いでしょう。しかし、これは価値観の違いや、論理的な思考（計算）の速度がコンピュータよりはるかに遅いせいであり、コンピュータ（人工知能）ならそんな問題はないのでは？ という楽観的な予測もあったことでしょう。実験結果を見ると、実際の日常世界で起こる多様な出来事において、ロボットに三原則を守らせることが非常に困難ではないか、と予感させるものがあります。

　ロボットに三原則を守らせることが困難ということは、自動運転車が実用化されようとしている昨今、深刻な問題といえます。例えば次のような事態をイメージしてみましょう。

・走行する道の横断歩道を、黄信号や赤信号になってから横断してくる人の安全を確保しながら、自分が進路をそらして電柱にぶつかって搭乗者に怪我させないようにもしなければならない。

　瞬時に膨大な思考（計算）と様々な判断をやってのけなければならないのは明らかだと思います。

　相手に怪我をさせることでより多くの命だけは救える、という難しいケースを想定してみましょう。こんなとき、あらかじめその通りのシナリオをプログラムされることなく、未知の事態で学習しながら適切な判断を下せる自動運転車ができるのは遠い未来のことのように思えます。

「自動運転」は交通事故を減らせるか？

　先日、ドイツの航空会社の副操縦士が自ら搭乗機を墜落させた事件の直後、「人間よりも機械に乗り物を操縦、運転させた方が安全なのでは？」という論調が流れました。しかし、仮にも何十年と教育を受け、暗黙知なども身に着けながら経験値を上げてきた人間なみに安全遵守能力（安全性能）を向上させるのは、かなり難しいのではないでしょうか。航空機の操縦だけの知識やテクニックに絞った専用人工知能を開発したとしても、先の将棋の反則技を繰り出すようなことは起こり得るわけです。このときの「反則」が想定外だった事態、例えば、計算の結果、海中に潜って空中の障害物（光線の加減を誤認した場合を含め）を回避する、などの手を繰り出してしまう可能性を根絶できるのでしょうか？

　実際に人命を左右するような応用を行う前に、さまざまな実験を徹底的に行って解決策を講じる必要があるでしょう。そして製品のリリース後も、別の人工知能を備えた交通制御システムなども協調的に支援する、などの対策を追加していくことになるのではないでしょうか。

　以上のように安全性を深く考えるのは必須だと考えつつも、やはり最終的には体調や精神状態が怪しい人々が多数、車を運転している現状よりも交通事故は減ってくれるだろう、と楽観しています。もちろん「自動運転車は馬を目指すべき」と提案させていただいた稿でも示唆しましたように、最終の意思決定を下す人間と機械の役割分担、インタフェースをとことん考え抜き、テスト、評価し抜いて、より適切な知性と感覚（センサー）を装備していくべきです。

　新たな発想も必要になり、社会的な合意も必要になってくるので、伝統的な日本のメーカーがあまり得意ではない領域かもしれませんが。それでも冒頭の『鋼鉄都市』が1950年代に描いていたように、人は人の得意なこと、機械は機械の得意な能力を巧みに結び付け、協調させることで、より良い問題解決、安全性の向上になることは間違いないでしょう。

　ヒューマン・エラーをどう低減させるか、というだけの一面的な発想では、機械の位置づけについてのダイナミックな発想が出にくいと思われます。この点、人工知能、あるいは人工知能的な哲学が、新たな視点、発想を提供することができると思います。

AIの健全な産業応用を考える

人工知能ブーム再燃の真実（その７）

　この連載はもともとビッグデータ分析の科学ということでちょうど１年前にスタートしました。多忙なITベンチャー経営の傍ら１年間、１度も欠かさずに書けたことに我ながら驚くとともに、ご協力いただいた方々、お取引先やメタデータ社の役員、社員には深く感謝しております。

　今回は「なぜ人工知能の話題が最近は多いの？」という疑問にシンプルな回答を書いてみたいと思います。

企業のニーズ：「データそのものはいくらでもあるし、収集や、ある程度の整備のめどは立った。でも最終的に経営改善、業績改善につながる分析結果を導き出すのに、生のビッグデータに人間がいきなり徒手空拳で（手作業で）臨んでも新たな知見など出てこない。そこで、コンピュータらしい力技を発揮して、従来は解析困難だったタイプのデータを、人間が見て何か発見したり仮説検証（定性的・定量的）したりするのを支援してほしい。」

　ビッグデータのブームが一段落したらやはり、人間技では対応できない解析、分析がネックになった。だから、強力な「弱いAI」が必要になった。そのため、人工知能への潜在的な期待が高まり、それに応えるソリューションも出てきたことで（たとえばVoC分析のこれ）、必然的にさまざまなメディアでも取り上げられるようになった、と考えていいのではないでしょうか。

　「従来は解析困難だったタイプのデータ」としては、非数値系のデータ、例えば不定形のテキスト（自然言語）のデータとか静止画像、動画像、音声信号の生データがあります。

　画像は、撮影・編集日時などの5W1H情報や映っている内容についてキーワード入力されたメタデータの類ではなく、画像そのもののことです。これらを扱うには、文章の構文解析、それを超えた意味解析や文脈解析、「常識」知識に照らした推論などが必要になったり、画像の膨大なピクセル情報から映っている人物や事物、背景映像が何であるか、いわばどんな意味内容を含んだ映像であるかを画像認識したりしなければなりません。両方とも、広い意味の「パターン認識」ととらえることができます。

「パターン認識」は人工知能の目や耳

　「パターン認識」、あるいはもっと広く「認識」というのは、「学習」「思考」とは異なるものです。ですが、通常のコンピュータ処理とは異質の、人工知能と呼んでも良さそうな感じがします。人間にしかできないというよりは、目や耳を備えて、危険を認識できる動物全般の能力といって良いでしょう。

　入力された生データは、画素数や文字数で数えると膨大な量になります。しかし「猫の尻尾が映っている」という認識結果（人によっては「画像の意味を理解」したと解釈するかもしれません）は、猫という記号と、その一部、尻尾という記号だけという、極く僅かな情報量（Byte数）に変換されます。

　このように「認識」あるいは「理解」するために、脳内の、さまざまな画像の特徴を記憶したデータベースと、その概念を理解した結果を格納した「辞書」のようなものを使っていると思われます。さらに、猫の尻尾に似ているけれど違うものについて、過去遭遇した場面、出来事の経験に照らして、例外扱いしたりすることもあるように思えます。

　「パターン認識」は、30年以上前から産業界で実用化されています。有名な応用の一つに、NECがいち早く手がけ、今やおそらく全世界の警察が活用している、指紋照合システムがあります。

　犯行現場などで見つかった指紋を、ホストコンピュータのデータベースに格納されている何千万人分もの両手（や両足？）の指紋と、あっという間に照合してしまいます。人間技ではない超高速、ビッグデータ対応が最初から実現していますので、強力な「弱いAI」ということができます。

　何十年も前から実用化されている、あまり有名でない、地味な応用に、工場で生産される薬の錠剤の形を人間に代わって「見て」、規格外の形状のものを排除するためのビデオ・センサと呼ばれるシステムがあります。音声認識、文字認識の世界では、元NEC研究所から九州大学教授に転出された迫江博昭博士が、DPマッチングという手法で、認識対象が、ひな形（「辞書」に入っている単語音声信号や文字画像）から、「変形」（音声の伸び縮みや画像の歪みなど）しているズレを吸収するアイディアを出し、当時の低速な計算機でもパターン認識ができるよう、郵便局用の音声認識機械や、手書き文字認識のシステムを実用化しました。

　人工知能という言葉は、専門家の間でも定義がはっきりしていません。個人的には、パターン認識は「学習」や「思考」、「感情」、「言語理解に基づく本当の対話能力」などとは違うので、人工知能からはずしたいと考えています。そこで、本セクションの小見出しは、「『パターン認識』は人工知能の目や耳」としました。

　だいぶ以前から実用化されているけれども、指紋や錠剤の形、手書き数字（郵便番号など）など、かなり専門特化した応用事例が多かったといえます。

　昨今は、人型ロボットが市場に出てきたことなどにより、汎用性の高いパターン認識へのニーズは高まりつつあるように思います。しかし、その場合でも、どんなものを見分け、聞き分ける必要があるのか、そのために、どれくらいの精度が必要なのかについて、いくつかのケーススタディについて具体的に見積もるべきだと思います。

　そして、現在の技術で、コストに見合う投資額で済むかどうか、きちんと見極めること。人工知能搭載だから賢い、などと思考停止したやり方では、本来うまくいくはずの応用でも失敗してしまいますので、くれぐれも注意したいところです。

社会の重要な裏方としてのAI

　前節で、警察署や郵便局、工場という応用現場に言及しましたので、「社会の重要な裏方」として機能するAIについて、少し考えてみたいと思います。

　2014年度に放映された、放送大学の専門科目現代化学第6回「機能性物質の化学1 〜物質の機能とは」（担当講師石井菊次郎学習院大学教授）では、冒頭で、撥水性繊維でできた布にコーヒーをこぼして見せて視聴者を驚かせた後、「社会の重要な裏方」として働く物質として次が挙げられています：

• 接着剤・塗料など（ニカワからエポキシ樹脂、低融点ガラスへ）
• 表面処理剤・潤滑油など
• 印刷インクなど

　なるほど確かに、「日本の主要な塗料メーカー、潤滑油メーカー、インキメーカーを３社ずつ挙げなさい」と言われて即答できる人は少なさそうです。ですが、これらの製品が住まいや乗り物、工作機械、そして書籍や、印刷技術で作られるファッション・アイテムなどを支える、必要不可欠の存在であることに異論ある方は少ないでしょう。

　 物質、材料を「部品」ととらえ、「社会の重要な裏方」として働くハイテク部品の例を考えてみると、日本企業しか作れないといわれていた部品の例として、

• エンジン内部の超高温でも何年も劣化しないバネ
• 一度締めたら絶対緩まないネジ

などが思い浮かびます。この他にも、日本の中小企業が世界需要をほぼ独占しているようなハイテク部品には枚挙にいとまがないでしょう。

　上記のような材料技術、部品製作技術が不断に改良され、応用製品を通して市場に出て、社会に貢献している産業分野は非常に健全であると言えるでしょう。

　その一方で、高性能化や安全確保に必要不可欠な技術開発が、（戦時に異常にスピーディに安全無視で技術開発されてしまったなどにより）積み残され、置き去りにされてしまった核関連技術の分野では、70年以上未解決の高レベル放射性廃棄物問題を引き起こしていたりします。比喩的にいえば、腕力や胸の筋力ばかり発達して足腰がまるで脆弱なアスリートみたいなものかもしれません。これでは、いくら当座、産業応用ができてしまっていても、大変な危険と厄災をもたらす事故や解決の目途が立たない廃棄物問題により市民が脅威にさらされ続けることになりかねません。

　人工知能についても、同様の危険があるでしょうか？ 「これ一つでどんな問題も解決できる万能のAI」などが本気で喧伝され、無理を承知で強引に現場に適用されたりしたら、あるいは、本当に整備すべきだったデータやロジックがなおざりにされ、当面は人間が担う方が精度面でもコスト面でも優位なところに予算が回らないような事態が生じるかもしれません。

　これは、AIが、生物さえも成し遂げなかった、自らの意思による進化、自己改造など引き起こす「シンギュラリティ」を心配しているのではありません。もっと手前で、従来の工学、産業応用の基本プロセス、発展段階を踏まえ、社会の重要な裏方としてAIが機能するのをすっ飛ばして、派手な役回りのみが持ち上げられ、結局その反動で失望が広がったり、普通の機械、技術と共通する身近な危険が放置されるのを恐れています。

　次回、シンギュラリティ以前の未熟なAIが人々に危害を加えないかを考えるため、ロボット工学３原則について取り上げようと思います。