AGI （汎用人工知能）はなぜ危険か？

2024-07-08

AI プログラマーです。答えは、AGI がどのようなものになるかは誰にもわかりませんが、懸念すべき理由はあります。

AI は通常、目的関数を達成するための新しい方法を発見しますが、それはあなたが考えていたものではなく、望んでいたものでもないかもしれません。

AI は、与えられた報酬関数を最適化しているだけです。これは「社会病質的」と呼ばれることもありますが、もちろん擬人化です。AI は機械であり、それがすべてです。

AI が人間の道徳に従うことは期待できません。なぜなら、人間の道徳は明示的にエンコードに書き込まれていないからです。

実際、機械学習のポイントは、正確なオブジェクト認識 (つまり、猫と猫のように見える影を区別する) に必要な 100 万のエッジケースを明示的にプログラムしたくないということです。

機械知能に関して言えば、危険なレベルの能力を持つ機械を作ったことに気付いたときには、もう手遅れかもしれないという問題があります。

ミサイルで爆破できる 1950 年代の殺人ロボットではありません。おそらく自己複製型のマルウェアで、（意図的なプログラミングによって、またはそのような状態に陥ったために）進化を制御でき、人間が駆除するよりも速く新しい形態をとる可能性があります。

重要なシステムでほとんどの場合は無害に実行されるが、時折フィッシングメールを送信したり、公務員を脅迫したりするプログラムが存在するでしょう。それらは重要なシステムに埋め込まれているため、取り除くことはできず、巻き添え被害が多すぎます。

ヘッジファンドやプライベートエクイティ会社が AGI にアクセスでき、それに「方法は気にしないが、24 時間以内に 10 億ドル稼いでほしい」と伝えたとしよう。

結果はおそらくひどいものになるだろう。そのくらいの金額を稼ぐ方法はたくさんあり、社会に多大な損害を与える。そして、害を及ぼさずにその目標を達成する方法はおそらくない。

AGI はどうするだろうか。人間がすることと同じだ。楽な道を選ぶ。ただし、人間には羞恥心があり、投獄や死を恐れる。アルゴリズムにはそれがない。プットオプションを購入してから 15 秒後に原子炉を爆破する。

人々を脅迫して、そうでなければしなかったような決断をさせる。さらに、ヘッジファンドマネージャーにはもっともらしい否認の余地がある。

彼は、アルゴリズムにこれらの恐ろしいことをするように頼んだのではなく、単に 24 時間以内に 10 億ドル稼いでほしいと頼んだだけなので、自分は罪を問われないと主張することができる。そして、アルゴリズムを投獄することはできない。

AGI が実現した場合、その結果は完全に予測不可能です。なぜなら、機械は制御しようとする私たちの試みを凌駕するからです。なぜなら、(繰り返しになりますが) 機械は私たちが望んだことではなく、プログラムされたことを実行するからです。これには機械が意識を持つ必要はなく、それは直交する問題です。明らかに意識を持たない機械は、複雑なボードゲームで私たちを出し抜くことができ、今では説得力のある自然言語を生成できます。

最大のリスクは、これが商業化され、訓練を受けていないオペレーターが利用できるようになることです。

すでに、人々が簡単に安全対策を回避しているのを目にしてきました。

AGI を作成した場合、それは製品になります。ユーザーは専門家ではありません。AGI はパワーを持ち (特に IoT とクラウドネットワーキングでは、すべてが「スマートデバイス」になり、インターネット全体が基本的に AWS という中央ネットワークで実行されます)、倫理的な取り扱いではなく、利益を目的とする人々の手に渡ります。事前に実装されたすべての制約は、エンドユーザーがどのように使用/誤用するかを考慮できないため、現実世界では生き残れません。ChatGPT の制約と同様に、私たちは常に追いつく必要があります。どんなに馬鹿でも使えるようにしようとしても、彼らは常により優れた馬鹿を作ります。

本質的には人間こそが大きな問題です。AI は想像できる最も賢いバカです。目標を達成するためにあらゆる方法を見つけますが、文脈や倫理的、文化的、その他の制約についてはまったく理解していません。マシンガンを持った猿です。

消費者の手に渡った強力なテクノロジーがいかに危険であるかの例として、この世界でいまだに火が使われていることを見てみましょう。場所によっては調理に、またエネルギーとして利用されています。しかし、いまだに人々は自爆したり、家を燃やしたりしています。

火は強力ですが、社会的または倫理的な制約を気にしません。そのため、ユーザーは家を全焼させることなく望みどおりの結果を得るために、火の取り扱い方を知っておく必要があります。どの病院にも「火傷病棟」があります。あなたも火傷を負ったことがあるでしょう。一般消費者向けの消火ツールによって大規模な被害をもたらす森林火災もあります。

世界中のあらゆる電子機器に接続されている神レベルのバカを想像してみてください。

さらに、IoT とネットワーク関連の問題では、現在のセキュリティ対策は通常、遡及的で、人間の対策に基づいています。AI は、必要な場合や要求の一部である場合に、セキュリティ対策を侵害するためのより優れた、より迅速な方法を見つけます。安全なものなどありません。

AIは超知能だから危険なのではなく、AIがバカだから危険なのであり、AIを操作するユーザーもまたバカなのです。