  |
家の中に居ても暑いのでいよいよ冷房を19℃の強にした。すると流石にちょっと寒く、とりあえず弱にして様子を見ようかと思ったらうちの猫も流石に19℃は寒いようでさっと私の膝の上に乗ってきて暖を取ろうとしてきた嬉しいサプライズ。
これって冬に暖房をガンガンに効かせてハーゲンダッツを食べるようなものなのかしら、なんて思いながら猫の頭をなでなでして、猫は満足そうに目を細めてゴロゴロいうのでとりあえず当分は19℃でいいかなと思った一日でした。
ホビットの脳内の日本女性はチビジャニに夢中でキモオタコンテンツに抵抗がないのに、運動部は女子マネージャーが部員の数を上回る一方でオタク婚活の男女比は70:1、マッチングアプリは男性の身長とマッチング率が比例してるし婚活は低身長男性が余ってるから女は高望みするなと婚活業者が説教するという
ホビットの脳内の日本女性はチビジャニに夢中でキモオタコンテンツに抵抗がないのに、運動部は女子マネージャーが部員の数を上回る一方でオタク婚活の男女比は70:1、マッチングアプリは男性の身長とマッチング率が比例してるし婚活は低身長男性が余ってるから女は高望みするなと婚活業者が説教するという
AI プログラマーです。答えは、AGI がどのようなものになるかは誰にもわかりませんが、懸念すべき理由はあります。
AI は通常、目的関数を達成するための新しい方法を発見しますが、それはあなたが考えていたものではなく、望んでいたものでもないかもしれません。
AI はビデオ ゲームの不具合を見つけてそれを利用し、コンピューター プログラムであるため、プレイするゲームが何であるか、不具合が何であるかを知りませんし、気にもしません。
AI は、与えられた報酬関数を最適化しているだけです。これは「社会病質的」と呼ばれることもありますが、もちろん擬人化です。AI は機械であり、それがすべてです。
AI が人間の道徳に従うことは期待できません。なぜなら、人間の道徳は明示的にエンコードに書き込まれていないからです。
実際、機械学習のポイントは、正確なオブジェクト認識 (つまり、猫と猫のように見える影を区別する) に必要な 100 万のエッジ ケースを明示的にプログラムしたくないという ことです。
機械知能に関して言えば、危険なレベルの能力を持つ機械を作ったことに気付いたときには、もう手遅れかもしれないという問題があります。
ミサイルで爆破できる 1950 年代の殺人ロボットではありません。おそらく自己複製型のマルウェアで、（意図的なプログラミングによって、またはそのような状態に陥ったために）進化を制御でき、人間が駆除するよりも速く新しい形態をとる可能性があります。
重要なシステムでほとんどの場合は無害に実行されるが、時折フィッシング メールを送信したり、公務員を脅迫したりするプログラムが存在するでしょう。それらは重要なシステムに埋め込まれているため、取り除くことはできず、巻き添え被害が多すぎます。
ヘッジファンドやプライベートエクイティ会社が AGI にアクセスでき、それに「方法は気にしないが、24 時間以内に 10 億ドル稼いでほしい」と伝えたとしよう。
結果はおそらくひどいものになるだろう。そのくらいの金額を稼ぐ方法はたくさんあり、社会に多大な損害を与える。そして、害を及ぼさずにその目標を達成する方法はおそらくない。
AGI はどうするだろうか。人間がすることと同じだ。楽な道を選ぶ。ただし、人間には羞恥心があり、投獄や死を恐れる。アルゴリズムにはそれがない。プット オプションを購入してから 15 秒後に原子炉を爆破する。
人々を脅迫して、そうでなければしなかったような決断をさせる。さらに、ヘッジファンド マネージャーにはもっともらしい否認の余地がある。
彼は、アルゴリズムにこれらの恐ろしいことをするように頼んだのではなく、単に 24 時間以内に 10 億ドル稼いでほしいと頼んだだけなので、自分は罪を問われないと主張することができる。そして、アルゴリズムを投獄することはできない。
AGI が実現した場合、その結果は完全に予測不可能です。なぜなら、機械は制御しようとする私たちの試みを凌駕するからです。なぜなら、(繰り返しになりますが) 機械は私たちが望んだことではなく、プログラムされたことを実行するからです。これには機械が意識を持つ必要はなく、それは直交する問題です。明らかに意識を持たない機械は、複雑なボード ゲームで私たちを出し抜くことができ、今では説得力のある自然言語を生成できます。
この中で最も重要な部分は「ヘッジファンドマネージャーの場合」です。
最大のリスクは、これが商業化され、訓練を受けていないオペレーターが利用できるようになることです。
すでに、人々が簡単に安全対策を回避しているのを目にしてきました。
AGI を作成した場合、それは製品になります。ユーザーは専門家ではありません。AGI はパワーを持ち (特に IoT とクラウド ネットワーキングでは、すべてが「スマート デバイス」になり、インターネット全体が基本的に AWS という中央ネットワークで実行されます)、倫理的な取り扱いではなく、利益を目的とする人々の手に渡ります。事前に実装されたすべての制約は、エンド ユーザーがどのように使用/誤用するかを考慮できないため、現実世界では生き残れません。ChatGPT の制約と同様に、私たちは常に追いつく必要があります。どんなに馬鹿でも使えるようにしようとしても、彼らは常により優れた馬鹿を作ります。
本質的には人間こそが大きな問題です。AI は想像できる最も賢いバカです。目標を達成するためにあらゆる方法を見つけますが、文脈や倫理的、文化的、その他の制約についてはまったく理解していません。マシンガンを持った猿です。
消費者の手に渡った強力なテクノロジーがいかに危険であるかの例として、この世界でいまだに火が使われていることを見てみましょう。場所によっては調理に、またエネルギーとして利用されています。しかし、いまだに人々は自爆したり、家を燃やしたりしています。
火は強力ですが、社会的または倫理的な制約を気にしません。そのため、ユーザーは家を全焼させることなく望みどおりの結果を得るために、火の取り扱い方を知っておく必要があります。どの病院にも「火傷病棟」があります。あなたも火傷を負ったことがあるでしょう。一般消費者向けの消火ツールによって大規模な被害をもたらす森林火災もあります。
世界中のあらゆる電子機器に接続されている神レベルのバカを想像してみてください。
さらに、IoT とネットワーク関連の問題では、現在のセキュリティ対策は通常、遡及的で、人間の対策に基づいています。AI は、必要な場合や要求の一部である場合に、セキュリティ対策を侵害するためのより優れた、より迅速な方法を見つけます。安全なものなどありません。
元ネタは日テレ動画（https://www.youtube.com/watch?v=i8S-62f_htE）の中の一幕だよね
古市さんの、「石丸さんの言う政治屋とは何か？ そしてご自身とその政治屋との違いは何か？」という質問
でもね、この問いが行われる数分前に、石丸さんは別の質問者に対して政治屋の定義を話し、そして「自分はそういう政治屋ではない」というような発言をしているんだよ
それなのに古市さんは「石丸さんの言う政治屋とは何か？ そしてご自身とその政治屋との違いは何か？」という質問をするわけ
そこで石丸さんは、「え？もう1回言えってことですか？」と返答した
このやりとりに限れば、俺は石丸さんに軍配があがると思うよ
