  |
はてなキーワード: ディープラーニングとは
KIMITは、抱き心地や動きの再現などリアルさを追求した新ブランド。KIMIT ラグドールは、本物の動きをデータ化して、ディープラーニングにより再現しています。
未だに「謎の半導体メーカー」程度の認識の方になぜNVIDIAが時価総額世界4位なのかをあれこれ説明する必要があるので短めにメモ。半導体業界のすみっこの人間なので機械学習まわりの説明は適当です
・～1993年 AI冬の時代。エージェントシステムがさほど成果を挙げられなかったり。まだ半導体やメモリの性能は現代とくらべてはるかに劣り、現代のような大規模データを用いた統計的処理など考えられなかった。2006年のディープラーニングの発明まで実質的な停滞は続く。
・1995年 NVIDIAが最初のグラフィックアクセラレータ製品NV1を発売。
・1999年 NVIDIAがGeForce 256発売。GPUという名が初めて使われる。以降、NVIDIAはGPU業界1位の座を守り続ける。
・2006年 GPGPU向け開発基盤CUDAを発表。以降、その並列計算に特化した性能を大規模コンピューティングに活用しようという動きが続く。
・2006年 ディープラーニングの発明。のちのビッグデータブームに乗り、これまでよりはるかに高性能なAIを模索する動きが始まる（第3次AIブームのおこり）
・2006年 CPU業界2位のAMDがGPU業界2位のATIを買収、チップセットにGPUを統合することで事実上自社製品をNVIDIAと切り離す戦略に出る。CPU業界1位のインテルも、同じく自社CPUに自社製GPUを統合する動きを強める。NVIDIAはこれまでの主力だったGPUチップセット製品の販売を終了し、データセンター向けGPGPUのTeslaシリーズ、ゲーム用外付けGPUのGeForceシリーズ、ARM系CPUと自社GPUを統合したTegraシリーズの3製品に整理する。このうちTeslaシリーズが性能向上やマイクロアーキテクチャ変更を経て現代のAIサーバ製品に直接つながる。GeForceシリーズはゲーマー向け需要や暗号通貨マイニング向け需要も取り込み成長。Tegraシリーズは後継品がNintendoSwitchに採用される。
・2012年 ディープラーニングが画像認識コンテストで圧倒的な成績を収め、実質的な第3次AIブームが始まる。
・2017年 Transformerモデル発表。これまでのNN・DLと異なり並列化で性能を上げるのが容易＝デカい計算機を使えばAIの性能が上がる時代に突入。
・2018年 IBMがNVIDIAと開発した「Summit」がスパコン世界ランキング1位の座を5年ぶりに中国から奪還。全計算のうち96%がGPUによって処理され、HPC（ハイパフォーマンスコンピューティング）におけるGPUの地位は決定的になる。NVIDIAの開発したCPU-GPU間の高速リンク「NVLink」が大規模に活用される。「Summit」は2020年に「富岳」にトップを奪われるまで1位を維持。
・2018~2021年 BERTやXLNet、GPT2など大規模言語モデルの幕開け。まだ研究者が使うレベル。
・2019年 NVIDIA CEOジェスン・ファン（革ジャンおぢ）が「ムーアの法則は終わった」と見解を表明。半導体のシングルスレッド性能の向上は限界に達し、チップレットを始めとした並列化・集積化アーキテクチャ勝負の時代に入る。
・2022年 NVIDIAがH100発表。Transformerモデルの学習・推論機能を大幅に強化したサーバ向けGPUで、もはや単体でもスパコンと呼べる性能を発揮する。H100はコアチップGH100をTSMC N4プロセスで製造、SK Hynix製HBMとともにTSMC CoWoSパッケージング技術で集積したパッケージ。※N4プロセスは最新のiPhone向けSoCで採用されたN3プロセスの1つ前の世代だが、サーバ/デスクトップ製品向けプロセスとモバイル製品向けプロセスはクロックや電流量が異なり、HPC向けはN4が最新と言ってよい。
・2022年 画像生成AIブーム。DALL-E2、Midjourney、Stable Diffusionなどが相次いで発表。
・2022年 ChatGPT発表。アクティブユーザ1億人達成に2カ月は史上最速。
・2023年 ChatGPT有料版公開。Microsoft Copilot、Google Bard（Gemini）など商用化への動きが相次ぐ。各企業がNVIDIA H100の大量調達に動く。
・2024年 NVIDIAが時価総額世界4位に到達。半導体メーカー売上ランキング世界1位達成（予定）。
こうして見るとNVIDIAにとっての転換点は「ディープラーニングの発明」「GPGPU向けプログラミング環境CUDAの発表」「チップセットの販売からコンピューティングユニットの販売に転換」という3つが同時に起こった2006年であると言えそう。以降、NVIDIAはゲーマー向け製品やモバイル向け製品を販売する裏で、CUDAによってGPGPUの独占を続け、仮装通貨マイニングやスパコンでの活躍と言ったホップステップを経て今回の大きな飛躍を成し遂げた、と綺麗にまとめられるだろう。
AI…というか現在ディープラーニングで行われてるアルゴリズムって世間的にはそこまで複雑じゃないよね
ChatGPTのTは「Transformer」というディープラーニングモデルから来てるけど、その解説からして長くないし…
この複雑じゃないのに色々出来るのもディープラーニングが世界中で使われてる要因の一つだと思う
そしてこの複雑じゃないという特徴は誰でも解説役になりやすいし、それを見た誰もが実装しやすいという傾向も導くだろう
だからAIの規制というのをやるにしても学習データセット・学習済みモデルの配布を一部は規制する事は出来ても
アルゴリズムはどうやったって広まるのを防ぐ事は出来ないよね
これで10年後20年後になったら学習データを用意する方法がもっとシンプルに効果的になって誰でも出来るようになる可能性や
そしてディープラーニングによって出来る事も更に広がった上でアルゴリズムは大して複雑になってない可能性だって大いに考えられる
その場合はとてもじゃないけどほんの少しの規制だって無理になると思うが
https://wirelesswire.jp/2023/08/85203/
はてブでも過去のプレスリリースと食い違っていないかと指摘されてたが、以下の記述がおかしい。
日本で最大規模のディープラーニング計算資源は産総研が管理するABCI(AI橋渡しクラウド基盤)である。
ただし、4世代前のV100を1088基と、3世代前のA100(40GB)を120基しかない。足してもわずか1208基である。
ABCIの公式サイトの説明には、V100を搭載した「計算ノード(V)」が1088台、A100を搭載した「計算ノード(A)」が120台とある。
https://abci.ai/ja/about_abci/computing_resource.html
が、ちょっと読めば分かるように、ABCIは1ノードに複数のGPUが搭載されているのだ。「計算ノード(V)」は1ノードにつき4基、「計算ノード(A)」は1ノードにつき8基のGPUが載っている。
某サイトで児童ポルノ問題になってるのはAI生成そのものではなく、それをエサにモノホン販売に誘導する輩がいることと認識している。AI生成そのものがアウトというわけではないはずだ。
AI生成による写実的な非実在青少年の絵が児童ポルノであるとは言えない。
一方で写実的なAIが描く人物とは非実在なのか？ここはなかなか難しい。そもそも人物のデータがあるから人が生成されるわけだが、描かれた人は合成された何かであり実在はしないはずだ。だが元となった人物がいないことを示すのも難しい。元データをかっさらっても、AIアルゴリズムを解析してもおそらく無理だ。ディープラーニング等のビッグデータ解析は結果はわかるが過程はわからないからだ。
主観的にこれに似てる！とは言えるかもしれない。しかしそれではこれがクロかシロかは各論だろう。裁判所判断になる。少なくともAI生成ツールとして使った場合、その利用者は実在するとある人物を作ろうとしたと言えるか？写真を取る、イラストを描く、と比較しても行為として微妙だろう。
過去の世界の事例から見ると、非実在青少年のポルノ絵は有罪になったケースがいくつかある。大筋としては、それが存在しうる、という判決だ。
日本で争われたケースとしては、被告は絵であるとしたが、判決としては実在する少女がいることが理由で有罪となったものがある。ここでもあくまで、実在することが争点だった。絵が写実的で写真と見間違うものかどうかは論点ではなかったはず。
論点を間違ってはいけない。AIが写真と同じクオリティの絵を生成するから児童ポルノとなるわけではない。存在する、つまり被害者がいるかどうかがシロクロの分かれ目である。
これを写実的かどうかで議論すると間違ったことが起こる。例えば、出力を調整して写真ではないことを明らかにすればセーフになるのか、等。つまり、明らかに被害者がいるが一次ソースの写真でなくAI加工したイラストだった場合は？それはアウトだろう。
何かこうだという結論があるわけではないが、まあ、言えることとしては、AI絵によってアウトセーフの判断が難しくなった世の中だ。だが現状でAI絵による非実在青少年はクロとは言えない、たとえあってもケースバイケースである。
この状況でAI絵を起点に非実在青少年の規制が進むのはまずいし、逆に、リアルでないイラストによる加害が見逃されても問題である。印象でAI規制議論や非実在青少年イラスト規制議論が加熱することだけは避けておきたいところだ。
TransformerだとかGANだとか色々手法があるけどさ、それぞれがなぜ精度向上に役に立つのか、数理的・解析的な説明はないのか？というかなくていいのか？
ディープラーニング系の論文って、やってみたらなんかうまくいきました、でしかない。
損失関数の書き方や活性関数の書き方で頑張って数学チックにしてて一見難しそうに見えるけど、結論だけ見たら結局はなんかうまくいきましたで終わってる。
医学雑誌になんか知らんけど患者を3食バナナにしたら治りましたとか書かれてたとしたら、「は？」じゃない。それと似たような感覚になる。
お料理本やらライフハックならそれでいいけど、それが国際学会のトップ記事を飾ってるのが不思議。
「シンギュラリティ」や「技術的特異点」の記事を見てて思うんだけど
コンピュータ関係で急速な科学技術の進化が起きた場合、必ずコンピュータが
人間のような知性というか心を得ている事が前提になってるのが気になる。
パラメーターがメチャクチャ多くなったニューラルネットワークでも案外いろんな事が出来るのが分かってる。
そういう「心」的なものをいまいちモデル化してるとは言えないようなAIでもコンピュータの設計・製造が
だいぶ改良されていくような未来もあり得るんじゃないだろうかと自分は思う。
もしそれが出来たら性能の上がったコンピュータで更に凄いコンピュータを設計・製造するようになっていき
性能は信じられないほどに上がっていく可能性もあるだろう。
つまり可能性としてコンピュータの性能が今よりずっと急激なスピードで上がっていく一方で
コンピュータが知性を依然として獲得しないままの未来もあり得るんじゃないかと思う。
例えば「リーマン予想の証明を出力して」とコンピュータが質問されたら速攻で正しい証明を出力出来るのに
でもコンピュータ自体は何も判断を行わないような未来の可能性だ。
もしくは急速に性能が上がって何年かのタイムラグをおいた後によく言われるシンギュラリティのような未来が来る可能性もある。
何れにしてもこのようなコンピュータの性能が信じられないスピードで上がっていきながら知性は伴わない
でも検索してもどうもそのような心のないシンギュラリティに相当する言葉が無いので気になっている。
こんな未来も一応は考えた方がいい気がする。
若い人は知らないと思うけど、昔からファジーが世界を変えるだのエキスパートシステムが世界を変えるだのマルチメディアが世界を変えるだのweb2.0が世界を変えるだのビッグデータが世界を変えるだの言われてきているんだよ。そういうもんなの。
それぞれのブームで研究開発された技術はちょっとずつ日常に溶け込んでどれがそれだったのか分からない感じで世界をちょっとだけ変えてそれが積み重なって今がある。
ディープラーニングも散々騒いだ結果としてちょっとだけ世界を変えてどれがそれだったのか分からないくらいに日常に溶け込んでいくんだよ。
今年2022年は、ディープラーニングが注目されるきっかけとなった画像認識コンテストから10周年になるのだそうだ。つい数年前、コロナ禍が始まる前までは、「ディープラーニングと人工知能が社会を変える」とさかんに喧伝されていたのを覚えている。
けれども、たった今、周囲を見てみると、我々の生活そのものは10年前とさほど変化していない。我々の所持品のほとんどは、多少のスペックの向上はあれども、10年前には既に存在していたものだ。もしも仮に、過去10年間昏睡状態だったとしても (コロナ関連のもろもろを除いて) テクノロジー的にはさほど困惑することなく新たな生活になじめるだろう。
もちろん、細かく見れば変わっている部分もある。将棋や囲碁のテレビ中継に常に形勢判定が表示されるようになったとか、顔認識による個人識別の精度が向上しすぎたためにプライバシー保護が大きな政治問題になっているとか、画像生成や文章生成の面白いデモが頻繁に注目されていたりもする。
それでも、我々の生活に関するテクノロジーそのものは、10年前からほとんど変化していない。そんなことを強く感じたのは、故障した掃除機を買い替えるため、久しぶりに都心の家電量販店に行ったときのことだ。あらゆる商品の形が10年前から変化がない。一般消費者向けのスマートウォッチもVRゴーグルも、今ほど広く利用されていなかったとはいえ、2000年代には既に登場していたし、ルンバのような掃除機ロボットも既に20年の歴史がある。
たかだか3,4年前まで、すぐにでも発売されるかのように報道されていた、自動運転車、調理ロボット、部屋のお片付けロボットや洗濯物をたたむロボットを私が購入できるのは、一体いつになるのだろう。
