「ディープラーニング」を含む日記 RSS

はてなキーワード: ディープラーニングとは

2024-04-22

ED

バカからよくわかんないけど一般的に主流とされているディープラーニングで利用されている学習法とは違う手法学習法らしい

金子勇さんが1999年に考えてたと聞いてほえーとなった

テック系の話題に顔を出す度日本司法へのいら立ちがすごいんだよな

人類進歩百年単位で遅らせたんじゃねえの?いやんなっちゃうねもう

2024-03-04

anond:20240304093413

それが、素材の選別から加工までAIツールがやってくれるようになる

お前が現行のディープラーニングについて何も知らないことは分かった

2024-02-23

目の表情と動きがリアルな「KIMIT ラグドールセガトイズ2月22日

KIMITは、抱き心地や動きの再現などリアルさを追求した新ブランド。KIMIT ラグドールは、本物の動きをデータ化して、ディープラーニングにより再現しています

https://getnews.jp/archives/3507416

NVIDIAAIの小史

未だに「謎の半導体メーカー」程度の認識の方になぜNVIDIA時価総額世界4位なのかをあれこれ説明する必要があるので短めにメモ半導体業界すみっこ人間なので機械学習まわりの説明適当です

・~1993年 AI冬の時代エージェントシステムがさほど成果を挙げられなかったり。まだ半導体メモリの性能は現代とくらべてはるかに劣り、現代のような大規模データを用いた統計的処理など考えられなかった。2006年ディープラーニング発明まで実質的な停滞は続く。

1993年 NVIDIA設立

1995年 NVIDIA最初グラフィックアクセラレータ製品NV1を発売。

1999年 NVIDIAGeForce 256発売。GPUという名が初めて使われる。以降、NVIDIAGPU業界1位の座を守り続ける。

2006年 GPGPU向け開発基盤CUDAを発表。以降、その並列計算に特化した性能を大規模コンピューティング活用しようという動きが続く。

2006年 ディープラーニング発明。のちのビッグデータブームに乗り、これまでよりはるかに高性能なAI模索する動きが始まる(第3次AIブームのおこり)

2006年 CPU業界2位のAMDGPU業界2位のATIを買収、チップセットGPU統合することで事実上自社製品NVIDIAと切り離す戦略に出る。CPU業界1位のインテルも、同じく自社CPUに自社製GPU統合する動きを強める。NVIDIAはこれまでの主力だったGPUチップセット製品販売を終了し、データセンター向けGPGPUのTeslaシリーズゲーム用外付けGPUGeForceシリーズARMCPUと自社GPU統合したTegraシリーズの3製品に整理する。このうちTeslaシリーズが性能向上やマイクロアーキテクチャ変更を経て現代AIサーバ製品に直接つながる。GeForceシリーズゲーマー向け需要暗号通貨マイニング向け需要も取り込み成長。Tegraシリーズは後継品がNintendoSwitchに採用される。

2012年 ディープラーニング画像認識コンテストで圧倒的な成績を収め、実質的な第3次AIブームが始まる。

2015年 AlphaGoイ・セドル勝利

2016年 NVIDIA自動運転向けシステムを発表。

2017年 Transformerモデル発表。これまでのNN・DLと異なり並列化で性能を上げるのが容易=デカ計算機を使えばAIの性能が上がる時代突入

2018年 IBMNVIDIAと開発した「Summit」がスパコン世界ランキング1位の座を5年ぶりに中国から奪還。全計算のうち96%がGPUによって処理され、HPCハイパフォーマンスコンピューティング)におけるGPU地位は決定的になる。NVIDIAの開発したCPU-GPU間の高速リンク「NVLink」が大規模に活用される。「Summit」は2020年に「富岳」にトップを奪われるまで1位を維持。

・2018~2021年 BERTやXLNet、GPT2など大規模言語モデルの幕開け。まだ研究者が使うレベル

2019年 NVIDIA CEOジェスン・ファン(革ジャンおぢ)が「ムーアの法則は終わった」と見解を表明。半導体シングルスレッド性能の向上は限界に達し、チップレットを始めとした並列化・集積化アーキテクチャ勝負時代に入る。

2022年 NVIDIAがH100発表。Transformerモデル学習・推論機能を大幅に強化したサーバ向けGPUで、もはや単体でもスパコンと呼べる性能を発揮する。H100はコアチップGH100をTSMC N4プロセス製造SK HynixHBMとともにTSMC CoWoSパッケージング技術で集積したパッケージ。※N4プロセスは最新のiPhone向けSoC採用されたN3プロセスの1つ前の世代だが、サーバ/デスクトップ製品向けプロセスモバイル製品向けプロセスクロック電流量が異なり、HPC向けはN4が最新と言ってよい。

2022年 画像生成AIブーム。DALL-E2、Midjourney、Stable Diffusionなどが相次いで発表。

2022年 ChatGPT発表。アクティブユーザ1億人達成に2カ月は史上最速。

2023年 ChatGPT有料版公開。Microsoft Copilot、Google Bard(Gemini)など商用化への動きが相次ぐ。各企業NVIDIA H100の大量調達に動く。

2024年 NVIDIA時価総額世界4位に到達。半導体メーカー売上ランキング世界1位達成(予定)。

こうして見るとNVIDIAにとっての転換点は「ディープラーニング発明」「GPGPU向けプログラミング環境CUDAの発表」「チップセット販売からコンピューティングユニット販売に転換」という3つが同時に起こった2006年であると言えそう。以降、NVIDIAゲーマー向け製品モバイル向け製品販売する裏で、CUDAによってGPGPUの独占を続け、仮装通貨マイニングスパコンでの活躍と言ったホップステップを経て今回の大きな飛躍を成し遂げた、と綺麗にまとめられるだろう。

2024-02-17

ChatGPTは予想通りになった

AI研究をしていた

ディープラーニング流行る前だったから冬の時代だけど

その時に、今のChatGPTみたいなツールが完成したらどうなるか考えたんだが

結局使用用途限定的だという結論に至った

まりインターフェースが変わるのと、曖昧検索がしやすくなるのと、あとは賢い雑用が1人つくような感じだ

 

結局今そうなってる

かに非常に便利だが、劇的に日常生活が変わるというほどではない

それでも今のChatGPTみたいなものが作りたくて研究していたのは

「そのくらいしか社会が次のステージに行くネタがなかった」から

いよいよ次に来るイノベーションがわからなくなった

2024-01-23

anond:20240123171549

素人じゃん。

せめてこんなのにして。

この新作は、ポケモンパラダイムを踏まえつつ、モンスターテクトニクス進化トリガーにおいてユニークプロスペクティブを導入しています

コンセプチュアルなマルチレイヤリングがなされ、ゲームエンジンディープラーニング機能により、プレーヤー選択に応じた自律的モンスター行動のアジャストメントが成されています

これにより、ポケモンとの類似性を超越し、本作独自シンクロニシティを実現しています

2024-01-14

ディープラーニングの「ドロップアウト」は、人間の物忘れについて示唆を与えてくれる

ドロップアウト」という行為は、物忘れに例えるなら、物忘れをすることで、物忘れしたもの以外に注意が向き、それらに対して認識が深まるみたいな行為と言えるだろう。

私たちは、物忘れの負の側面についてしか理解していないが、物忘れによって他の何かへの認識が深まるのだとしたら、物忘れもあながち悪いものではないのだろう。

2023-12-23

AIアルゴリズムあんまり複雑じゃない

AI…というか現在ディープラーニングで行われてるアルゴリズムって世間的にはそこまで複雑じゃないよね

ChatGPTのTは「Transformer」というディープラーニングモデルから来てるけど、その解説からして長くないし…

この複雑じゃないのに色々出来るのもディープラーニング世界中で使われてる要因の一つだと思う

そしてこの複雑じゃないという特徴は誰でも解説役になりやすいし、それを見た誰もが実装やすいという傾向も導くだろう

からAI規制というのをやるにしても学習データセット・学習済みモデルの配布を一部は規制する事は出来ても

アルゴリズムはどうやったって広まるのを防ぐ事は出来ないよね

これで10年後20年後になったら学習データを用意する方法もっとシンプル効果的になって誰でも出来るようになる可能性や

そしてディープラーニングによって出来る事も更に広がった上でアルゴリズムは大して複雑になってない可能だって大いに考えられる

その場合はとてもじゃないけどほんの少しの規制だって無理になると思うが

規制について考えている人達はその可能性を考慮しているのか気になる

2023-12-19

経験30歳Webエンジニア志望だけど雇ってくれるところを探してる

まず、マイナス事項を伝えたい。

ばっきし言って俺はアル中。やめようやめようと思ってもやめられずデイケアに通ってる

でもそれでもまだ飲んじゃうし、飲んだらデイケアに行きにくくなるので週3回行かなくちゃいけないところを週2回しかいけてない。

アル中傷病手当生活しているが、そのお金で酒を飲んでいる。

あとノンデリと言われる。30代女性に30代は生殖能力が落ちると言って泣かれたことがある。

でもITに対する情熱は本物。

18歳のときホリエモンの「これからITだ」という言葉に触れてそれからIT業界12年目指してきた。

でもばっきし言ってスキルは初学者レベル

それでも働きたいという情熱はある。

仕事プログラミングさえさせてくれればどんどんスキルが伸びると思ってる。

どんなに過酷現場でもいいので雇ってくれるところ、志望出したら全入の現場会社を知ってたら教えてほしい。

俺はなんとしてでもIT業界に入ってWebエンジニアになりたい。

実は一度、いや二度IT業界に入ったことがある。

一度目はSESJavaが出来ないのにJava出来ますと言って入って、プログラマー志望だったんだが保守運用を任されて3年やってプログラミングをさせてもらえず仕事ブラックで病んでやめた。

二度目はそれから数年後、今度は憧れのWeb業界に入れた。

この数年間でいろいろ学んだ俺はPHPJavaScript、RailsDjango等々様々なスキルセットを武器に無事入社することができた。

しかしここでもプログラミングはさせてもらえなかった。

任されたのはエンジニアと先方の間に入る伝書鳩。でも客に聞かれたことに答えられず、「君じゃなくて分かる人と代わって」と言われる始末

ボトルネックとなっていた

結局ここでの仕事ボトルネック伝書鳩便所掃除だった

入ってきた新人くんはプログラミングを任されどんどんスキルを身に着けていった。

だってプログラミングさえ任されれば上達できるのに

俺は1年でここを辞めた。そして今に至る

俺には夢がある。それはパパになること。

パパになるためにはITエンジニアになる必要がある。

これまでたくさんの本を買ってきた。チュートリアルをしてきた。プロゲートのレベルは212

Webエンジニアになる本も買ったし、ディープラーニングの本も買った

やる気だけはあるんだ

頼む、誰かいいところを紹介してくれ

向き不向きより前向き!

IT目指して12年、未経験30歳、ポテンシャル採用してくれるところ探してます

追記

釣りじゃありません!実在します!

ガチマジで働かせてください!ITで働きたいんです!

2023-10-24

日本最強ユニコーンPreferred Networks、損失30億円超 第9期決算

ディープラーニング武器にする東大ベンチャー

https://jidounten-lab.com/u_43499

東大卒の天才集団10年前にもてはやされた会社がこのありさ

東大の上澄みばかり集めた会社が失敗するならもう希望もなにもないやろ

2023-08-22

DirectXの思い出

Xファイルとかパースして行列計算とかして3Dやってた頃が一番楽しかった。pixel shaderとか出てきてGPGPUとかやってた時代が一番楽しかった。素のアセンブラ時代からHLSLとかGLSLとかになって。趣味の人たちが自作ホームページでいろんな3Dソフト出してた。今はディープラーニング論文出せる人とかOpenAIとか一握りの人たちしか活躍できない。たいていのものは頭の良い人たちがすでにやってる。一般人プログラマーは今は何で遊べるんだろう?今のパソコン雑誌には何が書いてある?

2023-08-20

産総研のABCI2.0GPU数は1208基ではなく5312基

話題になってるこの記事

https://wirelesswire.jp/2023/08/85203/

はてブでも過去プレスリリースと食い違っていないかと指摘されてたが、以下の記述おかしい。

日本で最大規模のディープラーニング計算資源産総研管理するABCI(AI橋渡しクラウド基盤)である

ただし、4世代前のV100を1088基と、3世代前のA100(40GB)を120基しかない。足してもわずか1208基である

ABCIの公式サイト説明には、V100を搭載した「計算ノード(V)」が1088台、A100を搭載した「計算ノード(A)」が120台とある

https://abci.ai/ja/about_abci/computing_resource.html

が、ちょっと読めば分かるように、ABCIは1ノード複数GPUが搭載されているのだ。「計算ノード(V)」は1ノードにつき4基、「計算ノード(A)」は1ノードにつき8基のGPUが載っている。

まり産総研のABCI2.0GPU数は1208基ではなく5312基である

2023-08-04

AIによる非実在青少年生成の問題を考える

前提は児童ポルノダメ絶対

ただ、不当な表現規制も同じくダメ

サイト児童ポルノ問題になってるのはAI生成そのものではなく、それをエサにモノホン販売誘導する輩がいることと認識している。AI生成そのものがアウトというわけではないはずだ。

AI生成による写実的非実在青少年の絵が児童ポルノであるとは言えない。

一方で写実的AIが描く人物とは非実在なのか?ここはなかなか難しい。そもそも人物データがあるから人が生成されるわけだが、描かれた人は合成された何かであり実在はしないはずだ。だが元となった人物がいないことを示すのも難しい。元データをかっさらっても、AIアルゴリズムを解析してもおそらく無理だ。ディープラーニング等のビッグデータ解析は結果はわかるが過程はわからいからだ。

主観的にこれに似てる!とは言えるかもしれない。しかしそれではこれがクロかシロかは各論だろう。裁判所判断になる。少なくともAI生成ツールとして使った場合、その利用者実在するとある人物を作ろうとしたと言えるか?写真を取る、イラストを描く、と比較しても行為として微妙だろう。

過去世界の事例から見ると、非実在青少年ポルノ絵は有罪になったケースがいくつかある。大筋としては、それが存在しうる、という判決だ。

日本で争われたケースとしては、被告は絵であるとしたが、判決としては実在する少女がいることが理由有罪となったものがある。ここでもあくまで、実在することが争点だった。絵が写実的写真と見間違うものかどうかは論点ではなかったはず。

論点を間違ってはいけない。AI写真と同じクオリティの絵を生成するから児童ポルノとなるわけではない。存在する、つまり被害者いるかどうかがシロクロの分かれ目である

これを写実的かどうかで議論すると間違ったことが起こる。例えば、出力を調整して写真ではないことを明らかにすればセーフになるのか、等。つまり、明らかに被害者がいるが一次ソース写真でなくAI加工したイラストだった場合は?それはアウトだろう。

何かこうだという結論があるわけではないが、まあ、言えることとしては、AI絵によってアウトセーフの判断が難しくなった世の中だ。だが現状でAI絵による非実在青少年はクロとは言えない、たとえあってもケースバイケースである

この状況でAI絵を起点に非実在青少年規制が進むのはまずいし、逆に、リアルでないイラストによる加害が見逃されても問題である。印象でAI規制議論非実在青少年イラスト規制議論が加熱することだけは避けておきたいところだ。

2023-07-21

言語学なんて実用性のない学問どうでもよくない?

https://b.hatena.ne.jp/entry/s/note.com/kind_minnow917/n/n5958d3d2f064

言語学ってコンピューターによる自然言語処理ほとんど貢献できてなかったじゃん。

いまやディープラーニングやら LLM やらでコンピューター自然言語を話せるようになったのに、言語学って何の貢献もしてないよね?

言語学」といっても、結局内輪で実用的でない言語オタク話を延々としてただけじゃん。

「学」をつけるのもおこがましいから「学」を捨てろ!

言語学」は「言語オタク」に改名しろ

2023-06-26

AI詳しい人教えてくれ

TransformerだとかGANだとか色々手法があるけどさ、それぞれがなぜ精度向上に役に立つのか、数理的・解析的な説明はないのか?というかなくていいのか?

ディープラーニング系の論文って、やってみたらなんかうまくいきました、でしかない。

損失関数の書き方や活性関数の書き方で頑張って数学チックにしてて一見難しそうに見えるけど、結論だけ見たら結局はなんかうまくいきましたで終わってる。

医学雑誌になんか知らんけど患者を3食バナナにしたら治りましたとか書かれてたとしたら、「は?」じゃない。それと似たような感覚になる。

(実際医療系はそういう実験も多いけど)

料理本やらライフハックならそれでいいけど、それが国際学会のトップ記事を飾ってるのが不思議

それとも自分が知らんだけで、研究者界隈では理論立ててこうしたらうまくいくっていう考察があるんか?

2023-04-01

Anond AI作成していません。

anond ai作成していません。ai作成たかどうかは重要ではなく、パーミッションの違いが最も重要です。iot世界でも機械学習で精度の高いグラフが得られるようになってきました。特にディープラーニングの分野では人間の2倍以上の学習を行い、自然に扱える精度に達する技術が出始めました。iotの分野ではそれだけで十分ですし、その分野でもデータ加工や加工して使い回しても良いでしょう。それだとai作成したと言えるようになります。つまりは「ai人間と同じように扱う」と言った方が適切だと思いますai機械意図的に構築したアルゴリズムといえます

Anond AI作成

2023-03-23

anond:20230323221228

ニューラルネットワークをたくさん重ねたディープラーニング計算する行為が「GPUで画面表示とか3Dかめちゃくちゃ細かい単純な計算を並行してやる行為」とあまりに似通っていたからだよ

まさかなそんなうまくいくかなって思いつつえいやーって組み込んだら動いちゃったんだ

CPU構造的に不得意だからGPUが生まれ活躍していた分野にCPU構造的に不得意な計算行為ジャストフィットした奇跡なのだ

「ChatGPTはAIじゃない」とか言ってる人の主張が理解できない

ニューラルネットワークディープラーニングもそうだし

機械学習ときもそうだったけど

「これをAIと呼ぶのは相応しくない」勢が必ず湧いてきて

ChatGPTにもそう言ってる人がいるんだけど

この人達って、AI神格化してる原理主義者が何かなの?

フレンドリーAIって呼んだら信仰に反するの?

2023-02-27

心のないシンギュラリティ

シンギュラリティ」や「技術的特異点」の記事を見てて思うんだけど

コンピュータ関係で急速な科学技術進化が起きた場合、必ずコンピュータ

人間のような知性というか心を得ている事が前提になってるのが気になる。

最近ディープラーニングの応用例を見てると分かるけど

パラメーターがメチャクチャ多くなったニューラルネットワークでも案外いろんな事が出来るのが分かってる。

そういう「心」的なものいまいちモデル化してるとは言えないようなAIでもコンピュータ設計製造

だいぶ改良されていくような未来もあり得るんじゃないだろうかと自分は思う。

もしそれが出来たら性能の上がったコンピュータで更に凄いコンピュータ設計製造するようになっていき

性能は信じられないほどに上がっていく可能性もあるだろう。

まり可能性としてコンピュータの性能が今よりずっと急激なスピードで上がっていく一方で

コンピュータが知性を依然として獲得しないままの未来もあり得るんじゃないかと思う。

例えば「リーマン予想証明を出力して」とコンピュータ質問されたら速攻で正しい証明を出力出来るのに

でもコンピュータ自体は何も判断を行わないような未来可能性だ。

もしくは急速に性能が上がって何年かのタイムラグをおいた後によく言われるシンギュラリティのような未来が来る可能性もある。

何れにしてもこのようなコンピュータの性能が信じられないスピードで上がっていきながら知性は伴わない

そんな未来説明する言葉があっていい気がする。

でも検索してもどうもそのような心のないシンギュラリティに相当する言葉が無いので気になっている。

こんな未来も一応は考えた方がいい気がする。

だってこの場合少数の大企業が圧倒的な性能のコンピュータを独占する事で格差の拡大が更に進む可能だってあるだろう。

2022-10-10

anond:20221010204558

若い人は知らないと思うけど、昔からファジー世界を変えるだのエキスパートシステム世界を変えるだのマルチメディア世界を変えるだのweb2.0世界を変えるだのビッグデータ世界を変えるだの言われてきているんだよ。そういうもんなの。

それぞれのブーム研究開発された技術ちょっとずつ日常に溶け込んでどれがそれだったのか分からない感じで世界ちょっとだけ変えてそれが積み重なって今がある。

ディープラーニングも散々騒いだ結果としてちょっとだけ世界を変えてどれがそれだったのか分からいくらいに日常に溶け込んでいくんだよ。

anond:20221010204558

基礎能力の上昇も重要でしょう

ディープラーニング自体は昔からあって、注目されたのもパソコンスペック上昇によるものだし

凡人はのんびり待とう

ログイン ユーザー登録
ようこそ ゲスト さん