「学習」を含む日記 RSS

はてなキーワード: 学習とは

2024-06-06

anond:20240605213619

試験にその問題が出たという事は天国がどのようなところなのか授業で習っているはずなのに覚えていなかったという事で減点なんだろう

試験感想文ではなく学習度の点検から

ノットオールメン」は通用しない

「息子を持つ親は息子を性犯罪者予備軍だと思って育てるべきだ」」という主張が盛んになされている。

それで思い出したのだが、経験上あれはあんまり楽しくない。

-

俺の母親は当時としてはかなり「先進的」な思想を持っている人だった。

SNSなどない俺の幼少期、彼女は既にミサンドリーを体得しノットオールメンを否定する段階にも到達しており、

息子である俺を「お前も女を見下してるんだろう」とか「男さんは理性的から失敗しないんじゃなかったのか」みたいな事を言って悔い改めよとシバきまくって育てたのだが、

ぶっちゃけ一つも身に覚えがない事だし思った事すらない事なので、普通に辛かったしそうした事で謝罪させられたりするのはまるで納得がいなかった。

しかし俺がどんなに違うと言って泣き叫んでも母は信じてはくれなかったので俺は毎日シバかれて枕を涙で濡らしていた(弱者男性)。

かに俺は「女はバカだ」とか「男は理性的から失敗しない」みたいな主張は今日でもしていないけど、それは元々俺はそういう事を思わないタイプだったからというだけで、普通ならむしろ復讐心に駆られてミソジニストになった可能性の方が高いと思う。

-

こんな話をすると「要求しているのはそんなシバきなどではなく、加害者なのだ自覚させるだけでいい」という声が聞こえてきそうではある。

しかし(いじめ虐待全般がそうで、今の𝕏ミサンドリストの汚言症なんかを見るとわかりやすいが)躾と称して難癖をつけて裁く行為はかなり気持ちいいので中毒性があり、適量でコントロールするのは難しい。

とりわけ母親が息子を「男」という属性に基づいて「お前は犯罪者予備軍だから戒められねばならないのだ」と教えていく行為は、その属性自分と重ならず悪魔可能なだけに、ストレスなどの要因ですぐに「お前の今日の振る舞いは性犯罪者の気配があったから罰されねばならないのだ」に派生するし、

子供にとって納得できない言いがかりであっても、親子の力関係では抵抗できないので結局それは無限エスカレートしていき、最終的に本人なり親子関係なりに修復不可能ダメージが入る事になる。

-

「ムチュコタン特別扱いするな」という主張も盛んではあるが、俺を特別扱いせず忠実に主義に基づいて裁いた母親は完全に言いがかりをつけるモラハラクソ女であり、その息子である俺も普通にモラハラクソ野郎ではあるし、そのモラハラロールの学習元は明らかに母親だったので、やはり親はある程度子供特別扱いした方がいいと思う。

そもそも大抵の母親自分の娘を特別扱いしており、いじめ被害者になる心配はしていても加害者になる心配など殆どしていない──少なくとも「お前は加害者予備軍だ自覚しろ」などと教えて育てはしないではないか

アクティブリコール

という勉強法が長期記憶できていいらしい。

やりかたは、「学ぶ→思い出す→確認する」というサイクルを回す。

思い出すときは、頭の中で学んだことを自分言葉で再構築する。

慣れないうちは思い出したことを紙に書きだすのがいいらしい。

慣れてしまえば、頭の中で完結でき、いつでもどこでも学習できるってわけだね。

頭の良い人は、授業中にこれを行って、ノートに書いていたというわけか。

anond:20240605112512

文脈的にこの手のアルゴリズム伝統的なルールベースアルゴリズムでは。

ディープラ以降に出てきたAI学習プロセスアルゴだけど、調整済みのモデルアルゴリズムって言わなくないですか?

死にかけると生き方模索するのは必然ってことで

韓国ブームって実は死に直面したらどう生きるかっていう学習なんだよね

日本捨てる予備動作

2024-06-05

I.GPT-4からAGIへ:OOMを数える(10)

繰り返しになるが、非常に賢いChatGPT想像するだけではいけない。趣味的な進歩ではなく、リモートワーカーや、推論や計画エラー訂正ができ、あなたあなた会社のことを何でも知っていて、何週間も単独問題に取り組めるような、非常に賢いエージェントのようなものになるはずだ。

私たち2027年までにAGIを実現しようとしている。これらのAIシステムは、基本的にすべての認知的な仕事リモートでできるすべての仕事を考える)を自動化できるようになるだろう。

はっきり言って、エラーバーは大きい。データの壁を突破するために必要アルゴリズムブレークスルーが予想以上に困難であることが判明した場合データが足りなくなり、進歩が停滞する可能性がある。もしかしたら、ホッブリングはそこまで進まず、専門家の同僚ではなく、単なる専門家チャットボットに留まってしまうかもしれない。もしかしたら10年来のトレンドラインが崩れるかもしれないし、スケーリングディープラーニングが今度こそ本当に壁にぶつかるかもしれない。(あるいは、アルゴリズムブレークスルーが、テスト時間計算オーバーハング解放する単純なアンホブリングであっても、パラダイムシフトとなり、事態さらに加速させ、AGIをさらに早期に実現させるかもしれない)。

いずれにせよ、私たちOOMsを駆け抜けているのであり、2027年までにAGI(真のAGI)が誕生する可能性を極めて真剣に考えるのに、難解な信念は必要なく、単に直線のトレンド外挿が必要なだけである

最近、多くの人がAGIを単に優れたチャットボットなどとして下方定義しているように思える。私が言いたいのは、私や私の友人の仕事を完全に自動化し、AI研究者エンジニア仕事を完全にこなせるようなAIシステムのことだ。おそらく、ロボット工学のように、デフォルト理解するのに時間がかかる分野もあるだろう。また、医療法律などの社会的な普及は、社会選択規制によって容易に遅れる可能性がある。しかし、ひとたびAI研究のもの自動化するモデルができれば、それだけで十分であり、強烈なフィードバックループ始動させるのに十分であり、完全自動化に向けて残されたすべてのボトルネック自動化されたAIエンジニア自身解決することで、非常に迅速にさらなる進歩を遂げることができるだろう。特に、数百万人の自動化された研究者たちによって、アルゴリズムさらなる進歩のための10年間が1年以内に圧縮される可能性は非常に高い。AGIは、まもなく実現する超知能のほんの一端に過ぎない。(詳しくは次の記事で)。

いずれにせよ、目まぐるしい進歩のペースが衰えることはないだろう。トレンドラインは無邪気に見えるが、その意味するところは強烈である。その前の世代がそうであったように、新世代のモデルが登場するたびに、ほとんどの見物人は唖然とするだろう。博士号を持っていれば何日もかかるような信じられないほど難しい科学問題を、間もなくモデル解決し、あなたコンピュータのまわりを飛び回り、あなた仕事をこなし、何百万行ものコードからなるコードベースゼロから書き上げ、これらのモデルによって生み出される経済的価値が1年か2年ごとに10倍になるとき、彼らは信じられないだろう。SF小説は忘れて、OOMを数えよう。AGIはもはや遠い空想ではない。単純なディープラーニング技術スケールアップすることがうまくいき、モデル学習したがり、2027年末までにさら100,000倍を超えようとしている。私たちよりも賢くなる日もそう遠くはないだろう。

https://situational-awareness.ai/wp-content/uploads/2024/06/gan_progress-1.jpeg

GPT-4はほんの始まりに過ぎない。GANの進歩に見られるように)ディープラーニング進歩の速さを過小評価するような間違いを犯さないでほしい。

続き I.GPT-4からAGIへ:OOMを数える(11) https://anond.hatelabo.jp/20240605212014

I.GPT-4からAGIへ:OOMを数える (8)

チャットボットからエージェント兼同僚へ

今後数年間の野心的なアンホブリングはどのようなものになるのでしょうか?私が考えるに、3つの重要な要素がある:

1."オンボーディング問題 "の解決

GPT-4は、多くの人の仕事の大部分をこなせるだけの生の賢さを持っているが、それは5分前に現れたばかりの賢い新入社員のようなものだ:関連するコンテキストを持っておらず、会社ドキュメントSlack履歴を読んだり、チームのメンバーと会話したり、会社内部のコードベース理解するのに時間を費やしたりしていない。賢い新入社員は、着任して5分後にはそれほど役に立たないが、1ヶ月後にはかなり役に立つ!例えば、非常に長いコンテクストを通じて、新しい人間の同僚を雇うようにモデルを「オンボード」することは可能なはずだ。これだけでも、大きなアンロックになるだろう。

2.テスト時間計算オーバーハング(より長いホライズン問題に対する推論/エラー訂正/システムII)

今のところ、モデル基本的に短いタスクしかこなせない。しかし、これでは非常に限界がある。5分どころか、数時間、数日、数週間、数ヶ月かかるのだ。

難しい問題について5分間しか考えることができない科学者は、科学的なブレークスルーを起こすことはできない。ソフトウェアエンジニアは、より大きな仕事を与えられ、計画を立て、コードベース技術ツールの関連部分を理解し、さまざまなモジュールを書いて段階的にテストし、エラーデバッグし、可能性のある解決策を検索し、最終的には数週間の仕事集大成である大規模なプル・リクエストを提出する。などなど。

要するに、テスト時間計算オーバーハングが大きいのだ。GPT-4の各トークンは、問題を考えるときの内部モノローグ言葉だと考えてください。各GPT-4トークンは非常に賢いのですが、現在のところ、思考連鎖のために~数百トークンのオーダーしか効果的に使うことができません(あたか問題プロジェクトに数分しか内部独白思考を費やせないかのように)。

もし数百万トークンを使って、本当に難しい問題や大きなプロジェクトについて考え、取り組むことができるとしたらどうだろう?

トークンの数 私が何かに取り組むのに相当する時間...
100s 数分 ChatGPT (私たちはここにいる)
1000s 30分 +1 OOMsテスト時間計算
10,000 回 半日+2 OOMs
100,000ドル1週間 +3 OOMs
数百万回 複数+4 OOMs

人間が〜100トークン/分で考え、40時間/週働くと仮定して、「モデルが考える時間」をトークンで換算すると、与えられた問題/プロジェクトにおける人間時間になる。

仮に「トークンあたり」の知能が同じだったとしても、頭のいい人が問題に費やす時間が数分なのか数ヶ月なのかの違いになる。あなたのことは知らないが、私が数ヶ月でできることと数分でできることは、はるかに、はるかに、はるかに多い。もしモデルに「数分ではなく、数カ月に相当する時間、何かを考え、取り組むことができる」という能力を与えることができれば、その能力は飛躍的に向上するだろう。ここには膨大なオーバーハングがある。

今のところ、モデルにはまだこれができない。最近のロング・コンテキスト進歩をもってしても、このロング・コンテキストほとんどはトークンの消費にしか機能せず、トークン生産には機能しない。しばらくすると、このモデルはレールから外れたり、行き詰まったりする。しばらくの間、離れて単独問題プロジェクトに取り組むことはまだできない。

しかし、テスト時間計算を解除することは、単に比較的小さな「ホブリングしない」アルゴリズム勝利問題かもしれない。おそらく、少量のRLは、モデルエラー訂正(「うーん、これは正しくないようだ、再確認してみよう」)を学習したり、計画を立てたり、可能性のある解を探索したりするのに役立つだろう。ある意味モデルはすでに生の能力ほとんどを持っており、それをまとめるために、さらにいくつかのスキル学習する必要があるだけなのだ

要するに、私たちモデルに、困難で見通しの長いプロジェクトを推論させるシステムIIのアウターループのようなものを教えればいいのだ。

この外側のループを教えることに成功すれば、2、3段落の短いチャットボットの答えの代わりに、モデル問題を考え、ツールを使い、異なるアプローチを試し、研究を行い、仕事修正し、他の人と調整し、大きなプロジェクトを一人で完成させるような、何百万もの言葉ストリームあなたが読むよりも早く入ってくる)を想像してみてほしい。

他のML領域におけるテスト時間と訓練時間トレードオフ

続き I.GPT-4からAGIへ:OOMを数える(9) https://anond.hatelabo.jp/20240605210357

I.GPT-4からAGIへ:OOMを数える (7)

アンホブリング

最後に、定量化するのが最も難しいが、それに劣らず重要改善カテゴリーを紹介しよう。

難しい数学問題を解くように言われたとき、頭に浮かんだことを即座に答えなければならないとしたらどうだろう。最も単純な問題を除いて、苦労するのは明らかだろう。しかしつい最近まで、LLMにはそうやって数学問題を解かせていた。その代わり、私たちほとんどはスクラッチパッドで段階的に問題を解いていき、その方法はるかに難しい問題を解くことができる。「思考連鎖プロンプトは、LLMのそれを解き放った。生の能力は優れているにもかかわらず、明らかな足かせがあるため、LLMは数学が苦手なのだ

私たちはここ数年で、モデルの「足かせを外す」ことに大きな進歩を遂げました。これは単に優れたベースモデルトレーニングするだけでなく、アルゴリズムの改良によってモデル能力を引き出すものです:

足場作り。CoT++について考えてみよう:ただ問題を解くようモデルに求めるのではなく、あるモデル攻撃計画を立てさせ、別のモデル可能性のある解決策をたくさん提案させ、別のモデルにそれを批評させる、といった具合だ。例えば、HumanEval(コーディング問題)では、単純な足場作りによってGPT-3.5が足場なしのGPT-4を上回った。SWE-Bench(実世界ソフトウェアエンジニアリングタスクを解くベンチマーク)では、GPT-4は~2%しか正しく解くことができませんが、Devinのエージェントの足場があれば14-23%に跳ね上がります。(後ほど詳しく説明するが、エージェントのアンロックはまだ初期段階に過ぎない。)

ツール:もし人間電卓コンピュータを使うことを許されなかったらと想像してみてほしい。まだ始まったばかりだが、ChatGPTウェブブラウザを使ったり、コードを実行したりできるようになった。

エポックAIによる研究によると足場作りやツール使用など、これらのテクニックのいくつかを調査したところ、このようなテクニックは多くのベンチマークで通常5~30倍の効果的な計算量の向上をもたらすことがわかった。METR(モデル評価する組織)も同様に、同じGPT-4ベースモデルからのアンホブリングによって、エージェントタスクのセットで非常に大きなパフォーマンスの向上を発見しました。

https://situational-awareness.ai/wp-content/uploads/2024/06/metr_gains_over_time-1024x597.png

METRのエージェントタスクパフォーマンス。出典モデル評価と脅威研究


これらをコンピュートとアルゴリズム効率統一した実効的なコンピュート規模に当てはめることは困難ですが、少なくともコンピュート規模の拡大やアルゴリズム効率とほぼ同規模の大きな進歩であることは明らかです。(また、アルゴリズム進歩が中心的な役割を担っていることも浮き彫りになっています。0.5OOM/年の計算効率は、すでに重要ものではありますが、ストーリーの一部に過ぎません。)

「アンホブリング」こそが、実際にこれらのモデル有用になることを可能にしたのであり、今日多くの商業アプリケーションの足かせとなっているものの多くは、この種のさらなる「アンホブリング」の必要であると私は主張したい。実際、今日モデルはまだ信じられないほど足かせが多い!例えば

ここでの可能性は非常に大きく、私たちはここで急速に低空飛行の果実を摘んでいる。これは非常に重要です。"GPT-6 ChatGPT "を想像するだけでは完全に間違っていますGPT-6+RLHFと比べれば、進歩は段違いだ。2027年までには、チャットボットというより、エージェントのような、同僚のようなものが登場するだろう。

続き I.GPT-4からAGIへ:OOMを数える(8) https://anond.hatelabo.jp/20240605210232

I.GPT-4からAGIへ:OOMを数える (6)

データの壁

これらすべての重要な変動要因になりうるものがあります。つまり、より多くのスクレイピングデータでより大きな言語モデルをプリ・トレーニングするという素朴なアプローチが、まもなく深刻なボトルネックにぶつかり始める可能性があるということだ。

フロンティアモデルはすでにインターネットの多くで訓練されている。例えば、Llama 3は15T以上のトークン学習された。LLMのトレーニング使用されたインターネットの多くのダンプであるCommon Crawlは、生で100Tトークンを超えるが、その多くはスパムや重複である(例えば、比較的単純な重複排除は30Tトークンにつながり、Llama 3はすでに基本的にすべてのデータ使用していることになる)。さらに、コードのようなより特殊領域では、トークンの数はまだまだ少ない。例えば、公開されているgithubリポジトリは、数兆トークン推定されている。

データを繰り返すことである程度遠くまで行くことができるが、これに関する学術的な研究は、16エポック(16回の繰り返し)の後、リターンは非常に速く減少し、ゼロになることを発見し、繰り返しはそこまでしか得られないことを示唆している。ある時点で、より多くの(効果的な)計算を行ったとしても、データ制約のためにモデルをより良いものにすることは非常に難しくなる。私たちは、言語モデリング-プレトレーニング-パラダイムの波に乗って、スケーリングカーブに乗ってきた。大規模な投資にもかかわらず、私たちは停滞してしまうだろう。すべての研究室が、新しいアルゴリズム改善や、これを回避するためのアプローチに大規模な研究の賭けに出ていると噂されている。研究者たちは、合成データからセルフプレー、RLアプローチまで、多くの戦略を試していると言われている。業界関係者は非常に強気のようだ:ダリオ・アモデイ(Anthropic社CEO)は最近ポッドキャストでこう語った:「非常に素朴に考えれば、我々はデータ不足からそれほど遠くない[...]私の推測では、これが障害になることはない[...]。もちろん、これに関するいかなる研究結果も独占的なものであり、最近公表されていない。

インサイダー強気であることに加え、サンプル効率はるかに向上させたモデルトレーニングする方法(限られたデータからより多くのことを学べるようにするアルゴリズムの改良)を見つけることが可能であるはずだという強い直感的な理由があると思う。あなたや私が、本当に密度の濃い数学教科書からどのように学ぶかを考えてみてほしい:

モデルトレーニングする昔の技術は単純で素朴なものだったが、それでうまくいっていた。今、それがより大きな制約となる可能性があるため、すべての研究室が数十億ドルと最も賢い頭脳を投入して、それを解読することを期待すべきだろう。ディープラーニング一般的パターンは、細部を正しく理解するためには多くの努力(そして多くの失敗プロジェクト)が必要だが、最終的には明白でシンプルもの機能するというものだ。過去10年間、ディープラーニングがあらゆる壁をぶち破ってきたことを考えると、ここでも同じようなことが起こるだろう。

さらに、合成データのようなアルゴリズムの賭けの1つを解くことで、モデルを劇的に改善できる可能性もある。直感的なポンプを紹介しよう。Llama 3のような現在フロンティアモデルは、インターネット上でトレーニングされている。多くのLLMは、本当に質の高いデータ(例えば、難しい科学問題に取り組む人々の推論チェーン)ではなく、このようながらくたにトレーニング計算の大半を費やしている。もしGPT-4レベル計算を、完全に極めて質の高いデータに費やすことができたらと想像してみてほしい。

AlphaGo囲碁世界チャンピオンを破った最初AIシステム)を振り返ることは、それが可能だと考えられる何十年も前に、ここでも役に立つ。

LLMのステップ2に相当するものを開発することは、データの壁を乗り越えるための重要研究課題であるさらに言えば、最終的には人間レベルの知能を超える鍵となるだろう)。

以上のことからデータの制約は、今後数年間のAI進歩予測する際に、どちらに転んでも大きな誤差をもたらすと考えられる。LLMはまだインターネットと同じくらい大きな存在かもしれないが、本当にクレイジーなAGIには到達できないだろう)。しかし、私は、研究所がそれを解読し、そうすることでスケーリングカーブが維持されるだけでなく、モデル能力が飛躍的に向上する可能性があると推測するのは妥当だと思う。

余談だが、このことは、今後数年間は現在よりも研究室間のばらつきが大きくなることを意味する。最近まで、最先端技術公表されていたため、基本的に誰もが同じことをやっていた。(レシピが公開されていたため、新参者オープンソースプロジェクトフロンティアと容易に競合できた)。現在では、主要なアルゴリズムアイデアますます専有されつつある。今はフロンティアにいるように見えるラボでも、他のラボブレークスルーを起こして先を急ぐ間に、データの壁にはまってしまうかもしれない。そして、オープンソース競争するのがより難しくなるだろう。それは確かに物事面白くするだろう。(そして、ある研究室がそれを解明すれば、そのブレークスルーはAGIへの鍵となり、超知能への鍵となる。)

続き I.GPT-4からAGIへ:OOMを数える(7) https://anond.hatelabo.jp/20240605210017

I.GPT-4からAGIへ:OOMを数える (4)

OOMを数える

どうしてこうなったディープラーニング魔法は、それがただ機能するということであり、あらゆる場面で否定的意見にもかかわらず、その傾向線は驚くほど一貫している。

https://situational-awareness.ai/wp-content/uploads/2024/06/sora_scaling-1024x383.png

OpenAI Soraの例 計算量のスケーリング効果

効果的な計算OOMが増えるごとに、モデル予測通り、確実に良くなっていく。OOMを数えることができれば、能力の向上を(大まかに定性的に)推定することができる。そうやって、先見の明のある数人がGPT-4の到来を予見したのだ。

GPT-2からGPT-4までの4年間の進歩を、スケールアップの3つのカテゴリーに分解することができる:

1. コンピュート:計算:これらのモデルを訓練するために、より大きなコンピューターを使うようになった。

2.アルゴリズム効率化:アルゴリズム進歩には継続的な傾向がある。これらの多くは「コンピュート・マルチプライヤ」として機能し、有効コンピュート量の増加という統一された尺度に乗せることができます

3.「趣味のない」利益デフォルトでは、モデルは多くの素晴らしい生の能力学習しますが、あらゆる種類の間抜け方法で足かせとなり、実用的な価値制限されます人間フィードバックから強化学習(RLHF)、思考連鎖(CoT)、ツール、足場などの単純なアルゴリズム改善により、潜在的能力を大きく引き出すことができる。

これらの軸に沿って、改善の「OOMを数える」ことができる。つまり有効計算量の単位でそれぞれのスケールアップをトレースするのだ。3倍は0.5OOM10倍は1OOM、30倍は1.5OOM100倍は2OOMといった具合だ。2023年から2027年まで、GPT-4の上に何を期待すべきかを見ることもできる。

ひとつひとつ見ていくが、OOMの数を急速に増やしていることは明らかだ。データの壁には逆風が吹いている可能性があり、それについては後述するが、全体的には、2027年までにGPT-4の上に、GPT-2からGPT-4規模のジャンプがもう1回起こると予想される。

コンピュート

まず、最近進歩原動力として最もよく議論されている、モデルへの(大量の)コンピュート投入について説明します。

多くの人は、これは単にムーアの法則によるものだと考えている。しかし、ムーアの法則が全盛期を迎えていた昔でさえ、その進歩比較的緩やかなものでした。しかし、ムーアの法則が全盛期だった昔でさえ、10年で1~1.5OOMと、比較ゆっくりとしたスピードだった。(かつては1つのモデル100万ドルを費やすことさえ、誰も考えもしないことだった。)

モデル推定コンピュート 成長率
GPT-2 (2019) ~4e21 FLOP
GPT-3 (2020) ~3e23 FLOP + ~2 OOMs
GPT-4 (2023) 8e24~4e25 FLOP + ~1.5~2 OOMs

エポックAIによるGPT-2からGPT-4までの計算量の推定

エポックAIAIトレンドの優れた分析で広く尊敬されている情報源)の公開推定値を使用して、2019年から2023年までのコンピュートスケールアップを追跡することができますGPT-2からGPT-3へのスケールアップは迅速で、小規模な実験から大規模な言語モデルを訓練するためにデータセンター全体を使用するまでにスケールアップし、コンピュートのオーバーハングが大きくなりました。GPT-3からGPT-4へのスケールアップでは、次のモデルのためにまったく新しい(はるかに大きな)クラスタを構築しなければならないという、最新の体制に移行しました。それでも劇的な成長は続いていますエポックAIの試算によると、GPT-4のトレーニングでは、GPT-2の3,000倍から10,000倍の計算量を使用しています

大雑把に言えば、これは長期的なトレンド継続に過ぎない。過去10年半の間、主に投資(およびGPUやTPUの形でAIワークロードに特化したチップ)の幅広いスケールアップのため、フロンティアAIシステム使用されるトレーニング計算量は、およそ〜0.5OOM/年で成長してきた。

https://situational-awareness.ai/wp-content/uploads/2024/06/compute_long_run_trend-1024x968.png

注目すべきディープラーニングモデルトレーニングコンピュートの経年変化。出典エポックAI

GPT-2からGPT-3への1年間のスケールアップは異例のオーバーハングであったが、長期的なトレンドが続くことは間違いない。SF-rumor-millは、巨額のGPU受注の劇的な話で一杯だ。その投資は並大抵のものではないが、動き始めている。

この分析によれば、2027年末までにさらに2OOMsのコンピュート(数十億ドル規模のクラスター)が実現する可能性は非常に高いと思われる。さらに+3OOMsのコンピュート(1,000億ドル規模以上)に近いクラスターも可能性がありそうだ(マイクロソフト/OpenAI計画中と噂されている)。

https://situational-awareness.ai/wp-content/uploads/2024/06/stacked_compute-1024x866.png

続き I.GPT-4からAGIへ:OOMを数える(5) https://anond.hatelabo.jp/20240605205449

I.GPT-4からAGIへ:OOMを数える (2)

この4年間

私たちは今、基本的人間のように会話できるマシンを手にしている。これが普通に思えるのは、人間適応能力の驚くべき証であり、私たち進歩のペースに慣れてしまったのだ。しかし、ここ数年の進歩を振り返ってみる価値はある。

GPT-2からGPT-4へ

GPT-4までのわずか4年間(!)で、私たちがどれほど進歩たかを思い出してほしい。

GPT-2(2019年)~未就学児:"わあ、もっともらしい文章をいくつかつなげられるようになった"アンデス山脈ユニコーンについての半まとまり物語という、とてもさくらんぼのような例文が生成され、当時は信じられないほど印象的だった。しかGPT-2は、つまずくことなく5まで数えるのがやっとだった。記事を要約するときは、記事からランダムに3つの文章選択するよりもかろうじて上回った。

当時、GPT-2が印象的だった例をいくつか挙げてみよう。左:GPT-2は極めて基本的な読解問題ではまあまあの結果を出している。右:選び抜かれたサンプル(10回試したうちのベスト)では、GPT-2は南北戦争についてある程度関連性のあることを述べた、半ば首尾一貫した段落を書くことができる。

https://situational-awareness.ai/wp-content/uploads/2024/06/gpt2_examples-1024x493.png

当時、GPT-2について人々が印象に残った例をいくつか挙げます。左: GPT-2は極めて基本的な読解問題でまあまあの仕事をする。右: 厳選されたサンプル(10回試したうちのベスト)では、GPT-2は南北戦争について少し関連性のあることを言う、半ば首尾一貫したパラグラフを書くことができる。

AI能力人間の知能を比較するのは難しく、欠陥もあるが、たとえそれが非常に不完全なものであったとしても、ここでその例えを考えることは有益だと思う。GPT-2は、その言語能力と、時折半まとまり段落を生成したり、時折単純な事実質問に正しく答えたりする能力で衝撃を与えた。未就学児にとっては感動的だっただろう。

GPT-3(2020年)~小学生:"ワオ、いくつかの例だけで、簡単な便利なタスクができるんだ。"複数段落一貫性を持たせることができるようになり、文法修正したり、ごく基本的計算ができるようになった。例えば、GPT-3はSEOマーケティング用の簡単コピーを生成することができた。

https://situational-awareness.ai/wp-content/uploads/2024/06/gpt3_examples-1.png

GPT-3について、当時の人々が印象に残った例をいくつか挙げてみよう。上:簡単な指示の後、GPT-3は新しい文の中で作られた単語を使うことができる。左下:GPT-3は豊かなストーリーテリングを行ったり来たりできる。右下:GPT-3は非常に簡単コードを生成できる。

GPT-3はSEOマーケティング用の簡単コピーを生成することができた。上:簡単な指示の後、GPT-3は新しい文章の中で作られた単語を使うことができる。左下:GPT-3は豊かなストーリーテリングを行ったり来たりできる。右下:GPT-3は非常に簡単コードを生成できる。

繰り返しになるが、この比較は不完全であるしかし、GPT-3が人々に感銘を与えたのは、おそらく小学生にとって印象的だったことだろう。基本的な詩を書いたり、より豊かで首尾一貫した物語を語ったり、初歩的なコーディングを始めたり、簡単な指示やデモンストレーションからかなり確実に学習したり、などなど。

GPT-4(2023年)~賢い高校生:「かなり洗練されたコードを書くことができ、デバッグを繰り返し、複雑なテーマについて知的で洗練された文章を書くことができ、難しい高校生競技数学を推論することができ、どんなテストでも大多数の高校生に勝っている。コードから数学フェルミ推定まで、考え、推論することができる。GPT-4は、コードを書く手伝いから草稿の修正まで、今や私の日常業務に役立っている。

https://situational-awareness.ai/wp-content/uploads/2024/06/gpt4_examples-3.png

GPT-4がリリースされた当時、人々がGPT-4に感銘を受けた点をいくつか紹介しよう。上:GPT-4は非常に複雑なコードを書くことができ(中央プロット作成)、非自明数学問題を推論することができる。左下:AP数学問題を解く。右下:かなり複雑なコーディング問題を解いている。GPT-4の能力に関する調査からの興味深い抜粋こちら。

AP試験からSATに至るまで、GPT-4は大多数の高校生よりも良いスコアを出している。

もちろん、GPT-4でもまだ多少ばらつきがある。ある課題では賢い高校生よりはるかに優れているが、別の課題ではまだできないこともある。とはいえ、これらの限界ほとんどは、後で詳しく説明するように、モデルがまだ不自由であることが明らかなことに起因していると私は考えがちだ。たとえモデルがまだ人為的な制約を受けていたとしても、生のインテリジェンスは(ほとんど)そこにある。

https://situational-awareness.ai/wp-content/uploads/2024/06/timeline-1024x354.png

わずか4年間の進歩あなたはこのラインのどこにいるのだろうか?

続き I.GPT-4からAGIへ:OOMを数える (3) https://anond.hatelabo.jp/20240605204704

anond:20240605174616

ここ直してで自分の拘りを曲げない編集者にブチ切れる漫画家の話なんか腐る程ある&それを悪手と学習していった奴しか残らない感じになってんのが漫画編集者界隈って感じだなぁ。

直し談義の際にベテラン自分には漫画を一から一人で完成させる能力は無いので、先生の手助けまでが自分仕事云々みたいな話をしてこなかった奴はいない。

anond:20240605102617

それ、AIでなくてアルゴリズムでできるよ

AI」と「アルゴリズム」で分けて認識してるのかなり独特だな。

AIだってアルゴリズム一種だぞ。

大方、学習有りか無しかで分けてるつもりなんだろうけど、その割には線形回帰とかはAIとは言わない!と思ってそうな感じだし。

anond:20240604202054

今の大量生産品も手作業で作る職人いるから、学習元には困らない。ただそういった一流の職人以外は淘汰される。

具体的に絵師で言えばフォロワー30万人以下、もしくは平均いいね数1万以下の絵師絵師で無くなる。

個人経営で始めた飲食店が売れずに潰れるのと同じ。相当腕が良くないと安価大量生産できるチェーン店には勝てない。

絵師は今まで雑魚でもそれが潰されずに続けられていたけど潰される時代が来たんだよ

発達障害増田

英語を使ったことを揶揄したのではなく、

英語を直訳の日本語にしてそのまま使ってたので、

違和感すごくて笑っただけです

日本人技術者はそういう言い回しをしないのでバレます

同じように機械翻訳も、英語学習した人からすると言い回しおかしいのでバレます

まりニワカの半可通であることが全方位にばれているのです

モテ論争だかなんだか知らんが

結局どうすればモテんだかわかんねえだろこれじゃあよ〜!!!

とキレキレになったので自分なりにまとめてみたぞ!!!!!!

そもそもゴールはどこか?

モテる、彼女を作るといっても

・誰でもいいからヤッてみたい(その状態を維持したい)

・心から安心していられる一生のパートナーがほしい

ではやるべきことが全然違ってくる

ここをごっちゃにしたままだから、「人として見ろ」と「ヤリチンは人として見なくても大丈夫じゃん。人としてみるとか綺麗事」が錯綜してしまうのである。(まあ元ヤリチンが一生のパートナーを得ている場合もあるが、希であると思う。大体映画の愚行録で殺された夫婦みたいになりがちだ)

というわけで、まずゴールを決めよう

この時非モテ努力するのが苦しいあまり「いつでもいっぱいヤレて一生安心できるパートナーがほしい!見た目も超タイプで!」とか求めだしてしま

しか普通は全部一気には無理なので、「まずはつきあえたらいいな」とか「ヤリまくるのは無理でも心の繋がりが持てたら」とか「性格が最悪で多少歳いって太っててもいいからせめて顔は死守したい…」とか決めてスモールステップするといい

▼ゴールが決まったら、ここからアプローチ方法を考えていく

・ヤリたい、とりあえず経験として異性とつきあってみたい派

→ガワから入るといい。一般的モテ動作、話し方、ファッション友達作りなど頑張るといい。自分はあまり好きではないが、ここにおいては恋愛工学有用かもしれない。

こういう恋人作りを批判する人もいるだろうが、女でも「寂しいし誰でもいいか彼氏欲しい」タイプ存在するので、そういう相手マッチングする分にはなんら問題ないと思う。

・ある程度長期的なパートナーがほしい派(または上記方法でうまくいかない時)→自己分析のターンに入る

自己分析のターン

パートナーがほしい!となった時に重要になるのが、「自分相手から何が欲しいのか?」「自分は何を相手にあげられるか?」という分析である

・何が欲しいのか

個人的には「可愛がられたい」か「可愛がりたい」かで分けるとわかりやすいと思う

自分を取り繕えない、嘘つけない、よく見せることに罪悪感のあるタイプは大抵「可愛がられたい」だ。とにかくありのまま受け入れられたい。

そういうタイプが探すべきは「懐の深い」「情にあつい」「優しい」「偏見の少ない」タイプだ。

一方で「可愛がりたい」タイプターゲットにできる層が厚い。可愛い!と思うタイプが広ければ広いほど枠は広がる。ただ可愛い!と思うタイプ一般的美少女とかモデルとか倍率が高いものになると途端に厳しくなるのでご注意。

自分は可愛がられたい/可愛がりたいからこの辺のタイプがよさそ〜とわかったら次は「何をあげられるか?」を考えよう。

・何をあげられるか

恋愛とはお互いがwin状態になって初めて成り立つものである。「自分と付き合うことで相手にどんな益が生まれるのか?」を考え提供しなければまず成功はしない。

ここで「そんなん金があればいいんだろ!」となって稼ぐことに必死になってしまう人は大抵モテない。女は金だけで釣られるわけではない。大体金だけで釣られる女がきても嬉しくないだろう。(そんなこんなで医者の知り合いは合コン身分を隠すようになってしまった)

俺みたいな非モテ、益なんて与えられねー!金くらいしかない!と思ってしまう人もいるかもしれないが、落ち着いて考えて欲しい。世の中、当たり前にあるものが実は宝だったりする。

例えば、のんびりしたおおらかな性格なら「リラックスした穏やかな時間」をあげられる。

キチっとした性格なら「整理整頓されたスマート生活」を提供できる

映画オタクだったら「映画豊富知識」。料理好きなら「美味しいもの」などなど…本当に小さくてもいいので「これならちょっとはあげられる」というものを見つけてみよう。卑屈にならず長所を見つけまくろう。

そうすると多少見えてくるはずだ。

おおらかな人なら、ちょっと気難しいタイプや気が強いタイプ必要とされそう

キチっとした人なら、そういうのに憧れるズボラタイプ必要とされそう

映画オタクだったら、芸術好きで好奇心旺盛なタイプ必要とされそう

料理好きなら、食べるの好きなタイプ必要とされそう

のようなような

そこまでわかったらあとはトライである

そういう子がいそうな場所に行くのだ。もしくはマッチングアプリでそういうタイプを探すのだ。

(恋愛目当てに行くなんて社会人サークル荒らしみたいでイヤッ!という方はマチアプ全力投球で頑張るのもあり)

そしてようやくここ…っ

ようやくここから相手に人として接する」が始まる!!!!(パンパカパー)

結局人としてってどゆことやねんであるが、簡単にいうと「その人個人として見る」ということである

女は(誰でもいいけど付き合いたい勢を除き)基本、体目当てで寄ってこられて消費されるのを嫌う。「女なら誰でもいい」系の男は相当アウトローな魅力がない限り蛇蝎のごとく嫌われる。

その辺わからず「かわいいから〜」「好みだから〜」というテンション最初から異性として意識してまーす!という匂い漂わせ近づくと「こいつ顔と体しか見てねえだろ!」と思われ嫌悪感を持たれてしまうのである

からあれだな、「人としてみる」は「女として見すぎない」でもある。

いきなり向けられる好意は、それがもし純粋ものだとしても、女性からしてみたら「なんで話もしてないのにこんなに好いて来るの?」→「顔と体で寄ってきたんじゃないか?」と不信感を抱かせる。

なのでまあ、しっかり関係を構築したいなら、初手から好意を見せるのは悪手である。どんなに見た目がタイプアタックしたくても、まずは相手の中身、パーソナルについて触れていく方が勝率が高い。

!!!パーソナルを掘る相手可愛い子ばかりだと、「こいつ結局…」とモロにバレるので注意が必要だ。

普段からいろんな人に興味を持ち、コミュニケーションを取っていくことでこの露骨さは消えるので、モテたいなら友達積極的に作っていこう。あと単純にたくさん友達作るとコミュニケーション経験値が上がるし、いろいろとFBをもらえるようになるしいいことづくしである。それができたら苦労しねえ!という方は、好意を隠す訓練を頑張るしかない

そしてここまでくるとあの考え…「それだとぬいペニになるのでは?」が浮かぶはずだ。

もちろんその可能性はある。ただ、考えても見て欲しい。「ごめんそういう気持ちはなくて友達だと思ってた」は女でも男でも好意を見せた時に発生する確率のあるイベントである

まり…起こるものは起こる!!!!ある程度みんなある!!!!!

ただ、ぬいペニを起こさなテクはある。それがどっかの増田も書いていたが「徐々に好意を見せていく」という手だ。

例えば一緒にご飯を食べに行った時、「◎◎さんて美味しそうに食べるよね」とか「字が綺麗だよね」とか「いつもきちんとしてるよね」とか褒める。ふんわりと「あなたのこといいなーと思ってるよ」と伝えるのである

この辺りで反応を見る。嬉しそうだったら多少脈アリ、簡素な返事だったり距離を置かれたりしたら脈なしなので残念ながら次に行こう。

脈アリそうならもうちょっと褒めてみる。「髪型凝ってるね!すごい!」「笑ってる顔可愛いって言われない?」「その本読んでみたいな」

こうやって少しずつ「大丈夫かな?嫌じゃないかな?」と近づいていく。(もし嫌がったら「ごめんね」と離れること。それがセクハラをしないために必要なことである)

そして最終、「◎◎さんの恋人幸せだろうな」とか「ふたりきりで行きたいところがあるんだ」等に乗ってきてくれるようになったらあとはゴー!である

これをせずただ友達として過ごし、ある日突然好きだと言っても相手も面食らってしまう。「そういう相手だと思ってなかった」となってしまう。

なので「あ、この人自分のこと好きそうだな」と微妙に気づかせるため、好きの種を蒔いておくといい。

更に言えばこの際に、「日曜はおれ美味しいご飯いっぱい作るよ」とか「おすすめ映画まくろう」とか付き合ったらどうなるかをイメージさせられるとよい

(まあここまでやっても好意理解しない恐るべし鈍感女もいるので、そういうのに当たった場合は運が悪かったと思って次にいこう…)

ここまでくればかなり目的に近づけると思うが…それでもたまに「いい人だとは思うんだけど」となってしまう人もいるだろう。

そんな人に足りないのは、ズバリ、「ドキッとさせる力」である

これは男性なら少女漫画女性なら男性向け恋愛漫画を読んである程度ドキっとパターン学習することをおすすめする。

基本はこの二択だ

1、ワガママだったり我の強いヤツが強引にくるor自分にだけ弱い顔を見せる

2、真面目で優しい子が、自分にだけ男っぽい(女っぽい)側面を見せる

非モテは基本2で攻めるといいと思う。いつもふにゃっとした男が「◎◎さん大丈夫!?」とかっこよく駆けつけたりしたらやはりドキーッとする。

そんなシーンないがな!という場合は「エスコート風の動作」が効果的だ。車道側に立つ、エスカレーターで登る時後ろに立つなど、「女性として大事にしていますよ」ということを動作で伝えるだけでだいぶ好印象だ。女性ならたまに裾を掴むとか、もしできちゃうなら肩とかくっつけてしまうのもいい。性的な魅力をちょっとアピールするのだ。

男性で手が骨張ってたりしたら、楽器を弾くところやPCを叩くところを見てもらうのもいい。女は大抵かっこいい手が好きなので。イケボならカラオケ効果的!

…そしてここまでやってようやく彼女彼氏ができる…というわけでもない。

人間関係は良くも悪くも所詮相性である。巡り合わせが悪ければどうにもならない。

でもそれは裏を返せば、振られてもそれは本人の問題というより相性の問題であると割り切れるということでもある。

非モテはここですぐ自己否定された気になって異性を恨み出してしまうのだが、それは無駄行為である。なんせ合う異性もいれば合わない異性もいる。それだけの話であるモテ男は大変例外的ものだ。)

なので、いつか巡り合うその日のため、自分のペースで少しずつ進んでいくのが良いと思う。自分を責めたり異性を責めたりしてもあまりいい方向にはならんので。

…と長々書いてしまったが、参考になっただろうか。上から目線のクソバイスと思う人もいるかもしれないが、一応私なりに非モテの皆さんの幸せを願って書いたので、一人にでも役に立ったら幸いだ。

頑張れ非モテ恋人ができたからといって必ず幸せになるわけではないが、それでもその経験あなた人生を豊かにするぞ!グッドラック!!

2024-06-04

anond:20240604224411

こういう風に発狂する奴って放置して良いことないんだもん。引いてやると変な学習ちゃう。まあ押しても良い経験にはならないんだけど…

anond:20240604215245

学習元の絵を描く絵師自体が手を描くのをめんどくさがるので進化しません

anond:20240604112624

4.学習しない

5.自分を顧みない

追加で。

偉そうなブコメたくさんついてて草

というかそもそも元凶スター。アレがあかんのよな。適当に気分で押してるだけ=嬢は仕事で褒めてるだけなのにスターがいっぱいついたら「自分ものすごく影響力がある」みたいな錯覚をしてさら増長する。

anond:20240604193438

同じならわざわざ手描きする人間なんか物好きだけになるだろうが、結果学習元が無くなってAI進歩も止まる、金の卵を産むガチョウを食べる愚そのままだな

anond:20240604170140

他人の成果をパクって生成する」とか言ってる人もいるけど、それまんま二次創作承認欲求と金儲けしてる奴にも言えるよね。

二次創作と生成AIは別物定期

二次創作ってWin-Winなんだよね。書いた側は、版権知名度あやかって閲覧数伸ばせる。書かれた側は露出が増えて話題性獲得。だから公式販路を潰さない限り」黙認、あるいは推奨されてるわけ。ブルアカなんかはまさにこの例の展開。あの覇権っぷりは二次創作なしには説明できないね

で、生成AIはどうかっていうと。基本的に生成した本人が明言しない限り、学習元は明らかにならない。まず、この時点で学習元にメリットはないよね。生成された画像を見て、学習元の絵師作品を見に行こう!とはならない。これが大きな違いなわけ。

LoRAとかの特定絵師を明言したモデルもあるけど、そのモデルから学習元への絵師を見に行こう!となるルートも十分に整備されてない。タダ乗りって言われても仕方ないわけ。だからまぁ、二次創作と一緒にしちゃだめだよ。二次創作は成果をパクってるだけじゃなく、元も成長させる。生成AIはいまのところ、元を成長させない。だからパクってるだけと言われても仕方ないのが現状。

anond:20240604162307

日本の実写が衰退した理由がよく分かる

アニメ漫画視聴者からツッコミでどんどん学習していくけどドラマ業界人学習能力がない

anond:20240604170652

ジェンダー的な振る舞いは「オリジナルなきコピー」であり、男性男性的な、女性女性的な振る舞いを社会において学習し、見様見真似で演技しとるだけなんやで。

はてなって万年弱者議論してんだ?ネットで完結するわけないのに、相も変わらず同じこと続けてるの謎い

人類の大半って学習能力ないんだなってのがよくわかる。同じことしてるって気づいてなさそうだし。

ログイン ユーザー登録
ようこそ ゲスト さん