はてなキーワード: オープンソースとは
これらすべての重要な変動要因になりうるものがあります。つまり、より多くのスクレイピング・データでより大きな言語モデルをプリ・トレーニングするという素朴なアプローチが、まもなく深刻なボトルネックにぶつかり始める可能性があるということだ。
フロンティア・モデルはすでにインターネットの多くで訓練されている。例えば、Llama 3は15T以上のトークンで学習された。LLMのトレーニングに使用されたインターネットの多くのダンプであるCommon Crawlは、生で100Tトークンを超えるが、その多くはスパムや重複である(例えば、比較的単純な重複排除は30Tトークンにつながり、Llama 3はすでに基本的にすべてのデータを使用していることになる)。さらに、コードのようなより特殊な領域では、トークンの数はまだまだ少ない。例えば、公開されているgithubのリポジトリは、数兆トークンと推定されている。
データを繰り返すことである程度遠くまで行くことができるが、これに関する学術的な研究は、16エポック(16回の繰り返し)の後、リターンは非常に速く減少し、ゼロになることを発見し、繰り返しはそこまでしか得られないことを示唆している。ある時点で、より多くの(効果的な)計算を行ったとしても、データ制約のためにモデルをより良いものにすることは非常に難しくなる。私たちは、言語モデリング-プレトレーニング-パラダイムの波に乗って、スケーリングカーブに乗ってきた。大規模な投資にもかかわらず、私たちは停滞してしまうだろう。すべての研究室が、新しいアルゴリズムの改善や、これを回避するためのアプローチに大規模な研究の賭けに出ていると噂されている。研究者たちは、合成データからセルフプレー、RLアプローチまで、多くの戦略を試していると言われている。業界関係者は非常に強気のようだ:ダリオ・アモデイ(Anthropic社CEO)は最近、ポッドキャストでこう語った:「非常に素朴に考えれば、我々はデータ不足からそれほど遠くない[...]私の推測では、これが障害になることはない[...]。もちろん、これに関するいかなる研究結果も独占的なものであり、最近は公表されていない。
インサイダーが強気であることに加え、サンプル効率をはるかに向上させたモデルをトレーニングする方法(限られたデータからより多くのことを学べるようにするアルゴリズムの改良)を見つけることが可能であるはずだという強い直感的な理由があると思う。あなたや私が、本当に密度の濃い数学の教科書からどのように学ぶかを考えてみてほしい:
モデルをトレーニングする昔の技術は単純で素朴なものだったが、それでうまくいっていた。今、それがより大きな制約となる可能性があるため、すべての研究室が数十億ドルと最も賢い頭脳を投入して、それを解読することを期待すべきだろう。ディープラーニングの一般的なパターンは、細部を正しく理解するためには多くの努力(そして多くの失敗プロジェクト)が必要だが、最終的には明白でシンプルなものが機能するというものだ。過去10年間、ディープラーニングがあらゆる壁をぶち破ってきたことを考えると、ここでも同じようなことが起こるだろう。
さらに、合成データのようなアルゴリズムの賭けの1つを解くことで、モデルを劇的に改善できる可能性もある。直感的なポンプを紹介しよう。Llama 3のような現在のフロンティアモデルは、インターネット上でトレーニングされている。多くのLLMは、本当に質の高いデータ(例えば、難しい科学的問題に取り組む人々の推論チェーン)ではなく、このようながらくたにトレーニング計算の大半を費やしている。もしGPT-4レベルの計算を、完全に極めて質の高いデータに費やすことができたらと想像してみてほしい。
AlphaGo(囲碁で世界チャンピオンを破った最初のAIシステム)を振り返ることは、それが可能だと考えられる何十年も前に、ここでも役に立つ。
LLMのステップ2に相当するものを開発することは、データの壁を乗り越えるための重要な研究課題である(さらに言えば、最終的には人間レベルの知能を超える鍵となるだろう)。
以上のことから、データの制約は、今後数年間のAIの進歩を予測する際に、どちらに転んでも大きな誤差をもたらすと考えられる。LLMはまだインターネットと同じくらい大きな存在かもしれないが、本当にクレイジーなAGIには到達できないだろう)。しかし、私は、研究所がそれを解読し、そうすることでスケーリングカーブが維持されるだけでなく、モデルの能力が飛躍的に向上する可能性があると推測するのは妥当だと思う。
余談だが、このことは、今後数年間は現在よりも研究室間のばらつきが大きくなることを意味する。最近まで、最先端の技術は公表されていたため、基本的に誰もが同じことをやっていた。(レシピが公開されていたため、新参者やオープンソースのプロジェクトはフロンティアと容易に競合できた)。現在では、主要なアルゴリズムのアイデアはますます専有されつつある。今はフロンティアにいるように見えるラボでも、他のラボがブレークスルーを起こして先を急ぐ間に、データの壁にはまってしまうかもしれない。そして、オープンソースは競争するのがより難しくなるだろう。それは確かに物事を面白くするだろう。(そして、ある研究室がそれを解明すれば、そのブレークスルーはAGIへの鍵となり、超知能への鍵となる。)
続き I.GPT-4からAGIへ:OOMを数える(7) https://anond.hatelabo.jp/20240605210017
二日前にMetaがオープンソースの大規模言語モデルのLlama3を出した。
一つ前のモデルLlama2は色々なオープンソースモデルの基となっていたモデル。このモデル性能良いねと思って見たら、Llama2をいじったモデルだったことがよくあった。
今回も、2つのモデルが発表された。70Bと8Bモデル。70Bモデルともなると、ほぼ個人のパソコンでは動かないだろうけど、性能については、LLM のリーダーボードで最初期のGPT-4 を超えている。
LLMの最重要論文とも言われる"Attention is all you need."の著者の一人の会社が出したモデル"Command R+"が性能が良くて話題になっていた。これもオープンソースだが、今のところこのモデルにも勝っている。このレベルのモデルがオープンソースであるということはとても価値がある。
ここ一、二ヶ月でようやくGPT-4 と互角に戦えるモデルが出てきた。一時期はClaud3がGPT-4を追い抜いた程だ(OpenAI が本気を出してGPT-4を強化して追い抜き返したんだけど)。もうGPT-4が出て1年が過ぎた。研究者やリソースなどは過去に類を見ない程注ぎ込まれたと思うが、GPT-4と同じ性能のモデルはほぼ1年経たないと出てこなかった。OpenAIの凄さがわかる。GPT-4か出てきた当初はあまりの性能の良さに本当にシンギュラリティが起きたんじゃないかと驚愕したが、一年使い続けると、粗やら推論能力の低さに気が付いてくる。今年中に出るであろう、GPT-5に期待だ。
私「GoogleAnalyticsでいいですか?」
敵「いや、そう言う外部サービスは使いたくない。自社で開発しろ」
私「そもそもうちの開発、オープンソースをさくらに導入してちょっとデザインいじるくらいしかできないじゃないですか?」
敵「AIを活用すれば小学生でもプログラム書けるんだからできるだろ、やれ」
死ね「私」
生成AIに使われるのが嫌なら一番いいのは
だと思うけどぶっちゃけもう手遅れなんだよな。
現状膨大なタグ付けされた学習データがあるからそれを元にAIがある程度自動的にタグ付けしてくれる。
あとブラウザが表示してる時点でdataで突っ込もうがcanvasに描こうがデータは手元にあるしchromiumはオープンソースだしで一番厄介な本腰入れてやるやつらには意味がない。むしろ誰でもある程度の機材と知識があればできる状態じゃないってことはそいつらが金稼ぎやすくなってるだけ。
そもそも絵はダメだけどTransscribeやTranslateは使うぜってスタンスがダブスタすぎる。AIと生成AIという区分けしたがるタイプは大体コレ。
PowerShellでGitコマンドを実行できるようになりました。この進歩は、技術の進化に対する感慨深い思いを抱かせますね。
Windows環境でGitをインストールし、WSLの使用を最小限に抑えることは、開発効率を高める一つの方法です。しかし、Linuxベースのメールユーザーエージェントに慣れている場合、同等のWindowsアプリを見つけることは挑戦的かもしれません。K-9 Mailのようなアプリケーションは、そのオープンソースの性質と高度な機能性で人気がありますが、Windows用の類似アプリは少ないのが現状です。ただし、Androidエミュレータを使用してPC上でK-9 Mailを動作させる方法があります。また、Windows 11のメールクライアントに関する詳細なレビューとおすすめのアプリケーションリストがあり、これらはK-9 Mailの代替として検討できるかもしれません。
周りがある程度優秀なプログラマーに囲まれててクソコードに遭遇してない
まぁ、幸せな人だと思うな
「どうして人間はこんな愚かな発想でコードを書いてしまうのか」
という感想を持つし、その中でオブジェクト指向が一つの解だと理解する
人間は間違いを犯す生き物で、愚かな発想で愚かなコードを書いてしまう、という前提に立って
間違いにくく間違えることができないようにしよう、というのがオブジェクト指向の目指しているところであって
「プログラムとは何か」みたいなアホみたいなことはこれっぽっちも考えてないよ
IT業界は"民主化"という言葉を使うし、その定義は一般とはたしかに異なる。しかし、ここでの民主化とは、ツールへのアクセスが容易になることを指す。
たとえば、生成AIにおいては、以前はモデルが提供されていたものが、ChatGPTなどの対話型フロントエンドが利用可能になり、誰もがGPTモデルを使えるようになることを言う。
重要なのは、アクセス容易性を民主化と呼んでいるのあり、ツールから得られる利益の平等な分配を目指しているわけではない。
むしろ、アクセスの容易性は競争を刺激することが目的で利用されることが多い。利用には才能は必須である。
それを理解していれば、"才能の民主化"という謎のキーワードを使うわけがない。
勘違いを招く原因の一つは、オープンソースソフトウェアに見られるゆるふわ共産圏の考え方である。ただし、OSSの成功は、ソフトウェアがデジタルデータであり複製が容易であるという資源問題の解決によってもたらされている。
資源の平準化によって成立しただけであり、資産の平準化など目的とはしていないのである。ましてや、開発者の権利が消えてるわけではなく、むしろ厳重に尊重するのがオープンソースの考え方である。
既得権益扱いして権利や資産の解放の道具に使おうなどという頭の悪い奴がなぜ推進サイドという技術者よりの世界に沸いてるか本当に謎である。
OSSなどは雑草のように草むらから勝手に生えてくることなどないのである。開発者やメンテナの彼らの多大な努力の上にかろうじて存在しいてる砂上の城だ。
全体への貢献度と個人の努力を天秤にしてたまたま収まっている歪な関係でしかない。個人を蔑ろにしてよいどころか個人への貢献への還元はむしろ大きな課題なのである。
絵師の立場とOSSの開発者は似ている部分がある。彼らの貢献によって応用的効果を私達が受けている。ただし、開発者が自らその立場を選んでるいるのに対して、絵師は選択肢も与えられてないというのは、やはり不自然な流れなのは当然なのだ。
元の怪文章から感じる最大の違和感は、技術推進をしているサイドでありながら、IT技術が20年もかけた課題に対して一切の無頓着であり、IT技術者としてもお気持ち表明したくなるところにある。
また、さらに推進派の言う既存の法律で十分主張も馬鹿らしい。情報処理の基本リテラシーに、容易性の課題がある。 複製性や伝播性などのそれである。
複製容易で言えば、紙に描く絵を真似るための努力と、コピーペーストによって複製するそして公開されるというのは全く別なのである。
個別の複製そのものは既存の法律で容易に解決できるものである。しかし、デジタルによる複製容易を持つとそれまでは難しかった問題が解決することで様々な副次的な効果が重なり応用的な問題が発生するのが当たり前なのである。
AIは複製容易とは言い切れないが類似の何からの容易性を獲得しているのである。だからこそ、メリットも大きわけでしょう。定義さえ難しい新たな容易性の可能性による応用的な状況なんて普通慎重になるのが当たり前。
情報処理の単位一つでもあったら確実にやる超基本の基本で、この程度が抜け抜けで、"議論"など言ってるのが非常に怖い。
もし君らが、技術を推進しIT技術者を名乗るなら、やるべきことは話し合いではない。
なにが起きているのか何が既存とは異なるのか。それがどのような応用的作用を産んでいるのか、それが逆にどんな応用的問題を産んでいるのか。
注意深く観察することことそが、議論の最初である。ましてや、誰かの発言を叩き潰すただの嫌がらせや暴挙を議論議論と呼んでる場合じゃない。
NVIDIAと、インテル・IBMはどうして差がついたのか、疑問に思う。
AIはニューラルネットワークを模倣していると言われ、ニューロモーフィックというチップを、IBMは作り、その後、メンバーが移籍してインテルも作った。
現在、ニューラルネットワークとは違うものになったが、勝っているのはNVIDIAになっている。
先日、1.58bitのBitNetが話題になったが、LLMではないが昔BinaryConnectで0.68bitまで下げる案を出したのもIBMのメンバーだ。
ハッカーニュースでBitNetについてIBMだった人がコメントしている。IBMはそれなりに早かったはずだ。
https://news.ycombinator.com/item?id=39544500
普通のGPUの会社だと、ゲーム用のGPUボードだけを作っていたと思うが、NVIDIAは色々と手を出している。
データ プロセシング ユニット (DPU)、InfiniBand、NVIDIA MetroXなど、
HPC向けで、インテルやAMD、IBMの方が得意だろうという分野まで手を出した。
RTX 4090はゲームするにはバカ高いがAI向けには性能不足で、単価が高いAI向けボードを売るという差別化も出来ている。
ファブレス企業だから、というだけでは説明不足で、TSMCにNVIDIA向けのカスタムプロセスを作らせることが出来ている点が差別化要因の1つだろう。
TSMCから出てくるデザインルールの通りにしか作らないと、どこの会社も似たりよったり性能になってしまう。
物理限界を他社(TSMC)に投げてしまうというのも、経営としては効いているのだろう。
そして物理限界のチップサイズを攻める。電力も物理限界を攻める。
日本の会社だと、電力のバカ食いで怒られるが、そこも攻めている。
インテルはGPUカードに参入したが、AI向けだけに限定した方が良かったのではないだろうか。
中国GPUメーカーがコケているのに対して、動いているだけでも流石インテルなのだが、競争力のあるGPUとは言えず、参入した意味とは?になってしまっている。
量産ではない先端プロセスは持っているし、特殊なチップも作れている。
CPUについてはPower関係の資産もあり、AI向けもユニークなのが作れているのに、ぱっとしなくなった。
RISC-Vが上手くいくのであれば、OpenPowerも上手くいくと思うのだが、そういう話も聞かない。
そもそも米中関係で、オープンソースのCPU/GPUが禁輸されそうな感じもしている。
結局、量子コンピュータについてもまだまだ先になりそうな雰囲気だ。