「オープンソース」を含む日記 RSS

はてなキーワード: オープンソースとは

2024-06-05

I.GPT-4からAGIへ:OOMを数える (6)

データの壁

これらすべての重要な変動要因になりうるものがあります。つまり、より多くのスクレイピングデータでより大きな言語モデルをプリ・トレーニングするという素朴なアプローチが、まもなく深刻なボトルネックにぶつかり始める可能性があるということだ。

フロンティアモデルはすでにインターネットの多くで訓練されている。例えば、Llama 3は15T以上のトークン学習された。LLMのトレーニング使用されたインターネットの多くのダンプであるCommon Crawlは、生で100Tトークンを超えるが、その多くはスパムや重複である(例えば、比較的単純な重複排除は30Tトークンにつながり、Llama 3はすでに基本的にすべてのデータ使用していることになる)。さらに、コードのようなより特殊領域では、トークンの数はまだまだ少ない。例えば、公開されているgithubリポジトリは、数兆トークン推定されている。

データを繰り返すことである程度遠くまで行くことができるが、これに関する学術的な研究は、16エポック(16回の繰り返し)の後、リターンは非常に速く減少し、ゼロになることを発見し、繰り返しはそこまでしか得られないことを示唆している。ある時点で、より多くの(効果的な)計算を行ったとしても、データ制約のためにモデルをより良いものにすることは非常に難しくなる。私たちは、言語モデリング-プレトレーニング-パラダイムの波に乗って、スケーリングカーブに乗ってきた。大規模な投資にもかかわらず、私たちは停滞してしまうだろう。すべての研究室が、新しいアルゴリズム改善や、これを回避するためのアプローチに大規模な研究の賭けに出ていると噂されている。研究者たちは、合成データからセルフプレー、RLアプローチまで、多くの戦略を試していると言われている。業界関係者は非常に強気のようだ:ダリオ・アモデイ(Anthropic社CEO)は最近ポッドキャストでこう語った:「非常に素朴に考えれば、我々はデータ不足からそれほど遠くない[...]私の推測では、これが障害になることはない[...]。もちろん、これに関するいかなる研究結果も独占的なものであり、最近公表されていない。

インサイダー強気であることに加え、サンプル効率はるかに向上させたモデルトレーニングする方法(限られたデータからより多くのことを学べるようにするアルゴリズムの改良)を見つけることが可能であるはずだという強い直感的な理由があると思う。あなたや私が、本当に密度の濃い数学教科書からどのように学ぶかを考えてみてほしい:

モデルトレーニングする昔の技術は単純で素朴なものだったが、それでうまくいっていた。今、それがより大きな制約となる可能性があるため、すべての研究室が数十億ドルと最も賢い頭脳を投入して、それを解読することを期待すべきだろう。ディープラーニング一般的パターンは、細部を正しく理解するためには多くの努力(そして多くの失敗プロジェクト)が必要だが、最終的には明白でシンプルもの機能するというものだ。過去10年間、ディープラーニングがあらゆる壁をぶち破ってきたことを考えると、ここでも同じようなことが起こるだろう。

さらに、合成データのようなアルゴリズムの賭けの1つを解くことで、モデルを劇的に改善できる可能性もある。直感的なポンプを紹介しよう。Llama 3のような現在フロンティアモデルは、インターネット上でトレーニングされている。多くのLLMは、本当に質の高いデータ(例えば、難しい科学問題に取り組む人々の推論チェーン)ではなく、このようながらくたにトレーニング計算の大半を費やしている。もしGPT-4レベル計算を、完全に極めて質の高いデータに費やすことができたらと想像してみてほしい。

AlphaGo囲碁世界チャンピオンを破った最初AIシステム)を振り返ることは、それが可能だと考えられる何十年も前に、ここでも役に立つ。

LLMのステップ2に相当するものを開発することは、データの壁を乗り越えるための重要研究課題であるさらに言えば、最終的には人間レベルの知能を超える鍵となるだろう)。

以上のことからデータの制約は、今後数年間のAI進歩予測する際に、どちらに転んでも大きな誤差をもたらすと考えられる。LLMはまだインターネットと同じくらい大きな存在かもしれないが、本当にクレイジーなAGIには到達できないだろう)。しかし、私は、研究所がそれを解読し、そうすることでスケーリングカーブが維持されるだけでなく、モデル能力が飛躍的に向上する可能性があると推測するのは妥当だと思う。

余談だが、このことは、今後数年間は現在よりも研究室間のばらつきが大きくなることを意味する。最近まで、最先端技術公表されていたため、基本的に誰もが同じことをやっていた。(レシピが公開されていたため、新参者オープンソースプロジェクトフロンティアと容易に競合できた)。現在では、主要なアルゴリズムアイデアますます専有されつつある。今はフロンティアにいるように見えるラボでも、他のラボブレークスルーを起こして先を急ぐ間に、データの壁にはまってしまうかもしれない。そして、オープンソース競争するのがより難しくなるだろう。それは確かに物事面白くするだろう。(そして、ある研究室がそれを解明すれば、そのブレークスルーはAGIへの鍵となり、超知能への鍵となる。)

続き I.GPT-4からAGIへ:OOMを数える(7) https://anond.hatelabo.jp/20240605210017

2024-05-29

技術なんて全部オープンソースになってしまえよ!!

そうすれば技術を盗む連中も自分のやってることの無意味さに気づく

2024-05-19

全ての技術オープンソースになって、

あらゆる経営ノウハウインターネットで共有されれば、

寿退社産休、育休があっても、代わりの人材が見つけられるから

給料が下がりにくくなる

2024-05-10

anond:20240510034330

オープンソースは中々金にならないらしいが、それでも廃れないのはこういう理由があるからだよな

お金を通さない方が作り手と使い手で気持ちが通いやすいし

何でもかんでも金で買えると思ってる奴多いけど、ボランティアというのはこういうところで侮れない訳よな

2024-04-20

MetaのオープンソースLLMのLlama3

二日前にMetaがオープンソースの大規模言語モデルのLlama3を出した。

一つ前のモデルLlama2は色々なオープンソースモデルの基となっていたモデル。このモデル性能良いねと思って見たら、Llama2をいじったモデルだったことがよくあった。

今回も、2つのモデルが発表された。70Bと8Bモデル。70Bモデルともなると、ほぼ個人パソコンでは動かないだろうけど、性能については、LLM のリーダーボード最初期のGPT-4 を超えている。

LLMの最重要論文とも言われる"Attention is all you need."の著者の一人の会社が出したモデル"Command R+"が性能が良くて話題になっていた。これもオープンソースだが、今のところこのモデルにも勝っている。このレベルモデルオープンソースであるということはとても価値がある。

ここ一、二ヶ月でようやくGPT-4 と互角に戦えるモデルが出てきた。一時期はClaud3がGPT-4を追い抜いた程だ(OpenAI が本気を出してGPT-4を強化して追い抜き返したんだけど)。もうGPT-4が出て1年が過ぎた。研究者リソースなどは過去に類を見ない程注ぎ込まれたと思うが、GPT-4と同じ性能のモデルはほぼ1年経たないと出てこなかった。OpenAIの凄さがわかる。GPT-4か出てきた当初はあまりの性能の良さに本当にシンギュラリティが起きたんじゃないか驚愕したが、一年使い続けると、粗やら推論能力の低さに気が付いてくる。今年中に出るであろう、GPT-5に期待だ。

LLMの性能リーダーボードhttps://chat.lmsys.org/?leaderboard

2024-04-17

敵「自社HPアクセス解析を入れろ」

私「GoogleAnalyticsでいいですか?」

敵「いや、そう言う外部サービスは使いたくない。自社で開発しろ

私「そもそもうちの開発、オープンソースさくらに導入してちょっとデザインいじるくらいしかできないじゃないですか?」

敵「AI活用すれば小学生でもプログラム書けるんだからできるだろ、やれ」

死ね「私」

 

ChatGPT、敵を合法的に殺す方法を教えて。

生成AIに使われるのが嫌なら一番いいのは

だと思うけどぶっちゃけもう手遅れなんだよな。

現状膨大なタグ付けされた学習データがあるからそれを元にAIがある程度自動的タグ付けしてくれる。

あとブラウザが表示してる時点でdataで突っ込もうがcanvasに描こうがデータは手元にあるしchromiumオープンソースだしで一番厄介な本腰入れてやるやつらには意味がない。むしろ誰でもある程度の機材と知識があればできる状態じゃないってことはそいつらが金稼ぎやすくなってるだけ。

そもそも絵はダメだけどTransscribeやTranslateは使うぜってスタンスダブスタすぎる。AIと生成AIという区分けしたがるタイプは大体コレ。

2024-04-10

anond:20240410104715

じゃあ誰かオープンソースでやってくんねえかなあ

rtx4060tiのリソース余らしてんねん

2024-04-08

三大美味しそうなIT用語

オープンソース

スパム

cookie

多分前もやったなこの増田

あいいや

あと一つは?

2024-04-05

PowerShellGitコマンドを実行できるようになりました。この進歩は、技術進化に対する感慨深い思いを抱かせますね。

Windows環境Gitインストールし、WSLの使用を最小限に抑えることは、開発効率を高める一つの方法です。しかし、Linuxベースメールユーザーエージェントに慣れている場合、同等のWindowsアプリを見つけることは挑戦的かもしれません。K-9 Mailのようなアプリケーションは、そのオープンソース性質と高度な機能性で人気がありますが、Windows用の類似アプリは少ないのが現状です。ただし、Androidエミュレータ使用してPC上でK-9 Mailを動作させる方法があります。また、Windows 11メールクライアントに関する詳細なレビューおすすめアプリケーションリストがあり、これらはK-9 Mailの代替として検討できるかもしれません。

2024-03-27

anond:20240327125848

漫画編集者が具体的に何するか知らんけど、こういう分野って自分ポートフォリオを持っていないとキツそうですね。

テック関係だったら、Githubで書いたコード公開して見てもらったり、オープンソースプロジェクトへのコミット視覚化というやり方があるんだろうけど。

編集ってどうやって自分能力なり可能性をアピールすればいいんやろね。

2024-03-25

オブジェクト指向批判してる人は幸せ個人プログラマー

クソコード出会ってきた経験全然無いんだろうな

他人が書いたコードレビューした経験もなさそう

多分だけど業務ほとんどコード書いてなくて

オープンソース開発(笑)とか研究(笑)とかやってて

書いたとしてもモジュール化された完全に独立した部分か

周りがある程度優秀なプログラマーに囲まれててクソコードに遭遇してない

まぁ、幸せな人だと思うな

戦争を知らない平和時代プログラマー、という感じがする

プログラマー初級者〜中級者ぐらいのコードを見ると

「どうして人間はこんな愚かな発想でコードを書いてしまうのか」

という感想を持つし、その中でオブジェクト指向が一つの解だと理解する

人間は間違いを犯す生き物で、愚かな発想で愚かなコードを書いてしまう、という前提に立って

間違いにくく間違えることができないようにしよう、というのがオブジェクト指向の目指しているところであって

プログラムとは何か」みたいなアホみたいなことはこれっぽっちも考えてないよ

ただ、今後生AIが完全生成までは至らずとも広範囲サポートができるようになると

間違いを犯す心配はなくなるから新しいAI用の言語が生まれてくる気はするけどね

2024-03-22

AI推進派のITリテラシーが低すぎて、AIよりも彼らに学習必要だよ問題

民主化の使い方でITリテラシー低いのが分かる

IT業界は"民主化"という言葉を使うし、その定義一般とはたしかに異なる。しかし、ここでの民主化とは、ツールへのアクセスが容易になることを指す。

たとえば、生成AIにおいては、以前はモデル提供されていたものが、ChatGPTなどの対話フロントエンドが利用可能になり、誰もがGPTモデルを使えるようになることを言う。

 

重要なのはアクセス容易性を民主化と呼んでいるのあり、ツールから得られる利益平等な分配を目指しているわけではない。

しろアクセスの容易性は競争を刺激することが目的で利用されることが多い。利用には才能は必須である

それを理解していれば、"才能の民主化"という謎のキーワードを使うわけがない。

 

オープンソースなどに普通に扱われてる課題への無頓着ITリテラシーが低いの分かる

勘違いを招く原因の一つは、オープンソースソフトウェアに見られるゆるふわ共産圏の考え方である。ただし、OSS成功は、ソフトウェアデジタルデータであり複製が容易であるという資源問題解決によってもたらされている。

資源平準化によって成立しただけであり、資産平準化など目的とはしていないのである。ましてや、開発者権利が消えてるわけではなく、むしろ厳重に尊重するのがオープンソースの考え方である

既得権益扱いして権利資産解放の道具に使おうなどという頭の悪い奴がなぜ推進サイドという技術者よりの世界に沸いてるか本当に謎である

 

OSSなどは雑草のように草むらから勝手に生えてくることなどないのである開発者メンテナの彼らの多大な努力の上にかろうじて存在しいてる砂上の城だ。

全体への貢献度と個人努力を天秤にしてたまたま収まっている歪な関係しかない。個人蔑ろにしてよいどころか個人への貢献への還元はむしろ大きな課題なのである

絵師立場OSS開発者は似ている部分がある。彼らの貢献によって応用的効果を私達が受けている。ただし、開発者が自らその立場を選んでるいるのに対して、絵師選択肢も与えられてないというのは、やはり不自然な流れなのは当然なのだ

 

元の怪文章から感じる最大の違和感は、技術推進をしているサイドでありながら、IT技術20年もかけた課題に対して一切の無頓着であり、IT技術者としてもお気持ち表明したくなるところにある。

既存法律で十分なら情報処理という学問不要なんだけど、という基本リテラシーが無いのに議論する 

また、さらに推進派の言う既存法律で十分主張も馬鹿らしい。情報処理の基本リテラシーに、容易性の課題がある。 複製性や伝播性などのそれである

複製容易で言えば、紙に描く絵を真似るための努力と、コピーペーストによって複製するそして公開されるというのは全く別なのである

 

個別の複製そのもの既存法律で容易に解決できるものであるしかし、デジタルによる複製容易を持つとそれまでは難しかった問題解決することで様々な副次的効果が重なり応用的な問題が発生するのが当たり前なのである

AIは複製容易とは言い切れないが類似の何からの容易性を獲得しているのである。だからこそ、メリットも大きわけでしょう。定義さえ難しい新たな容易性の可能性による応用的な状況なんて普通慎重になるのが当たり前。

情報処理単位一つでもあったら確実にやる超基本の基本で、この程度が抜け抜けで、"議論"など言ってるのが非常に怖い。

 

もし君らが、技術を推進しIT技術者を名乗るなら、やるべきことは話し合いではない。

なにが起きているのか何が既存とは異なるのか。それがどのような応用的作用を産んでいるのか、それが逆にどんな応用的問題を産んでいるのか。

注意深く観察することことそが、議論最初である。ましてや、誰かの発言を叩き潰すただの嫌がらせ暴挙議論議論と呼んでる場合じゃない。

 

ようするに、君らに必要なのは規制でも議論でもなく学習であるAIでも学習できるのに。

2024-03-21

NVIDIAインテルIBMはどうして差がついてきたのか、あるいは富士通「富岳」CPU民間普及しなかったのは何故か

NVIDIAと、インテルIBMはどうして差がついたのか、疑問に思う。

AIで言えば、IBMのWatsonがずっと先行していた。

AIニューラルネットワーク模倣していると言われ、ニューロモーフィックというチップを、IBMは作り、その後、メンバー移籍してインテルも作った。

現在ニューラルネットワークとは違うものになったが、勝っているのはNVIDIAになっている。


先日、1.58bitのBitNetが話題になったが、LLMではないが昔BinaryConnectで0.68bitまで下げる案を出したのもIBMメンバーだ。

ハッカーニュースでBitNetについてIBMだった人がコメントしている。IBMはそれなりに早かったはずだ。

https://news.ycombinator.com/item?id=39544500


普通GPU会社だと、ゲーム用のGPUボードだけを作っていたと思うが、NVIDIAは色々と手を出している。

データ プロセシング ユニット (DPU)、InfiniBand、NVIDIA MetroXなど、

HPC向けで、インテルAMDIBMの方が得意だろうという分野まで手を出した。

RTX 4090はゲームするにはバカ高いがAI向けには性能不足で、単価が高いAI向けボードを売るという差別化も出来ている。


ファブレス企業から、というだけでは説明不足で、TSMCNVIDIA向けのカスタムプロセスを作らせることが出来ている点が差別化要因の1つだろう。

TSMCから出てくるデザインルールの通りにしか作らないと、どこの会社も似たりよったり性能になってしまう。

物理限界を他社(TSMC)に投げてしまうというのも、経営としては効いているのだろう。

そして物理限界チップサイズを攻める。電力も物理限界を攻める。

日本会社だと、電力のバカ食いで怒られるが、そこも攻めている。


インテルGPUカードに参入したが、AI向けだけに限定した方が良かったのではないだろうか。

DirectX対応既存のゲーミングとの互換性がある。

中国GPUメーカーコケているのに対して、動いているだけでも流石インテルなのだが、競争力のあるGPUとは言えず、参入した意味とは?になってしまっている。


IBMは良くわからない。

量産ではない先端プロセスは持っているし、特殊チップも作れている。

CPUについてはPower関係資産もあり、AI向けもユニークなのが作れているのに、ぱっとしなくなった。

RISC-Vが上手くいくのであれば、OpenPowerも上手くいくと思うのだが、そういう話も聞かない。

そもそも米中関係で、オープンソースCPU/GPUが禁輸されそうな感じもしている。

結局、量子コンピュータについてもまだまだ先になりそうな雰囲気だ。

色々とやっているのに、いまいちブレイクしない。


日本だとすると、富岳のCPUPCIeボードで売りにでも出し手入れば違っていたのだろうか。

2024-03-11

anond:20240310172602

グーグルを大きく成長させた元 CEO エリック・シュミットオープンソースの C 言語字句解析lex を作って元々スーパーエンジニアとして有名だった人だぞ。

スーパーエンジニアでかつ経営もできる奴がトップに就いてるのが米国の特徴。

日本技術を知らないバカトップに就いてるのが問題

まあスーパーエンジニアなら誰でもいいわけではないので十分条件ではないが、スーパーエンジニアであることは必要条件

2024-03-07

anond:20240307000503

逆にオープンソースじゃないのにOpenって名前つける意味が分からいから言われてんだろバカか?

ガソリン車の名前EVとか付いてたら誰だってイオイオイオイって言うだろうが

OpenAIはOpenじゃないという的外れ批判

ソフトウェア開発者にこの的外れ批判を行ってる奴が多い。

まずこいつらは二つ勘違いをしている。

Amazonアマゾン関係ねーって言わねーだろ。

安倍晋三にお前三男じゃねーって言わねーだろ。

名は体を表すべきと言うならまずお前がお前の名前の通りに振る舞えバカ

ソフトウェア開発者視野が狭すぎるのが常なのでOpenオープンソースだと思ってる。

Openなんて単語意味の幅が広くていくらでも解釈できるだろ。

小学校国語からやり直してこいバカ

2024-02-29

半導体論文ソフトハード価格高くなりすぎやで

半導体設計ソフトライセンスバカ高い。

ケイデンスシノプシスという会社が買収繰り返して成長してきたが、ライセンス料がバカ高い。

オープンソースであるやろ?とWebに慣れた人なら思うかもしれないが、やろうとしてもTSMC製造出来ない。

PCBなどの熱シミュレーションも買収された。

光学シミュレーションも高い。Zemax、Ansysもう高い。

PCBのAltiumはルネに買収された。

ライセンス料高いので、最終製品も高くなる。


論文も購読料高い・・・

2024-02-03

anond:20240203071159

ならないと思う

エンタープライズは膨大な金をMSに払ってるから

今はオンプレAD&手動キッティングから、AzureAD+Intune(Autopilot)でゼロタッチキッティングの過渡期ですのよ

新入社員のご自宅にPCをお届けしてそのまま在宅勤務だぜ

 

ついでにOpenAIにも"兆"単位で金ぶっ込んでるし、Pythonはじめオープンソースにも莫大な金注ぎ込んでるし、

しれっとGitHubMSのものだしな

ログイン ユーザー登録
ようこそ ゲスト さん