  |
はてなキーワード: オープンソースとは
二日前にMetaがオープンソースの大規模言語モデルのLlama3を出した。
一つ前のモデルLlama2は色々なオープンソースモデルの基となっていたモデル。このモデル性能良いねと思って見たら、Llama2をいじったモデルだったことがよくあった。
今回も、２つのモデルが発表された。70Bと8Bモデル。70Bモデルともなると、ほぼ個人のパソコンでは動かないだろうけど、性能については、LLM のリーダーボードで最初期のGPT-4 を超えている。
LLMの最重要論文とも言われる"Attention is all you need."の著者の一人の会社が出したモデル"Command R+"が性能が良くて話題になっていた。これもオープンソースだが、今のところこのモデルにも勝っている。このレベルのモデルがオープンソースであるということはとても価値がある。
ここ一、二ヶ月でようやくGPT-4 と互角に戦えるモデルが出てきた。一時期はClaud3がGPT-4を追い抜いた程だ（OpenAI が本気を出してGPT-4を強化して追い抜き返したんだけど）。もうGPT-4が出て１年が過ぎた。研究者やリソースなどは過去に類を見ない程注ぎ込まれたと思うが、GPT-4と同じ性能のモデルはほぼ１年経たないと出てこなかった。OpenAIの凄さがわかる。GPT-4か出てきた当初はあまりの性能の良さに本当にシンギュラリティが起きたんじゃないかと驚愕したが、一年使い続けると、粗やら推論能力の低さに気が付いてくる。今年中に出るであろう、GPT-5に期待だ。
私「GoogleAnalyticsでいいですか？」
敵「いや、そう言う外部サービスは使いたくない。自社で開発しろ」
私「そもそもうちの開発、オープンソースをさくらに導入してちょっとデザインいじるくらいしかできないじゃないですか？」
敵「AIを活用すれば小学生でもプログラム書けるんだからできるだろ、やれ」
死ね「私」
生成AIに使われるのが嫌なら一番いいのは
だと思うけどぶっちゃけもう手遅れなんだよな。
現状膨大なタグ付けされた学習データがあるからそれを元にAIがある程度自動的にタグ付けしてくれる。
あとブラウザが表示してる時点でdataで突っ込もうがcanvasに描こうがデータは手元にあるしchromiumはオープンソースだしで一番厄介な本腰入れてやるやつらには意味がない。むしろ誰でもある程度の機材と知識があればできる状態じゃないってことはそいつらが金稼ぎやすくなってるだけ。
そもそも絵はダメだけどTransscribeやTranslateは使うぜってスタンスがダブスタすぎる。AIと生成AIという区分けしたがるタイプは大体コレ。
PowerShellでGitコマンドを実行できるようになりました。この進歩は、技術の進化に対する感慨深い思いを抱かせますね。
Windows環境でGitをインストールし、WSLの使用を最小限に抑えることは、開発効率を高める一つの方法です。しかし、Linuxベースのメールユーザーエージェントに慣れている場合、同等のWindowsアプリを見つけることは挑戦的かもしれません。K-9 Mailのようなアプリケーションは、そのオープンソースの性質と高度な機能性で人気がありますが、Windows用の類似アプリは少ないのが現状です。ただし、Androidエミュレータを使用してPC上でK-9 Mailを動作させる方法があります。また、Windows 11のメールクライアントに関する詳細なレビューとおすすめのアプリケーションリストがあり、これらはK-9 Mailの代替として検討できるかもしれません。
周りがある程度優秀なプログラマーに囲まれててクソコードに遭遇してない
まぁ、幸せな人だと思うな
「どうして人間はこんな愚かな発想でコードを書いてしまうのか」
という感想を持つし、その中でオブジェクト指向が一つの解だと理解する
人間は間違いを犯す生き物で、愚かな発想で愚かなコードを書いてしまう、という前提に立って
間違いにくく間違えることができないようにしよう、というのがオブジェクト指向の目指しているところであって
「プログラムとは何か」みたいなアホみたいなことはこれっぽっちも考えてないよ
ただ、今後生成AIが完全生成までは至らずとも広範囲なサポートができるようになると
IT業界は"民主化"という言葉を使うし、その定義は一般とはたしかに異なる。しかし、ここでの民主化とは、ツールへのアクセスが容易になることを指す。
たとえば、生成AIにおいては、以前はモデルが提供されていたものが、ChatGPTなどの対話型フロントエンドが利用可能になり、誰もがGPTモデルを使えるようになることを言う。
重要なのは、アクセス容易性を民主化と呼んでいるのあり、ツールから得られる利益の平等な分配を目指しているわけではない。
むしろ、アクセスの容易性は競争を刺激することが目的で利用されることが多い。利用には才能は必須である。
それを理解していれば、"才能の民主化"という謎のキーワードを使うわけがない。
勘違いを招く原因の一つは、オープンソースソフトウェアに見られるゆるふわ共産圏の考え方である。ただし、OSSの成功は、ソフトウェアがデジタルデータであり複製が容易であるという資源問題の解決によってもたらされている。
資源の平準化によって成立しただけであり、資産の平準化など目的とはしていないのである。ましてや、開発者の権利が消えてるわけではなく、むしろ厳重に尊重するのがオープンソースの考え方である。
既得権益扱いして権利や資産の解放の道具に使おうなどという頭の悪い奴がなぜ推進サイドという技術者よりの世界に沸いてるか本当に謎である。
OSSなどは雑草のように草むらから勝手に生えてくることなどないのである。開発者やメンテナの彼らの多大な努力の上にかろうじて存在しいてる砂上の城だ。
全体への貢献度と個人の努力を天秤にしてたまたま収まっている歪な関係でしかない。個人を蔑ろにしてよいどころか個人への貢献への還元はむしろ大きな課題なのである。
絵師の立場とOSSの開発者は似ている部分がある。彼らの貢献によって応用的効果を私達が受けている。ただし、開発者が自らその立場を選んでるいるのに対して、絵師は選択肢も与えられてないというのは、やはり不自然な流れなのは当然なのだ。
元の怪文章から感じる最大の違和感は、技術推進をしているサイドでありながら、IT技術が20年もかけた課題に対して一切の無頓着であり、IT技術者としてもお気持ち表明したくなるところにある。
また、さらに推進派の言う既存の法律で十分主張も馬鹿らしい。情報処理の基本リテラシーに、容易性の課題がある。 複製性や伝播性などのそれである。
複製容易で言えば、紙に描く絵を真似るための努力と、コピーペーストによって複製するそして公開されるというのは全く別なのである。
個別の複製そのものは既存の法律で容易に解決できるものである。しかし、デジタルによる複製容易を持つとそれまでは難しかった問題が解決することで様々な副次的な効果が重なり応用的な問題が発生するのが当たり前なのである。
AIは複製容易とは言い切れないが類似の何からの容易性を獲得しているのである。だからこそ、メリットも大きわけでしょう。定義さえ難しい新たな容易性の可能性による応用的な状況なんて普通慎重になるのが当たり前。
情報処理の単位一つでもあったら確実にやる超基本の基本で、この程度が抜け抜けで、"議論"など言ってるのが非常に怖い。
もし君らが、技術を推進しIT技術者を名乗るなら、やるべきことは話し合いではない。
なにが起きているのか何が既存とは異なるのか。それがどのような応用的作用を産んでいるのか、それが逆にどんな応用的問題を産んでいるのか。
注意深く観察することことそが、議論の最初である。ましてや、誰かの発言を叩き潰すただの嫌がらせや暴挙を議論議論と呼んでる場合じゃない。
NVIDIAと、インテル・IBMはどうして差がついたのか、疑問に思う。
AIはニューラルネットワークを模倣していると言われ、ニューロモーフィックというチップを、IBMは作り、その後、メンバーが移籍してインテルも作った。
現在、ニューラルネットワークとは違うものになったが、勝っているのはNVIDIAになっている。
先日、1.58bitのBitNetが話題になったが、LLMではないが昔BinaryConnectで0.68bitまで下げる案を出したのもIBMのメンバーだ。
ハッカーニュースでBitNetについてIBMだった人がコメントしている。IBMはそれなりに早かったはずだ。
https://news.ycombinator.com/item?id=39544500
普通のGPUの会社だと、ゲーム用のGPUボードだけを作っていたと思うが、NVIDIAは色々と手を出している。
データ プロセシング ユニット (DPU)、InfiniBand、NVIDIA MetroXなど、
HPC向けで、インテルやAMD、IBMの方が得意だろうという分野まで手を出した。
RTX 4090はゲームするにはバカ高いがAI向けには性能不足で、単価が高いAI向けボードを売るという差別化も出来ている。
ファブレス企業だから、というだけでは説明不足で、TSMCにNVIDIA向けのカスタムプロセスを作らせることが出来ている点が差別化要因の1つだろう。
TSMCから出てくるデザインルールの通りにしか作らないと、どこの会社も似たりよったり性能になってしまう。
物理限界を他社（TSMC）に投げてしまうというのも、経営としては効いているのだろう。
そして物理限界のチップサイズを攻める。電力も物理限界を攻める。
日本の会社だと、電力のバカ食いで怒られるが、そこも攻めている。
インテルはGPUカードに参入したが、AI向けだけに限定した方が良かったのではないだろうか。
中国GPUメーカーがコケているのに対して、動いているだけでも流石インテルなのだが、競争力のあるGPUとは言えず、参入した意味とは？になってしまっている。
量産ではない先端プロセスは持っているし、特殊なチップも作れている。
CPUについてはPower関係の資産もあり、AI向けもユニークなのが作れているのに、ぱっとしなくなった。
RISC-Vが上手くいくのであれば、OpenPowerも上手くいくと思うのだが、そういう話も聞かない。
そもそも米中関係で、オープンソースのCPU/GPUが禁輸されそうな感じもしている。
結局、量子コンピュータについてもまだまだ先になりそうな雰囲気だ。
何も理解してなくて、このコメントにすら絵が云々言っててびっくりするよ。
今後AIが人間に類する汎用性と知能を獲得できるとするなら、いま生成AIに対する投資で遅れをとると、それはもう致命的なんだよ。
今生成AIで使われてるtransformerだって生成AI用に開発されたんじゃなく、アノテーション用に作られた。今のAIに関する技術がどう他の分野に活かされていくかなんて分からない。
しかも、transformerはGoogleが気前よくオープンソースにしてくれたが、OpenAIしかり、今後は隠しておく風潮が出る可能性が高い。
絵を描いてる人は、早期にAIに食われてしまって可哀想だなと思うよ。でもここで日本が生成AIをはじめとするAIに関する開発投資で遅れをとるわけにはいかないんだ。多少の犠牲を払ってでも最前線を目指す必要がある。
はてなテクノロジーのブクマを流し読みしてたら、驚きの意見を見つけて目が点になった。
AI学習対策の保護加工を施したイラストデータができあがるサービス。中国の上海交通大学の研究チームが開発したオープンソースのイラスト保護技術「Mist」を利用し、人間の目で見ても目立たない特殊な電子透かしやノイズを挿入する。これによりAIの正確な学習を妨げ、模倣イラストの生成をある程度阻止することを狙うとしている。
ええ・・・？
機械学習予防のために自作の絵に迷彩を入れたら犯罪になるのか？？
そんな可能性は流石に、あり得ないだろ。
条文を見てみた。
1項
人の業務に使用する電子計算機若しくはその用に供する電磁的記録を損壊し、若しくは人の業務に使用する電子計算機に虚偽の情報若しくは不正な指令を与え、又はその他の方法により、電子計算機に使用目的に沿うべき動作をさせず、又は使用目的に反する動作をさせて、人の業務を妨害した者は、5年以下の懲役又は100万円以下の罰金に処する。
2項
前項の罪の未遂は、罰する。
迷彩は「不正な方法」には当たらないだろうが、「その他の方法」により絵を機械学習しにきた「電子計算機に使用目的に沿うべき動作をさせず」機械学習という「業務を妨害した」、とは解釈できる。
うーーむ。
しかしだとすると、オンラインゲームがチーターのパソコンを弾くだけでも電子計算機損壊等業務妨害に当たるとも言えるよね。
これ、条文が悪いよ。
