  |
はてなキーワード: GITHUBとは
996工作制においては、従業員には労働時間の延長が奨励または強制される。
このうち、「996」の3つの数字は、毎日午前9時に出勤し、毎日午後9時に退勤し、週6日働く、と言うことを意味する。
中華人民共和国の労働法では、労働者は1日8時間までしか労働できず、週平均労働時間は44時間を超えてはいけないことになっているが、
中国のプログラマの中には、このシステムに抗議の声を上げる者もおり、
例えば2019年3月、「996.ICU」という名前のプロジェクトがGitHubに登場した。
996工作制の存在と違法性に注意を喚起し、同時にこの慣習を変更することを目的としている。
2019年4月11日、アリババグループの馬雲董事長はアリババの社内SNSにおいて、
「996で働けるなんて、我々は幸せじゃないか。仕事がなかったり会社が潰れそうな人のことを考えれば」と語り、
「他人よりもっと多く努力し、もっと時間を費やさなければ、あなたが望む成功なんてできない」と語った。
マーはまた、「一生懸命奮闘と努力をした奴だけが、常人には得られない「成功」を得ることができる」と語ったという。
競プロと機械学習系のクソコード・クソジャークっぷりが取り立たされてるけど、クソコード・クソジャークっぷりは何も競プロerと機械学習erの専売特許ではない。
就職した時点で、君がAtCoderに投げたコードは全て、ほぼ確実に無価値になる。Githubに投げたコードは君の資産として残り続ける。
これなー。なんでもできる学生の貴重な時間をどうしてドブに捨てるのか理解できない。
学生さんに向けて、社会人5年目の黄コーダーとして知っておいて欲しいことをまとめるね。
以下、エンジニアの大部分が競プロerみたいな特殊な環境を除く。
長期的に考えるならば、競プロはさっさと止めて、ポートフォリオに書けるような個人開発やOSSコントリビューションに注力した方が遥かに良い。
君が家を建てるとして、トンカチさばきの早さを誇る大工と、建ててきた家の数を誇る大工のどちらに頼みたいか考えてみると良い。
トンカチを振るのが好きなことは否定しないが、それをもって評価されるのは学生の間だけだ。
(この辺はシステムの欺瞞もあると思っていて、新卒採用における評価基準の風向きが明らかに変わってるのに逆求人系の会社が未だにchokudaiに講演させてるのってどうなん？とは思う。)
元増田でも指摘されている通り、競プロerに良い印象を持っていない人はそこそこ存在する。
「◯◯コーダーです」と自分から言うのは控えた方が良い。誰も幸せにしない。
人は同じ文化圏に所属しない相手には冷酷だ。そして、文化圏の類似度は使っている言葉によって測られる。
何でもかんでも「にぶたん」「DP」に結びつけるのが面白がられるのは界隈の中だけだ。
ここで言う「方言」には、自然言語だけでなくプログラミング言語、つまりコードも含まれる。
競プロ対策本じゃなくてリーダブルコードを読め。あの本がプログラミングの世界の標準語だと思えば良い。
数年前の全盛期から比べれば、暖色を見ただけで即採用してくれるような企業は恐ろしいほどに減った。
そのようにして入社した君たち以前の代が十分な成果を挙げなかったり、彼らから嫌な思いをさせられた人が多いからだ。
だから、「月刊競プロは役に立たない」なんて冷笑してないで、一度立ち止まって「なぜ月刊レベルで競プロerが批判されるのか」を考えてみてほしい。
chatgptに社内のドキュメント管理とかやらせればすごい効率化できると思うのだけどどうだろう。
了解っす、増田ちゃん！まず、「LLMによる学習を許可する」と明示的に許可しているメジャーなライセンスについてだけど、具体的にそう書かれているライセンスは見たことないっす。でも、オープンソースコミュニティではさまざまなライセンスがあって、一般的には「公に公開」の一環として使われることが多いっす。
例えば、Apache License 2.0とかMIT Licenseなんかはかなりオープンで、コードの利用に制約が少ないっす。でも、「LLMの学習のために使っていいよ！」って具体的に書いてるわけじゃないっすね。
次に、Copilotについてなんだけど、確かにGitHub Copilotは公開されてるリポジトリを学習対象にしてるって言われてるっす。ただ、ライセンス自体を直接確認してるかどうかって話になると、基本的には「公開されてる＝使ってOK」って前提で動いてるんじゃないかと思うっす。でも、これも法的にグレーな部分があるから、完全に安心ってわけじゃないっす。
Copilotは多くのフィードバックを受けながら、改善を続けているけれど、使用する際には自分のプロジェクトとのライセンスの整合性をしっかり確認することが大事っすよ。
・今後発売されるゲームや電子機器は全て買わないようにしましょう
現在多くの企業で「Github Copilot」という「ソースコードを生成してくれる生成AIツール」が活用されています。
まだ様子見の企業も、生産性が大きく変わる事から順次導入するのは間違いないでしょう。
エンタープライズ版やSLMの登場でセキュリティ上の懸念も無くなり、導入する企業は増える一方です。
ところで、Copilotはソースコードを管理するWebサイトであるGithub上のコードを、その所有者であるユーザーに「無断で」学習したものです。
プログラマーはその事に文句を言うどころか歓迎するムードが多数ですが、起きている事はイラストや音楽と全く同じです。
「職を失うリスク」があるのも同様ですが、プログラマーは「仕事がもっと楽にできる」「同じ工数でもっとすごいものが作れる」とポジティブな受け入れ方をしている人が多い印象です。
あなたが大好きな任天堂のゲームにも、iPhoneのiOSにも、家電製品のファームウェアにも、あなたが忌避する「無断学習によって」「その学習データを生んだ人達が仕事を失うリスクのある」ソースコードが入るようになっていきます。あるいは既に入っています。
あなたのその宗教的信条を遵守する為には、今後発売される一切のゲームや電子機器を買わないようにしましょう。
・Copilotはの学習対象は「公開リポジトリ」だから、ライセンスは関係ないよ！
・（どっちにしろメジャーなOSSライセンスは機械学習を想定したものじゃないから微妙だと思うけど！）
＞絵と文字は違うだろ。目腐ってんのか？
・まあ、イスラム教徒は「豚と牛は違うだろ」って言うだろうし、そういう宗教的信条なら仕方ない！ただ「生成AI NG」ではなく「絵だけはNG」って表明してね！
・今後発売されるゲームや電子機器は全て買わないようにしましょう
現在ほとんどの企業で「Github Copilot」という「ソースコードを生成してくれる生成AIツール」が活用されています。
まだ様子見の企業も、生産性が大きく変わる事から順次導入するのは間違いないでしょう。
エンタープライズ版やSLMの登場でセキュリティ上の懸念も無くなり、導入する企業は増える一方です。
ところで、Copilotはソースコードを管理するWebサイトであるGithub上のコードを、その所有者であるユーザーに「無断で」学習したものです。
プログラマーはその事に文句を言うどころか歓迎するムードが多数ですが、起きている事はイラストや音楽と全く同じです。
「職を失うリスク」があるのも同様ですが、プログラマーは「仕事がもっと楽にできる」「同じ工数でもっとすごいものが作れる」とポジティブな受け入れ方をしている人が多い印象です。
あなたが大好きな任天堂のゲームにも、iPhoneのiOSにも、家電製品のファームウェアにも、あなたが忌避する「無断生成によって」「その学習元を生成した人達が仕事を失うリスクのある」ソースコードが入るようになっていきます。あるいは既に入っています。
毎朝6時に起きる私は、まずベッドサイドに置いたLibrem 5スマートフォンに手を伸ばします。ハードウェアキルスイッチでカメラとマイクをオフにしているため、寝ている間も安心して眠ることができます。
目覚めの後、簡単なストレッチをしながら、Signalで昨晩のメッセージを確認します。フリーランスのソフトウェアエンジニアとして働く私にとって、世界中のクライアントとの連絡は欠かせません。
朝食を済ませると、私はLibrem 14のノートパソコンを起動します。このパソコンには、プライバシー保護に特化したPureOSがインストールされています。
私はまず、ProtonVPNを起動してインターネットに接続し、セキュアな環境を確保します。Torブラウザーを開き、プライバシー関連の最新ニュースをチェックするのが日課です。
次に、メールを確認し、必要なタスクを整理します。仕事の依頼やクライアントからの質問に対応する際、私はエンドツーエンド暗号化が施されたメールサービスを使用します。
午前中は、オープンソースプロジェクトへの貢献に時間を割きます。私はGitHubでプロジェクトをフォークし、コードの改善やバグ修正を行います。
仕事中、私はプライバシーを確保するために、全ての通信を暗号化し、GoogleやMicrosoftのサービスを一切使用しません。
必要なツールやソフトウェアは、全てオープンソースであり、信頼性の高いものを厳選しています。
昼食の時間になると、私は外出して近くの公園でサイクリングを楽しみます。自転車に乗ることで、リフレッシュし、健康を維持することができます。
公園では、持ち運びが簡単なRaspberry Piを使って、モバイルホットスポットを作成し、安全なインターネット接続を維持します。これにより、外出先でも安心してインターネットを利用できます。
午後は、クライアントのプロジェクトに集中します。私はクライアントの要求に応じてソフトウェアを開発し、そのコードを安全な方法で納品します。
私はまた、プライバシーに関する技術記事を執筆し、自身のブログに投稿します。これにより、自身の知識を共有し、他の人々にもプライバシーの重要性を理解してもらうことを目指しています。
夕方になると、私は写真撮影を楽しみます。カメラで風景や街の様子を撮影し、それをプライベートなクラウドストレージに保存します。
このクラウドストレージは、自分で管理しているため、第三者がデータにアクセスすることはありません。撮影が終わると、家に帰り、自分の写真を編集してブログに投稿します。
夜になると、一日の終わりにデバイスのセキュリティチェックを行います。最新のセキュリティパッチが適用されているか確認し、必要に応じてシステムを更新します。
また、バックアップを作成し、重要なデータを複数の安全な場所に保存します。最後に、Tails OSを使ってセキュアにブラウジングし、リラックスして一日の疲れを癒します。
これらすべての重要な変動要因になりうるものがあります。つまり、より多くのスクレイピング・データでより大きな言語モデルをプリ・トレーニングするという素朴なアプローチが、まもなく深刻なボトルネックにぶつかり始める可能性があるということだ。
フロンティア・モデルはすでにインターネットの多くで訓練されている。例えば、Llama 3は15T以上のトークンで学習された。LLMのトレーニングに使用されたインターネットの多くのダンプであるCommon Crawlは、生で100Tトークンを超えるが、その多くはスパムや重複である（例えば、比較的単純な重複排除は30Tトークンにつながり、Llama 3はすでに基本的にすべてのデータを使用していることになる）。さらに、コードのようなより特殊な領域では、トークンの数はまだまだ少ない。例えば、公開されているgithubのリポジトリは、数兆トークンと推定されている。
データを繰り返すことである程度遠くまで行くことができるが、これに関する学術的な研究は、16エポック（16回の繰り返し）の後、リターンは非常に速く減少し、ゼロになることを発見し、繰り返しはそこまでしか得られないことを示唆している。ある時点で、より多くの（効果的な）計算を行ったとしても、データ制約のためにモデルをより良いものにすることは非常に難しくなる。私たちは、言語モデリング-プレトレーニング-パラダイムの波に乗って、スケーリングカーブに乗ってきた。大規模な投資にもかかわらず、私たちは停滞してしまうだろう。すべての研究室が、新しいアルゴリズムの改善や、これを回避するためのアプローチに大規模な研究の賭けに出ていると噂されている。研究者たちは、合成データからセルフプレー、RLアプローチまで、多くの戦略を試していると言われている。業界関係者は非常に強気のようだ：ダリオ・アモデイ（Anthropic社CEO）は最近、ポッドキャストでこう語った：「非常に素朴に考えれば、我々はデータ不足からそれほど遠くない[...]私の推測では、これが障害になることはない[...]。もちろん、これに関するいかなる研究結果も独占的なものであり、最近は公表されていない。
インサイダーが強気であることに加え、サンプル効率をはるかに向上させたモデルをトレーニングする方法（限られたデータからより多くのことを学べるようにするアルゴリズムの改良）を見つけることが可能であるはずだという強い直感的な理由があると思う。あなたや私が、本当に密度の濃い数学の教科書からどのように学ぶかを考えてみてほしい：
モデルをトレーニングする昔の技術は単純で素朴なものだったが、それでうまくいっていた。今、それがより大きな制約となる可能性があるため、すべての研究室が数十億ドルと最も賢い頭脳を投入して、それを解読することを期待すべきだろう。ディープラーニングの一般的なパターンは、細部を正しく理解するためには多くの努力（そして多くの失敗プロジェクト）が必要だが、最終的には明白でシンプルなものが機能するというものだ。過去10年間、ディープラーニングがあらゆる壁をぶち破ってきたことを考えると、ここでも同じようなことが起こるだろう。
さらに、合成データのようなアルゴリズムの賭けの1つを解くことで、モデルを劇的に改善できる可能性もある。直感的なポンプを紹介しよう。Llama 3のような現在のフロンティアモデルは、インターネット上でトレーニングされている。多くのLLMは、本当に質の高いデータ（例えば、難しい科学的問題に取り組む人々の推論チェーン）ではなく、このようながらくたにトレーニング計算の大半を費やしている。もしGPT-4レベルの計算を、完全に極めて質の高いデータに費やすことができたらと想像してみてほしい。
AlphaGo（囲碁で世界チャンピオンを破った最初のAIシステム）を振り返ることは、それが可能だと考えられる何十年も前に、ここでも役に立つ。
LLMのステップ2に相当するものを開発することは、データの壁を乗り越えるための重要な研究課題である（さらに言えば、最終的には人間レベルの知能を超える鍵となるだろう）。
以上のことから、データの制約は、今後数年間のAIの進歩を予測する際に、どちらに転んでも大きな誤差をもたらすと考えられる。LLMはまだインターネットと同じくらい大きな存在かもしれないが、本当にクレイジーなAGIには到達できないだろう）。しかし、私は、研究所がそれを解読し、そうすることでスケーリングカーブが維持されるだけでなく、モデルの能力が飛躍的に向上する可能性があると推測するのは妥当だと思う。
余談だが、このことは、今後数年間は現在よりも研究室間のばらつきが大きくなることを意味する。最近まで、最先端の技術は公表されていたため、基本的に誰もが同じことをやっていた。(レシピが公開されていたため、新参者やオープンソースのプロジェクトはフロンティアと容易に競合できた）。現在では、主要なアルゴリズムのアイデアはますます専有されつつある。今はフロンティアにいるように見えるラボでも、他のラボがブレークスルーを起こして先を急ぐ間に、データの壁にはまってしまうかもしれない。そして、オープンソースは競争するのがより難しくなるだろう。それは確かに物事を面白くするだろう。(そして、ある研究室がそれを解明すれば、そのブレークスルーはAGIへの鍵となり、超知能への鍵となる。）
続き I.GPT-4からAGIへ：OOMを数える(7) https://anond.hatelabo.jp/20240605210017
githubでなにか作ったものをアップロードするのは、自分向きではないことに気がついた。
私が仕事で作っているようなwebアプリケーションというのは、誰でも使える一般性の高いものではなく、もっと特定のビジネスに依存した特殊なものである。
だから一般的な誰でも使えるようなものを作るというのにはあまり慣れていないのだ。
なにか作る場合はkaggleのほうが遊び場として向いていると思っている。
kaggleで「コンペ」に参加するつもりはないし、あれはBERTが出現したぐらいからは、少なくともNLP(自然言語処理)界隈は不毛な場となってしまった。
指標があれば不毛なハックがある。それが現実というものである。
それに業務で実用レベルで使えるモデルというのは、もっと運用のしやすいシンプルなモデルである。
モンスターアンサンブルで精度がSOTAでーすピロローン！なんてことには興味がないが、コンペはそれを目指している。
ではなぜkaggleが良いかと言うと、データセットが転がっていて、notebookも簡単に作成できるからである。
「このデータをこうやって使うとこういうツールが作れる」「このデータをこうやって分析するとこういう知見が得られる」というのは、「web開発用のMVCフレームワークを作ります」よりも具体性がある。
そして特定のデータに対するモデリングをするために論文を調べるようなことになった場合は、勉強にもなる。
私は昔、自然言語処理のブログを書いていたが、実験したことのコードを載せるタイプの記事が多かった。
ところが自称データサイエンティストや自称NLPエンジニアがツイッター上で「ゴミのようなブログを書くな」と言っていて、自分が言われている気がして怖くなったのでブログを閉鎖した。
そういう「政治おじさん」との接触を最大限減らすには、ブログというフォーマットではダメだと思うわけである。
私のマグカップには"Talk is cheap, show me the code."と書かれている。
これはリーナストーバルズの名言だが、政治おじさんが近寄らない場所というのは、具体的なコードが存在する場所であると言えよう。
グリゴリー・ペレルマンは昔から政治が嫌いだったらしい。
友人と会話して政治的なことが出ると「◯◯君、それは政治だよ」とピシャリと指摘したと聞く。
ミレニアム懸賞問題の論文を提出し、それが評価される過程での政治が発生したときは「俺は政治家じゃねぇ！」とキレたようだ。
賞金も辞退し、数学会から手を引いてからは、オペラの鑑賞を趣味として質素な生活をしているらしい。
誰も解けない問題を解き、arxivに成果を出すことで出版社に存在する政治を避け、数学的証明の正しさだけで勝利を勝ち取った男がペレルマンその人である。
このストーリーを聞いて私は、この人こそ尊敬に値する数学者だと思った。
研究助成金をもらうための政治的活動に熱を入れる数々の自称研究者とは格が違う。
数年前はgithubでOSSを公開することがそういう趣味だと思い込んでいたが、スター数で評価されるという政治が存在することに気が付き、消極的になった。
社会でなにか評価されようとすることが政治なのだろう。ポアンカレ予想ですら中華が業績を奪おうと政治工作したのだから。
私はプログラミングを趣味と仕事の両方でやっているが、コンピュータはインターネットを通じて社会と繋がりすぎている。
だから世間と自分を比較して、自分はダメだと落ち込んで幸福度を下げているのだ。馬鹿らしい。
ここ１週間Cloudflare Workersを触ってるぞ。
とは言っても無料分でもめちゃ早くて快適だぞ。Cloudflare上の管理画面も軽いし好きになっちゃったぞ。
でも無料分だと1リクエスト10ミリ秒のCPU時間しか使えないのがちょっとね…。
Cron Triggerで定期実行できるのも10ms制限だから悲しい。
まぁDBからデータ取ってくるとかの時間はカウントされないから7ms以下で済んでるけどね。
バッチ処理的なあれが必要になったときはGitHub ActionsでCloudflareのREST API経由でやるのがお金がかからなくて良さそう。
あれってパブリックリポジトリだと無料でなんぼでも使えちゃうんだよね。（もちろんビットコイン掘削とかは駄目だろうけど。）スゴいね。
ChatGPTも無料だし、世の中のどえらいサービスがたくさん無料で良いね。
このまま何もかもが無料になれば良いのに。
