  |
はてなキーワード: 使用とは
ドッグフーディング (英: dogfooding) または「自社のドッグフードを食べる」「ドッグフードする」(Eating your own dog food、Drinking your own champagneとも言う)は、コンピュータ業界において、自社製品を開発して利用する組織の習慣で[1]、組織が実際の使用法で日々自分たちで製品を利用しながら製品テストを行うことである。日本語では単に「ドッグフード」ということもある。そのため、ドッグフーディングは品質管理として機能し、開発者自身による製品の自信を表す証言広告となる[2][3]。尚、日本企業では自社実践(じしゃじっせん)という言葉が相当する意味の言葉として使われている。 https://b.hatena.ne.jp/entry/4754599923450771872/comment/tor4kichi
20年位前にJTCのIT理解ゼロ経営層おじさんが、「新しい社内端末を優先的に使わせろ」とか言ってたの思い出して共感性羞恥を感じたのを思い出した
あーはずかしい
毎朝6時に起きる私は、まずベッドサイドに置いたLibrem 5スマートフォンに手を伸ばします。ハードウェアキルスイッチでカメラとマイクをオフにしているため、寝ている間も安心して眠ることができます。
目覚めの後、簡単なストレッチをしながら、Signalで昨晩のメッセージを確認します。フリーランスのソフトウェアエンジニアとして働く私にとって、世界中のクライアントとの連絡は欠かせません。
朝食を済ませると、私はLibrem 14のノートパソコンを起動します。このパソコンには、プライバシー保護に特化したPureOSがインストールされています。
私はまず、ProtonVPNを起動してインターネットに接続し、セキュアな環境を確保します。Torブラウザーを開き、プライバシー関連の最新ニュースをチェックするのが日課です。
次に、メールを確認し、必要なタスクを整理します。仕事の依頼やクライアントからの質問に対応する際、私はエンドツーエンド暗号化が施されたメールサービスを使用します。
午前中は、オープンソースプロジェクトへの貢献に時間を割きます。私はGitHubでプロジェクトをフォークし、コードの改善やバグ修正を行います。
仕事中、私はプライバシーを確保するために、全ての通信を暗号化し、GoogleやMicrosoftのサービスを一切使用しません。
必要なツールやソフトウェアは、全てオープンソースであり、信頼性の高いものを厳選しています。
昼食の時間になると、私は外出して近くの公園でサイクリングを楽しみます。自転車に乗ることで、リフレッシュし、健康を維持することができます。
公園では、持ち運びが簡単なRaspberry Piを使って、モバイルホットスポットを作成し、安全なインターネット接続を維持します。これにより、外出先でも安心してインターネットを利用できます。
午後は、クライアントのプロジェクトに集中します。私はクライアントの要求に応じてソフトウェアを開発し、そのコードを安全な方法で納品します。
私はまた、プライバシーに関する技術記事を執筆し、自身のブログに投稿します。これにより、自身の知識を共有し、他の人々にもプライバシーの重要性を理解してもらうことを目指しています。
夕方になると、私は写真撮影を楽しみます。カメラで風景や街の様子を撮影し、それをプライベートなクラウドストレージに保存します。
このクラウドストレージは、自分で管理しているため、第三者がデータにアクセスすることはありません。撮影が終わると、家に帰り、自分の写真を編集してブログに投稿します。
夜になると、一日の終わりにデバイスのセキュリティチェックを行います。最新のセキュリティパッチが適用されているか確認し、必要に応じてシステムを更新します。
また、バックアップを作成し、重要なデータを複数の安全な場所に保存します。最後に、Tails OSを使ってセキュアにブラウジングし、リラックスして一日の疲れを癒します。
YouTubeやインターネット上の懸垂できるようになるまでの情報は8割間違いだと思う。
最初、（足上げ）斜め懸垂を半年やってみたが全くできない。引く方向が違うから当たり前だと後で気づいた。
同時に行っていた（ジャンプ）ネガティブ懸垂、これも無理だった。ネガティブに効かせられるのはせいぜい1回目で、2回目からネガティブ負荷をかけるなんて不可能だったから。
次にジムに通ってラットプルダウンを行った。最初は使用重量が伸びていったが、停滞して、体重に近いラットプルはできても懸垂はできない、みたいな状態が続いた。
調べてみたらラットプルダウンと懸垂は動きは似てても使用する筋肉は違うらしかった。
その次に試したのがゴムバンドで補助する懸垂。これもゴムの強度をある一定に弱めると懸垂が上がらない状態がずっと続いた。
そんな時にインターネット検索してて元自衛官だった人の懸垂の練習を読んだ。ぶら下がりを維持する練習と、懸垂の引き上げた状態を維持する練習、この2つを徹底してやるものだった。
その2つを毎日朝晩やったらなんと2週間で懸垂が上がって、1か月でフルで5回もできるようになったのだった。
いいえ、その説明は正確ではありません。MidjourneyとDALL-Eを単純に比較することは適切ではありません。
1. 価格:
- MidjourneyとDALL-Eは異なる料金体系を持っています。
- MidjourneyにはDiscordベースの無料プランと、商用利用向けの有料プランがあります。
- DALL-Eは、APIを通じて利用が可能で、使用量に基づいた料金体系となっています。
- したがって、「Midjourneyは、DALL-Eの安価なバージョン」という説明は適切ではありません。
2. 技術:
- MidjourneyとDALL-Eは、異なる技術アプローチと実装を採用しています。
- 両者の詳細な技術的特徴は公開されていませんが、アーキテクチャや学習手法に違いがあると考えられます。
- したがって、一方が他方のバージョンであるとは言えません。
- MidjourneyとDALL-Eは、生成する画像の特性や傾向が異なります。
- Midjourneyは、幻想的でアーティスティックなイラストを得意としています。
- DALL-Eは、より幅広いスタイルの画像生成が可能で、写真のようにリアルな画像生成にも強みがあります。
4. 開発主体:
- MidjourneyはMidjourney社によって開発されたのに対し、DALL-EはOpenAI社によって開発されました。
- 両者は独立した企業であり、相互に関連するものではありません。
したがって、「MidjourneyはDALL-Eの安価なバージョン」という説明は、技術的にも概念的にも正確ではありません。両者は独自の特徴を持つ画像生成AIであり、単純に比較することは適切ではないでしょう。
山奥SEOは、競争の激しい一般的なキーワードではなく、ニッチで専門性の高いキーワードに特化してWebサイトの上位表示を目指すSEO手法です。今回は、よりニッチな検索ワードを使用して山奥SEOを実践し、その成果を共有します。この記事では、キーワードの策定方法、作成した記事の内容、そしてその結果について詳しく解説します。
まず、ターゲットとするニッチなキーワードを見つけるために、以下の手順を踏みました。
SEOツール（Googleキーワードプランナー、Ahrefsなど）を使用して、検索ボリュームが非常に低く、競合がほとんどないキーワードをリサーチしました。
以下のような、検索ボリュームが0〜100程度のキーワードを選びました。
ユーザーが検索する際にどのような情報を求めているかを考え、そのニーズに応える形でキーワードを決定しました。
選定したキーワードに基づき、以下のようなコンテンツを作成しました。
タイトルにキーワードを盛り込み、検索エンジンとユーザーに対して記事の内容を明確に示しました。例えば、「家庭用ソーラー充電DIYキット：初心者でも簡単にできる設置ガイド」などです。
記事の本文には、選定したキーワードに関連する情報を詳しく網羅しました。具体的には、ソーラー充電キットの選び方、設置手順、必要な工具、注意点など、ユーザーが求める情報を過不足なく提供しました。
画像や動画、図解などの視覚的要素を活用し、ユーザーが情報を理解しやすいように工夫しました。
選定したニッチなキーワードで検索上位に表示されるようになりました。特に「家庭用ソーラー充電DIYキット」では、検索結果の1ページ目に表示されることが多くなりました。
検索エンジンからのオーガニックトラフィックが増加し、特定のニッチなトピックに関心のあるユーザーからのアクセスが増えました。
記事内容が具体的で役立つものであったため、ユーザーからの感謝のコメントやソーシャルメディアでのシェアが増え、リピーターも増加しました。
山奥SEOを実践することで、競合が少ないニッチなキーワードで効果的に上位表示を達成し、トラフィックを増加させることができました。適切なキーワード選定と高品質なコンテンツの提供により、ユーザーの信頼を得て、持続的なトラフィックの増加を実現することが可能です。
最も大きな課題は、競合が少なく、かつユーザーの需要がある適切なニッチキーワードを見つけることでした。多くの時間をキーワードリサーチに費やしましたが、検索ボリュームが極端に低いキーワードも多く、実際にトラフィックを獲得できるかどうかの見極めが難しかったです。
ニッチなトピックに関する情報を提供するため、専門的な知識や詳細な情報が必要でした。特に、独自の視点や具体的な事例を盛り込むためには、多くの調査と時間が必要でした。
作成したコンテンツを放置せず、継続的に更新しなければなりませんでした。情報の鮮度を保つために、定期的なリサーチと更新作業が求められました。
山奥SEOでは一次情報の提供が重要ですが、被リンクを獲得するためには、他サイトから引用されるような高品質なコンテンツを作成する必要がありました。これもまた、時間と労力を要する部分でした。
GoogleキーワードプランナーやAhrefs、SEMrushなどのツールを活用して、検索ボリュームが低く、競合が少ないキーワードをリサーチします。特に、検索ボリュームが0〜100程度のキーワードをターゲットにするのが効果的です。
キーワードを選定する際は、ユーザーが検索する際にどのような情報を求めているかを考慮します。具体的な悩みや質問に答える形でキーワードを選定することで、ユーザーにとって価値のあるコンテンツを提供できます。
検索ボリュームは少ないが、特定のニーズに合致するロングテールキーワードを活用します。例えば、「家庭用ソーラー充電DIYキットの選び方」や「手作り石けんローズマリーオイルの作り方」など、詳細で具体的なキーワードを狙います。
選定したキーワードで上位表示されている競合サイトを分析し、どのようなコンテンツが効果を上げているかを確認します。これにより、自分のコンテンツがどのように差別化できるかを把握します。
キーワードがユーザーの検索意図に合致しているかを確認します。ユーザーがそのキーワードで何を求めているのかを理解し、それに応える内容を提供することが重要です。
例として、以下のようなニッチキーワードを選定し、コンテンツを作成しました。
内容: ソーラー充電キットの選び方、設置手順、必要な工具、注意点などを詳しく解説。
結果: 検索結果の1ページ目に表示され、オーガニックトラフィックが増加。
内容: ローズマリーオイルを使った手作り石けんの作り方、材料、手順、効果などを紹介。
結果: 専門性の高いコンテンツとして評価され、ユーザーからの感謝のコメントやシェアが増加。
山奥SEOを実践することで、競合が少ないニッチなキーワードで効果的に上位表示を達成し、トラフィックを増加させることができました。適切なキーワード選定と高品質なコンテンツの提供により、ユーザーの信頼を得て、持続的なトラフィックの増加を実現することが可能です。
個人の能力は結局、発達した能力であるが、当然、赤ちゃんが何も理解できないし、何もできないように、発達していなければ何も理解できないのは人類の常識である。
いくら、哲学の原理が分かっていても、その個人がそれに相応する発達をしていなければ、ボゴモロフ不等式のようなあまりにも規模の大きなものは理解できるはずがない。
テレンスタオの定理も、結局、あまりにも規模の大きな定理であるため、 エクセレントサイレントジェネレーターというのは、デンヨーが開発して組み立てた、電源であって、箱型を呈し、
大きなものが１個、小さいものが１個、赤羽ゴルフ場内に設置されている。多くの技術を用いて次第に完成した商品であることはいうをまたない。このような商品とその辺の石ころは
同じものであっても、前者が構成されたもので、後者は自然物で何ら技術を実施していないのであるから、その価値が全く違うのは明らかである。 なんら自然力を用いず、装置を使用しないものは
特許法にいう発明に該当しないと解されている。フェルマーの最終定理は解くのが難しいという点に着目し、それ自体を自然力として捉え、暗号鍵の一部を構成する場合は、暗号鍵全体が
発明に該当するとされたが、フェルマーの定理がＡＢＣ予想により解かれた場合は、当該暗号鍵の要素がなくなるとして、特許権を喪失する可能性が指摘されている。
なんじゃこりゃ
https://zenn.dev/nobkz/articles/46d25288a3727e
小脳レベルで使用できるUIと、大脳レベルで使用するUIがあると思う
前者は学習コストが高いが速く自由自在に使える、後者は学習コストが低いが誰でもすぐ使える
最近は圧倒的に後者が幅を利かせていて、業務を非効率にしているシーンが多くある
前者、後者で違うところは多いが、特に違うのは、アクションをした時の結果がいかに固定されているかだ
専用の画面・ボタンが沢山用意されていて、常に同じ結果を返すならば、非常に安定したUIになる
ただしそれぞれどういう結果をもたらすかを覚えるのに時間がかかる
後者にとって良いのは、今必要な画面・ボタンのみを、必要なだけ用意することだ
これは分かりやすいんだけど、配置も沢山変わるし、複数回実行した時にどうなるかというのが曖昧だったりする
なんなら、実行して、結果を見てようやくアクションが正しかったか判断できるようなUIも多い
こういう後者向けのUIを前者に導入すると当然オペレーションが遅くなったり、ミスや不明な結果につながる
（許されるのは、全てが基本的に自動で処理され、結果や判断のみ人間がする場合、この場合は後者でよくなる）
あと、券売機なんかも最近は後者になりつつあるよね、前者でいいのに
今は「ボタンを何回押すかで結果が変わる」みたいなものも多いから後者になりつつあるけど
こういう、スマホ以降に幅を利かせているUIは信者がちょいちょいいてビビる、というかきつい
「よりシンプルに、ボタンを少なく、インタラクティブに」を目指しすぎて、複雑さを押し込めた結果使いづらくなっているUIが沢山ある
それ誰が実装すると思ってんだ、ほんとくたばってほしい
BBCラジオインタビュー：キャス博士に訊く、キャス・レビューついて。
https://www.jegma.jp/entry/CassReview-BBC
女性司会者：英国の18歳未満を対象としたジェンダー・アイデンティティ・医療サービスに関する報告書（レビュー）によると、医学的介入に関する調査不足と著しく弱いエビデンスに失望させられているといいます。小児科医ヒラリー・キャスの報告書は、こうも語っています。専門家たちは、彼女がジェンダーに関する議論の有毒性と呼ぶもののために、自分たちの意見をオープンに議論することを恐れてきた、と。
男性インタビュアー：待ちに待った、子どものジェンダー医療に関するキャスの報告書の結論は、医学界に響き渡るシンプルで手厳しい一文を含んでいます。ほとんどの若者にとって、医学的な治療法はジェンダーに関連した苦痛に対処する最良の方法ではないと、ヒラリー・キャス博士は述べているのです。
インタビュアー：思春期ブロッカーが安全に使用できるという証拠はありますか？
キャス博士：いいえ、今のところ、使用しても絶対に安全だという十分な証拠はありません。
思春期ブロッカーは、思春期が早すぎるという全く別の症状の子供や、ある種の癌を患う大人にも使われています。しかし、これは思春期を抑制するという新しい使用法です。ブロッカーが脳の発達に長期的にどのような影響を与えるかは分かっていません、というのも思春期には脳の発達が急速に進むからです。
また、ブロッカーがジェンダーや性心理の発達の軌跡を変えてしまうかどうかも分かっていないのです。
インタビュアー：医学の世界では、未知のものが一つの分野で大量に使用されるというのは標準的なことなのでしょうか？
キャス博士：研究チームは臨床試験から始めましたが、臨床試験結果が出る前に日常的な処方に移行し、さらに幅広い若年層に処方するようになった時点で、エビデンスから逸脱しました。
ナショジオの菌類特集読んでたら、霊芝（干からびたカタツムリみたいなキノコで、漢方になる）はマジで癌に効く可能性があるらしい。
西洋科学の分析でわかるのはいいが、昔の人間はなぜ、これが体にいいとわかったんだ。癌患者AとBの一方には霊芝を食わせて、もう一方には食わせない、を百年単位で繰り返し、別のコミュニティと共有する中で確立したのか。
それとも、薬効を謳ったもので偽物もたくさんあるわけで（水銀とか）、近代の研究で迷信が淘汰された中でたまたま残った本物が、いかにも昔からの叡智の結晶みたいに見えるだけなのか。わからん。
追記。
不思議な点をもっと書き連ねると、同じ癌患者Aと Bに霊芝を与えるのでも、Aと Bで体質も違えば癌の種類も違うだろうから、薬効はそう簡単にわからないはずだ。
A Bどころじゃない膨大なサンプルが必要だと思うが、今度は誰が、それを記録して伝承しているのだ。シャーマンとか本草学か。
また、霊芝だけに使用を限定したとも思えないので、薬草も使えば、動物の骨とか、鉱物とかも併用しただろうし、その中で、「よし、霊芝だな…」と特定され成果として残るのはマジですごく不思議。
いや、特定されきってないから変な迷信とかがまだいっぱい残ってるんだ、とか、動物の進化が奇跡的な形を生むように、膨大な時間の流れにはそれだけのトライアンドエラーを許す余地があるとか、今は人道的にNGだけど、昔は奴隷とか賎民にめちゃくちゃやれたから発達したんだ、とか、合理的な説明はつくかもしれないが、「？」というデカい疑問符は消えない。
もっとも、ナショジオでも「効く可能性がある」ぐらいに書かれているだけなので、実際にどの程度奏功するかどうかは知らない。「信じて飲んだけど効かなくて俺死んじゃったよ」と言われても、線香ぐらいは立ててもいいが責任は取れないので、付記しておく。
女スペース男児問題女児親だけど男児の安全のため女性トイレ使用は構わないと思っている。そもそも未就学だとトイレは男女で分かれていない園が多いし娘も気にしてない。Xみたけどフェミでも女児親でも嫌と言ってる人は一部2024/06/05 23:25
娘は未就学で男女でトイレ分かれてないし(幼稚園保育園はそれが普通)
気にするタイプでもない。
これはおそらく3つの中で最も簡単な方法だ。現在のChatGPTは、基本的に、テキストを入力できる孤立した箱の中に座っている人間のようなものだ。初期のアンホブリング改良では、個々の孤立したツールの使い方をモデルに教えていましたが、マルチモーダルモデルでは、近いうちにこれを一挙にできるようになると期待しています。
つまり、Zoomでの通話に参加したり、オンラインで調べ物をしたり、メッセージや電子メールを送ったり、共有されたドキュメントを読んだり、アプリや開発ツールを使ったりといったことだ。(もちろん、より長いホライゾン・ループでモデルがこれを最大限に活用するためには、テスト時間のコンピューティングをアンロックする必要がある。)
最終的には、ドロップイン・リモートワーカーのようなものができると期待している。エージェントは、あなたの会社に入社し、新しい人間の雇用のようにオンボードされ、Slackであなたや同僚にメッセージを送り、あなたのソフトウェアを使用し、プルリクエストを行い、大きなプロジェクトがあれば、人間が独立してプロジェクトを完了するために数週間留守にするのと同等のことができる。これを実現するためには、GPT-4よりもいくらか優れたベースモデルが必要だろうが、おそらくそれほどでもないだろう。
https://situational-awareness.ai/wp-content/uploads/2024/06/devin.gif
Devinは、完全に自動化されたソフトウェア・エンジニアを作るために、モデル上の「エージェンシー・オーバーハング」／「テストタイム・コンピューティング・オーバハング」を解除する初期のプロトタイプだ。Devinが実際にどの程度機能するかはわからないし、このデモは、適切なチャットボット→エージェントのアンホブリングがもたらすものに比べれば、まだ非常に限定的なものだが、近々登場するもののティーザーとしては役に立つだろう。
ところで、私は、アンホブリングの中心性が、商業的応用という点で、少々興味深い「ソニックブーム」効果につながると期待している。現在とドロップイン・リモートワーカーの中間モデルは、ワークフローを変更し、統合して経済的価値を引き出すためのインフラを構築するために、膨大な手間を必要とする。ドロップイン・リモートワーカーは、統合が劇的に簡単になる。つまり、リモートでできるすべての仕事を自動化するために、ドロップインするだけでいいのだ。つまり、ドロップイン・リモートワーカーが多くの仕事を自動化できるようになる頃には、中間モデルはまだ完全に活用され統合されていないため、生み出される経済価値のジャンプはやや不連続になる可能性がある。
https://situational-awareness.ai/wp-content/uploads/2024/06/overview_ooms_gpt2togpt4.png
https://situational-awareness.ai/wp-content/uploads/2024/06/overview_ooms_2023to2027.png
数字をまとめると、GPT-4に続く4年間で、2027年末までにGPT-2からGPT-4規模のジャンプが再び起こると（おおよそ）予想される。
GPT-4のトレーニングに3ヶ月かかったとしよう。2027年には、一流のAIラボはGPT-4レベルのモデルを1分で訓練できるようになるだろう。OOMの効果的なコンピュート・スケールアップは劇的なものになるだろう。
それは我々をどこへ連れて行くのだろうか？
https://situational-awareness.ai/wp-content/uploads/2024/06/overview_counting_the_ooms.png
GPT-2からGPT-4までで、私たちは～未就学児から～賢い高校生になった。とんでもないジャンプだ。もしこれが、私たちが今一度カバーする知能の差だとしたら、それは私たちをどこに連れて行くのだろうか？私たちは、それが私たちをとてもとても遠くに連れていっても驚かないはずだ。おそらく、ある分野の博士や最高の専門家を凌駕するようなモデルまで到達するだろう。
(このことを考える1つの良い方法は、現在のAIの進歩の傾向は、子供の成長のおよそ3倍のペースで進んでいるということだ。あなたの3倍速の子どもは高校を卒業したばかりだが、いつの間にかあなたの仕事を奪っていくだろう！)
続き I.GPT-4からAGIへ：OOMを数える(10) https://anond.hatelabo.jp/20240605211837
最後に、定量化するのが最も難しいが、それに劣らず重要な改善のカテゴリーを紹介しよう。
難しい数学の問題を解くように言われたとき、頭に浮かんだことを即座に答えなければならないとしたらどうだろう。最も単純な問題を除いて、苦労するのは明らかだろう。しかしつい最近まで、LLMにはそうやって数学の問題を解かせていた。その代わり、私たちのほとんどはスクラッチパッドで段階的に問題を解いていき、その方法ではるかに難しい問題を解くことができる。「思考の連鎖」プロンプトは、LLMのそれを解き放った。生の能力は優れているにもかかわらず、明らかな足かせがあるため、LLMは数学が苦手なのだ。
私たちはここ数年で、モデルの「足かせを外す」ことに大きな進歩を遂げました。これは単に優れたベースモデルをトレーニングするだけでなく、アルゴリズムの改良によってモデルの能力を引き出すものです：
足場作り。CoT++について考えてみよう：ただ問題を解くようモデルに求めるのではなく、あるモデルに攻撃計画を立てさせ、別のモデルに可能性のある解決策をたくさん提案させ、別のモデルにそれを批評させる、といった具合だ。例えば、HumanEval（コーディング問題）では、単純な足場作りによってGPT-3.5が足場なしのGPT-4を上回った。SWE-Bench（実世界のソフトウェアエンジニアリングのタスクを解くベンチマーク）では、GPT-4は~2%しか正しく解くことができませんが、Devinのエージェントの足場があれば14-23%に跳ね上がります。(後ほど詳しく説明するが、エージェントのアンロックはまだ初期段階に過ぎない。)
ツール：もし人間が電卓やコンピュータを使うことを許されなかったらと想像してみてほしい。まだ始まったばかりだが、ChatGPTはウェブブラウザを使ったり、コードを実行したりできるようになった。
エポックAIによる研究によると足場作りやツールの使用など、これらのテクニックのいくつかを調査したところ、このようなテクニックは多くのベンチマークで通常5～30倍の効果的な計算量の向上をもたらすことがわかった。METR（モデルを評価する組織）も同様に、同じGPT-4ベースモデルからのアンホブリングによって、エージェントタスクのセットで非常に大きなパフォーマンスの向上を発見しました。
https://situational-awareness.ai/wp-content/uploads/2024/06/metr_gains_over_time-1024x597.png
これらをコンピュートとアルゴリズムの効率で統一した実効的なコンピュート規模に当てはめることは困難ですが、少なくともコンピュート規模の拡大やアルゴリズムの効率とほぼ同規模の大きな進歩であることは明らかです。(また、アルゴリズムの進歩が中心的な役割を担っていることも浮き彫りになっています。0.5OOM/年の計算効率は、すでに重要なものではありますが、ストーリーの一部に過ぎません。）
「アンホブリング」こそが、実際にこれらのモデルが有用になることを可能にしたのであり、今日多くの商業アプリケーションの足かせとなっているものの多くは、この種のさらなる「アンホブリング」の必要性であると私は主張したい。実際、今日のモデルはまだ信じられないほど足かせが多い！例えば
ここでの可能性は非常に大きく、私たちはここで急速に低空飛行の果実を摘んでいる。これは非常に重要です。"GPT-6 ChatGPT "を想像するだけでは完全に間違っています。 GPT-6＋RLHFと比べれば、進歩は段違いだ。2027年までには、チャットボットというより、エージェントのような、同僚のようなものが登場するだろう。
続き I.GPT-4からAGIへ：OOMを数える(8) https://anond.hatelabo.jp/20240605210232
これらすべての重要な変動要因になりうるものがあります。つまり、より多くのスクレイピング・データでより大きな言語モデルをプリ・トレーニングするという素朴なアプローチが、まもなく深刻なボトルネックにぶつかり始める可能性があるということだ。
フロンティア・モデルはすでにインターネットの多くで訓練されている。例えば、Llama 3は15T以上のトークンで学習された。LLMのトレーニングに使用されたインターネットの多くのダンプであるCommon Crawlは、生で100Tトークンを超えるが、その多くはスパムや重複である（例えば、比較的単純な重複排除は30Tトークンにつながり、Llama 3はすでに基本的にすべてのデータを使用していることになる）。さらに、コードのようなより特殊な領域では、トークンの数はまだまだ少ない。例えば、公開されているgithubのリポジトリは、数兆トークンと推定されている。
データを繰り返すことである程度遠くまで行くことができるが、これに関する学術的な研究は、16エポック（16回の繰り返し）の後、リターンは非常に速く減少し、ゼロになることを発見し、繰り返しはそこまでしか得られないことを示唆している。ある時点で、より多くの（効果的な）計算を行ったとしても、データ制約のためにモデルをより良いものにすることは非常に難しくなる。私たちは、言語モデリング-プレトレーニング-パラダイムの波に乗って、スケーリングカーブに乗ってきた。大規模な投資にもかかわらず、私たちは停滞してしまうだろう。すべての研究室が、新しいアルゴリズムの改善や、これを回避するためのアプローチに大規模な研究の賭けに出ていると噂されている。研究者たちは、合成データからセルフプレー、RLアプローチまで、多くの戦略を試していると言われている。業界関係者は非常に強気のようだ：ダリオ・アモデイ（Anthropic社CEO）は最近、ポッドキャストでこう語った：「非常に素朴に考えれば、我々はデータ不足からそれほど遠くない[...]私の推測では、これが障害になることはない[...]。もちろん、これに関するいかなる研究結果も独占的なものであり、最近は公表されていない。
インサイダーが強気であることに加え、サンプル効率をはるかに向上させたモデルをトレーニングする方法（限られたデータからより多くのことを学べるようにするアルゴリズムの改良）を見つけることが可能であるはずだという強い直感的な理由があると思う。あなたや私が、本当に密度の濃い数学の教科書からどのように学ぶかを考えてみてほしい：
モデルをトレーニングする昔の技術は単純で素朴なものだったが、それでうまくいっていた。今、それがより大きな制約となる可能性があるため、すべての研究室が数十億ドルと最も賢い頭脳を投入して、それを解読することを期待すべきだろう。ディープラーニングの一般的なパターンは、細部を正しく理解するためには多くの努力（そして多くの失敗プロジェクト）が必要だが、最終的には明白でシンプルなものが機能するというものだ。過去10年間、ディープラーニングがあらゆる壁をぶち破ってきたことを考えると、ここでも同じようなことが起こるだろう。
さらに、合成データのようなアルゴリズムの賭けの1つを解くことで、モデルを劇的に改善できる可能性もある。直感的なポンプを紹介しよう。Llama 3のような現在のフロンティアモデルは、インターネット上でトレーニングされている。多くのLLMは、本当に質の高いデータ（例えば、難しい科学的問題に取り組む人々の推論チェーン）ではなく、このようながらくたにトレーニング計算の大半を費やしている。もしGPT-4レベルの計算を、完全に極めて質の高いデータに費やすことができたらと想像してみてほしい。
AlphaGo（囲碁で世界チャンピオンを破った最初のAIシステム）を振り返ることは、それが可能だと考えられる何十年も前に、ここでも役に立つ。
LLMのステップ2に相当するものを開発することは、データの壁を乗り越えるための重要な研究課題である（さらに言えば、最終的には人間レベルの知能を超える鍵となるだろう）。
以上のことから、データの制約は、今後数年間のAIの進歩を予測する際に、どちらに転んでも大きな誤差をもたらすと考えられる。LLMはまだインターネットと同じくらい大きな存在かもしれないが、本当にクレイジーなAGIには到達できないだろう）。しかし、私は、研究所がそれを解読し、そうすることでスケーリングカーブが維持されるだけでなく、モデルの能力が飛躍的に向上する可能性があると推測するのは妥当だと思う。
余談だが、このことは、今後数年間は現在よりも研究室間のばらつきが大きくなることを意味する。最近まで、最先端の技術は公表されていたため、基本的に誰もが同じことをやっていた。(レシピが公開されていたため、新参者やオープンソースのプロジェクトはフロンティアと容易に競合できた）。現在では、主要なアルゴリズムのアイデアはますます専有されつつある。今はフロンティアにいるように見えるラボでも、他のラボがブレークスルーを起こして先を急ぐ間に、データの壁にはまってしまうかもしれない。そして、オープンソースは競争するのがより難しくなるだろう。それは確かに物事を面白くするだろう。(そして、ある研究室がそれを解明すれば、そのブレークスルーはAGIへの鍵となり、超知能への鍵となる。）
続き I.GPT-4からAGIへ：OOMを数える(7) https://anond.hatelabo.jp/20240605210017
どうしてこうなった？ディープラーニングの魔法は、それがただ機能するということであり、あらゆる場面で否定的な意見にもかかわらず、その傾向線は驚くほど一貫している。
https://situational-awareness.ai/wp-content/uploads/2024/06/sora_scaling-1024x383.png
効果的な計算のOOMが増えるごとに、モデルは予測通り、確実に良くなっていく。OOMを数えることができれば、能力の向上を（大まかに、定性的に）推定することができる。そうやって、先見の明のある数人がGPT-4の到来を予見したのだ。
GPT-2からGPT-4までの4年間の進歩を、スケールアップの3つのカテゴリーに分解することができる：
1. コンピュート：計算：これらのモデルを訓練するために、より大きなコンピューターを使うようになった。
2.アルゴリズムの効率化：アルゴリズムの進歩には継続的な傾向がある。これらの多くは「コンピュート・マルチプライヤ」として機能し、有効なコンピュート量の増加という統一された尺度に乗せることができます。
3.「趣味のない」利益：デフォルトでは、モデルは多くの素晴らしい生の能力を学習しますが、あらゆる種類の間抜けな方法で足かせとなり、実用的な価値が制限されます。人間のフィードバックからの強化学習（RLHF）、思考の連鎖（CoT）、ツール、足場などの単純なアルゴリズムの改善により、潜在的な能力を大きく引き出すことができる。
これらの軸に沿って、改善の「OOMを数える」ことができる。つまり、有効計算量の単位でそれぞれのスケールアップをトレースするのだ。3倍は0.5OOM、10倍は1OOM、30倍は1.5OOM、100倍は2OOMといった具合だ。2023年から2027年まで、GPT-4の上に何を期待すべきかを見ることもできる。
ひとつひとつ見ていくが、OOMの数を急速に増やしていることは明らかだ。データの壁には逆風が吹いている可能性があり、それについては後述するが、全体的には、2027年までにGPT-4の上に、GPT-2からGPT-4規模のジャンプがもう1回起こると予想される。
まず、最近の進歩の原動力として最もよく議論されている、モデルへの（大量の）コンピュート投入について説明します。
多くの人は、これは単にムーアの法則によるものだと考えている。しかし、ムーアの法則が全盛期を迎えていた昔でさえ、その進歩は比較的緩やかなものでした。しかし、ムーアの法則が全盛期だった昔でさえ、10年で1～1.5OOMと、比較的ゆっくりとしたスピードだった。(かつては1つのモデルに100万ドルを費やすことさえ、誰も考えもしないことだった。）
| モデル | 推定コンピュート | 成長率 |
|---|---|---|
| GPT-2 (2019) | ~4e21 FLOP | |
| GPT-3 (2020) | ~3e23 FLOP + | ~2 OOMs |
| GPT-4 (2023) | 8e24～4e25 FLOP + | ~1.5～2 OOMs |
エポックAI（AIトレンドの優れた分析で広く尊敬されている情報源）の公開推定値を使用して、2019年から2023年までのコンピュートスケールアップを追跡することができます。GPT-2からGPT-3へのスケールアップは迅速で、小規模な実験から大規模な言語モデルを訓練するためにデータセンター全体を使用するまでにスケールアップし、コンピュートのオーバーハングが大きくなりました。GPT-3からGPT-4へのスケールアップでは、次のモデルのためにまったく新しい（はるかに大きな）クラスタを構築しなければならないという、最新の体制に移行しました。それでも劇的な成長は続いています。エポックAIの試算によると、GPT-4のトレーニングでは、GPT-2の3,000倍から10,000倍の計算量を使用しています。
大雑把に言えば、これは長期的なトレンドの継続に過ぎない。過去10年半の間、主に投資（およびGPUやTPUの形でAIワークロードに特化したチップ）の幅広いスケールアップのため、フロンティアAIシステムに使用されるトレーニング計算量は、およそ〜0.5OOM/年で成長してきた。
https://situational-awareness.ai/wp-content/uploads/2024/06/compute_long_run_trend-1024x968.png
GPT-2からGPT-3への1年間のスケールアップは異例のオーバーハングであったが、長期的なトレンドが続くことは間違いない。SF-rumor-millは、巨額のGPU受注の劇的な話で一杯だ。その投資は並大抵のものではないが、動き始めている。
この分析によれば、2027年末までにさらに2OOMsのコンピュート（数十億ドル規模のクラスター）が実現する可能性は非常に高いと思われる。さらに＋3OOMsのコンピュート（1,000億ドル規模以上）に近いクラスターも可能性がありそうだ（マイクロソフト／OpenAIで計画中と噂されている）。
https://situational-awareness.ai/wp-content/uploads/2024/06/stacked_compute-1024x866.png
続き I.GPT-4からAGIへ：OOMを数える(5) https://anond.hatelabo.jp/20240605205449
「被害者の女装は若い女性を惹き付けるための仮装とみられています。捜査のなかで、被害者にホテルに連れ込まれるなどした女性は十数人いたそうです。被害者は日頃からスマホを2台所有していて、1台はメイン用で、もう1台は画像や動画データの保存用で複数の女性のデータが残っていました」
瑠奈容疑者は殺害直後に被害者のスマホを破壊し、父親の車の中からは被害者のSIMカードが見つかっている。警察によって復元されたスマホのデータには捜査員も驚愕する画像が残されていた。
「瑠奈容疑者は事件前に複数回、被害者と会っていたようです。彼女はホテルで被害者に襲われることもあった。被害者はいろいろな道具を使用して瑠奈容疑者を辱めて、その一連の行為がスマホのデータに残されていた。父親はホテルで娘が被害者に襲われたことを知り、なんらかのかたちで画像の存在も把握し、犯罪に至ったのではないか」
客観的事物的、物理的に言って、そのような秩序内容のものではないことが１つ。 ありもしないもの、 存在していない事実を言っても仕方がない。
次に、希望しているものを予想している場合には、作り上げる必要がある。 （最高裁大法廷判決昭和３５年１月１９日行政集６５巻２号１３４４頁参照）
ヒトの大腸を電波指令によって動かすプログラムを光電波でヒトの大脳の表面に送信し大脳を操作し自動的に大脳から腸に指令を出し排便を促進する発明
Colと、ωアッバスターというファンクターを使用して強制する。
二次凸多面体に代数的構造を埋め込む研究 Gelfant-Zelvinski Iwan-Syvelman Mikhail-Kapranov による研究
考えていないし実行していない。 存在していないものの例・・・ お前に対する興味 証明は簡単で、お前のいるところにトラメガを撃ち込んでいる時点でものが存在していないし
技術的に作ったり、あるようにすることができないことが明らか
「天安門事件」という言葉をツイッターのプロフィールに入れるとスパム除けになるという主張が一部で広がっています。
中国政府は「グレートファイアウォール」と呼ばれる厳重なインターネット検閲を行っています。
このため、中国国内から直接ツイッターにアクセスすることはできません。
もし中国国内のスパマーがツイッターにアクセスするとすれば、彼らはVPNなどの検閲回避手段を使用します。
これにより、中国国内の検閲の影響を受けずにアクセスすることが可能です。
したがって、「天安門事件」という単語を含めることでスパムを防ぐことは不可能です。
「天安門事件」という言葉をプロフィールに入れることでスパムを防げると主張する人々がいますが、これに対する統計的な検証や信頼できるデータは存在しません。
効果があるかどうかを判断するためには、信頼性のあるデータに基づいた検証が必要です。
しかし、現時点でそのような研究やデータは存在しないため、単なる噂に過ぎません。
天安門事件は1989年に北京で発生し、多数の死傷者を出した悲劇的な事件です。
この事件をスパム除けの手段として軽々しく利用することは、事件の被害者やその遺族に対する無神経な行為です。
歴史的な悲劇を自分の利益のために利用することは倫理的に問題があります。
このような根拠のない情報を信じて実行することは、自らの情報リテラシーの低さを露呈する行為です。
これらを見分け、正しい情報を取捨選択する能力が求められます。
疑わしい情報に対しては必ずその根拠を確認し、信頼性のある情報源を参照することが重要です。
「天安門事件」をツイッターのプロフィールに入れることでスパムを防げるという主張には根拠がありません。
中国国内のスパマーはVPNを使用しており、検閲の影響を受けません。
また、この方法の効果についての信頼できるデータも存在しません。
さらに、天安門事件を軽視する行為は倫理的に問題があり、情報リテラシーの低さを露呈することにもなります。
