  |
はてなキーワード: スタックとは
競プロと機械学習系のクソコード・クソジャークっぷりが取り立たされてるけど、クソコード・クソジャークっぷりは何も競プロerと機械学習erの専売特許ではない。
コンピュートへの大規模な投資が注目される一方で、アルゴリズムの進歩も同様に重要な進歩の原動力であると思われる（そして、これまで劇的に過小評価されてきた）。
アルゴリズムの進歩がどれほど大きな意味を持つかを理解するために、MATHベンチマーク（高校生の競技用数学）において、わずか2年間で～50%の精度を達成するために必要な価格が下がったことを示す次の図を考えてみてください。(比較のために、数学が特に好きではないコンピュータサイエンスの博士課程の学生が40%のスコアを出したので、これはすでにかなり良いことです)。推論効率は2年足らずで3OOMs-1,000倍近く向上した。
https://situational-awareness.ai/wp-content/uploads/2024/06/math_inference_cost-1024x819.png
これは推論効率だけの数字だが（公開データから推論するのが難しいトレーニング効率の向上と一致するかどうかはわからない）、アルゴリズムの進歩は非常に大きく、また実際に起こっている。
この記事では、アルゴリズムの進歩を2種類に分けて説明します。まず、「パラダイム内」でのアルゴリズムの改良を取り上げることにしま す。例えば、より優れたアルゴリズムによって、同じパフォーマンスを達成しながら、トレーニングの計算量を10倍減らすことができるかもしれません。その結果、有効計算量は10倍（1OOM）になります。(後ほど「アンホブリング」を取り上げますが、これはベースモデルの能力を解き放つ「パラダイム拡張/アプリケーション拡張」的なアルゴリズムの進歩と考えることができます)。
一歩下がって長期的な傾向を見ると、私たちはかなり一貫した割合で新しいアルゴリズムの改良を発見しているようです。しかし、長期的なトレンドラインは予測可能であり、グラフ上の直線である。トレンドラインを信じよう。
アルゴリズム研究がほとんど公開されており、10年前にさかのぼるデータがある）ImageNetでは、2012年から2021年までの9年間で、計算効率が一貫して約0.5OOM/年向上しています。
アルゴリズムの進歩を測定することができます。同じ性能のモデルを訓練するために必要な計算量は、2012年と比較して2021年にはどれくらい少なくなっているのでしょうか？その結果、アルゴリズムの効率は年間0.5 OOMs/年程度向上していることがわかります。出典Erdil and Besiroglu 2022.
これは非常に大きなことです。つまり、4年後には、～100倍少ない計算量で同じ性能を達成できるということです（同時に、同じ計算量ではるかに高い性能も達成できます！）。
残念ながら、研究室はこれに関する内部データを公表していないため、過去4年間のフロンティアLLMのアルゴリズムの進歩を測定することは難しい。EpochAIは、言語モデリングに関するImageNetの結果を再現した新しい研究を行っており、2012年から2023年までのLLMのアルゴリズム効率のトレンドは、同様に～0.5OOM/年であると推定しています。(しかし、これはエラーバーが広く、また、主要なラボがアルゴリズム効率の公表を停止しているため、最近の上昇を捕捉していません）。
https://situational-awareness.ai/wp-content/uploads/2024/06/llm_efficiency_epoch-1-1024x711.png
Epoch AIによる言語モデリングにおけるアルゴリズム効率の推定。この試算によると、私たちは8年間で～4OOMの効率向上を達成したことになります。
より直接的に過去4年間を見ると、GPT-2からGPT-3は基本的に単純なスケールアップでした（論文によると）が、GPT-3以降、公に知られ、公に干渉可能な多くの利益がありました：
最近リリースされたGemini 1.5 Flashは、"GPT-3.75レベル "とGPT-4レベルの間の性能を提供する一方で、オリジナルのGPT-4よりも85倍/57倍（入力/出力）安い（驚異的な利益！）。
公開されている情報を総合すると、GPT-2からGPT-4へのジャンプには、1-2 OOMのアルゴリズム効率向上が含まれていたことになります。
https://situational-awareness.ai/wp-content/uploads/2024/06/stacked_compute_algos-1024x866.png
GPT-4に続く4年間はこの傾向が続くと予想され、2027年までに平均0.5OOMs/年の計算効率、つまりGPT-4と比較して～2OOMsの向上が見込まれます。計算効率の向上は、低空飛行の果実を摘み取るようになるにつれて難しくなる一方、新たなアルゴリズムの改良を見出すためのAIラボの資金と人材への投資は急速に増加しています。 (少なくとも、公開されている推論コストの効率化は、まったく減速していないようだ)。ハイエンドでは、より根本的な、トランスフォーマーのようなブレークスルーが起こり、さらに大きな利益が得られる可能性さえある。
これらをまとめると、2027年末までには（GPT-4と比較して）1～3OOMのアルゴリズム効率向上が期待できることになります。
続き I.GPT-4からAGIへ：OOMを数える(6) https://anond.hatelabo.jp/20240605205754
『（ある程度は読めるが）喋れない、聞けない』から、『TOEIC 815点（リスニング420点）まで、5時間ｘ10か月＝1500時間』
大学受験で英語が得意科目だったのははるか昔。喋れない、聞けないから脱却の必要があり、10ヶ月の猛勉強で、さほど苦労なく英語で世間話ができて、ニュースやTEDなら比較的楽に聞けるようになった。日常的に字幕なしの海外のYOUTUBEを見ているし、世界一人気があるというポッドキャスト『The Joe Rogan Experience』も、まだら状の理解ながら、テキストなしで楽しめるようになった。
僕の勉強量と成果のバランスが良いのかどうか、自信はない。勉強時間も、平均したら、一日5時間を大きくは超えないとは思うが、サボり気味だった期間もあり不正確である。
それだけの時間をかけたら、そりゃ、それぐらいにはなるわな、と思う方もいるだろう。
が、『TOEIC 815点』は日常生活においても楽しめる世界が圧倒的に広がるということ以外に、履歴書にも書けて転職やボランティアにも有利らしい。
日本にいるまま、リスニングとスピーキングの力を伸ばしたいと考えている人に役立つかもしれないので、書いてみる。
と、当初考えて、オンライン英会話で、ネイティブとのレッスンを受けまくった。
そのうち、ブロークンで、適当に、喋れることを喋るだけなら、問題はなくなった。
が、文法はむちゃくちゃだし、細かな表現はできない、聞けない。会話がちゃんと噛み合わない。リスニングの能力も、上がった気がしなかった
（◯）カランメソッドで、文法的に正しい英語を喋る訓練をしよう！
と思い、カランメソッドを始めた。ちゃんと学習しようとすると、1回のレッスン時間は、25分にしか過ぎないけど、復習に1時間半かかる。合計2時間。
毎日かなりのフレーズや文を暗記しなければならず大変ではあったものの、効果を直感したので、毎日２時間をカランメソッドに注ぎ込んだ。
（ｘ）アプリ『ELSA』さえやっておけば、発音はばっちしのはず！
「正確に発音できないと、いつまでたっても聞き取れない」とあちこちに書いてあるし、発音が悪いと、簡単な単語が伝えられなくて、会話がたびたびスタックしてしまう。発音を矯正したくて、評判のアプリ『ELSA』を毎日やった。が、ある程度進むと、何度発音しなおしてもOKにならなかったり、文としての発音が難しすぎたりして、限界を感じた。
オンライン教室のインストラクターに教えて貰って、発音矯正の得意な先生に発音を習うことにした。毎日、25分のレッスンを受けた。目から鱗の連続だった。正しい発音の仕方（口の形、舌の位置、息の出し方など）を徹底的に教えて貰った。先生は言う、「正しい発音の仕方を、まず、知ること。知ったとしても、できるできないは、別問題。口の周りの筋肉を思ったように動かすには、毎日の練習を何ヶ月も続ける必要がある。勉強ではなく、スポーツのトレーニングと同じと思え！」
半年ぐらい毎日レッスンを受け、今は、中断して、『ELSA』だけ毎日続けている。（ELSAによる僕の発音は90点）
発音矯正のレッスンは、ネイティブのように喋りたい人が受けるもの、と思っていたが、大きな勘違いだった。正しい発音の仕方をまず学ぶこと。それが大事で、できなくても知ってさえいれば、毎日、ほかのレッスンで英語を喋るときに、そのように発音しようと努力するようになる。
まず、正しい発音の仕方の基礎を徹底的に学ぶことが、大事だなと痛感した。
（◯）Netflixのドラマを全文英文表示させて理解しながら見る
のも、リスニングとスピーイングのよい勉強になった。まあ、とにかく、ドラマは、ノンフィクションやニュースや教材と違って、わからない。子供同士の話しなんか皆目わからず、ほんとに英語かと思いたくなる。でも、字幕なしでドラマを楽しむのは、最上級の難易度。なので、無理せず、英文字幕を表示させて、一文一文、解読理解していく。今は、便利なアプリがあって、英文表示をさせつつ、キーボード操作で簡単に進めたり戻せたりできるので、能率的に勉強ができる。英語のイディオムやスラングの勉強に最適。
（ｘ）重要単語の本の単語や、単語アプリの単語をまるまま覚える
のは、なかなか難しい。いくら単語のセレクトが能率的でも、無味乾燥な勉強になるので、苦痛だし、案外能率が悪い。
（◯）ドラマやオンラインレッスンで習った単語熟語をアプリWordHolicに入れていき、毎日、聞き流す
ドラマから取った単語や熟語は、そのドラマのシーンとセットで頭に残るので、覚えやすい。その単語が、頻出単語なのかどうかはわからない不安が少しあるけど、覚えやすさが勝る。スマホのWordHolicに、現時点で新しく知った単語・熟語を2500語ぐらい蓄積していて、車の運転などのときに、流しっぱなしにしている（日本語→英語の順）。ボキャブラリー・ビルディングには、アプリWordHolicに次作するのが、一番の方法と思う。
僕がたどり着いた勉強法はこんなところ。
5時間ｘ10ヶ月＝1500時間は、2.5時間ｘ20ヶ月。1時間ｘ50ヶ月。やっぱり近道はない。これだけの時間を英語に費やすためには、何かを諦めなければならない。
が、少なくとも、これだけの時間をかければ、なんとかなる。
なお、僕は65歳。歳は関係ない。ただし、必要性があったので、頑張れた。是が非でもという必要性があることが、一番大事なのかも。
predictabilityの訳語
どの処理をしている時点でどれだけの量のメモリを使うか、
おおよそ同じ環境で実行した時にどの処理まで、どれぐらいの実行時間で終了するか
GCに依存した言語だと、「解放されているかどうかわからないメモリ」というのが存在するし、不意にGCが実行されてメモリ解放で処理が遅延する場合があるけど
C++やRustだと、ここの処理をやってるときはこのサイズのスタックがいくつあって、
ヒープにこれとこれが詰められてて……みたいなメモリの状態をコードから予測できて、
人によって定義や範囲は違うだろうが、レスバとは、テキストによって議論、喧嘩、罵りあいを行うことを指す言葉だ。
最近は、レスバはSNSでよく行われる。X（旧Twitter）でもレスバは日常茶飯事であり、それを実際に「レスバ」という言葉で形容することも行われている。
さて、少し前に、5ch（旧2ch）ブラウザであるJaneがアップデートされ、5chではない別の掲示板に接続されるという事件があった。この別の掲示板のサイト名は忘れてしまったので、ここでは偽5chと呼ぶことにする。
偽5chはXでも多少話題になったのだが、その中でも偽5chの技術スタックに言及したアカウントがあった。曰く、偽5chのWeb版はNext.jsという技術が使われており、掲示板サイトらしからぬモダンな造りであるとして、肯定的に言及していた。
このアカウントが普段からAI驚き屋行為で注目を集めていたこともあり、偽5chに言及したこの投稿は話題になった（いわゆる「バズった」）。
実際、このNext.jsという技術がモダンな技術のひとつであることは疑いようがない。デジタル庁が一度Next.jsを採用して話題になったが、モダンすぎて扱えなかったのかやめてしまったのも記憶に新しい。
話はレスバに戻るが、Xでの技術的な話題にはレスバが付きまとう。人によって好みの技術が異なるので衝突が起こるのは当たり前だ。高低さまざまなクオリティのレスバが日々繰り広げられている。
Next.jsはモダンな技術と書いたが、より後発の技術を推している人は、Next.jsは時代遅れで過去の技術だと言いながらレスバを挑んでくるだろう。新しい技術のほうが必然的に（まだ）単純なので、「Next.jsは過剰に複雑だ」といった論理展開も定番だ。
逆に、いわゆる「枯れた技術」信仰を持つ人は、Next.jsなんて枯れていないものは使えないという論調だ。これも人気の高い武装である。
偽5chのNext.jsに言及した投稿にも、例に漏れず、さまざまな異論が舞い込んでくる。Xのいつもの光景だ。技術的な話題で一定以上バズったら何をどうやっても叩かれる。
しかし、普段と違うところがあった。捨て垢で叩く人が多かったのだ。
正直に言って、捨て垢の人の批判はひどかった。中身のないワードサラダだ。技術的な内容ではなく、感情論やレッテル貼りを武器にしているようにも見えた。
知識が無くても使えるレスバの手法を用いながら、無理しつつもなんとか批判を書いているという印象を受けた。今ならChatGPTのほうが中身のある批判を書けるだろう。
ここからは妄想だが、そのような捨て垢の人は5chからやってきたのだろう。
当時、5chの住民は当然偽5chに対して敵対的だった。偽5chに対して肯定的な投稿があったとなれば、叩きたくもなるだろう。
裏は取っていないが、大方どこかで投稿が晒されて「凸」した人たちがいたのだろう（もう死語か？ よく分からん）。
正直、偽5ch絡みを除けばよくあるNext.js上げの投稿だったので、それくらいしか捨て垢でわざわざ批判を飛ばす理由がないと思う。
「レスバ」という言葉は5chのような掲示板文化に由来する言葉だと思う。
Xなどでは返信のことを「レス」と言わない。「リプ」だ。
返信を「レス」というのは掲示板だ（メーリスとか、掲示板よりさらに古い文化由来だったらごめん）。
つまり、5chからXに捨て垢でやってきたのは、レスバの本場からやってきた刺客なのである。
まあ、刺客たちがみんな技術に詳しいわけでもないのだろうから、技術的な話題でレスバをこなせというのも無理な要求なのかもしれない。
普通の人が多くてヤバい人は単に声が大きいだけ、ってのは頭ではわかっている
けどあまりに治安悪すぎてここ数年は非公開+コメントなしにしている
代替サービスに移るほどではないが、ブコメと同じ場所にいるほど正気を失ってはいない
バズるネタなんか探していないし、探しものを溜め込んで後でメモにまとめるスタック領域だ
職場でも自分にとって興味のない話題を周りが話すことなんてよくあることなので、そういう場違い感が悪いとは思っていない
ただ、明らかにレベル低い人達の気持ち悪い独り言を耳に直接流し込まれるのは普通に苦痛
ましてそういう人と自分が同列に扱われるのは耐え難たい
私が子どもの時分から抱いている概念・感覚のようなものなのですが、名前があれば知りたいです。
申告な悩みではなくただの雑談の主旨で、こういう感覚ある人いるかな？みたいな感じです。
日常生活を送っている中で以下のイメージを抱くことがあります。
・視界にHPバーや文字、数値などのHUDのような表示が浮かぶことがあります。
常に出るものではなく、変動があったときや思い起こしたときにふいに現れます。
・痛い思いをするとHPゲージが減る、長時間仕事するとMPゲージが減る、
飛んだり走ったりするとスタミナゲージが一時的に減る。睡眠や風呂や、食事や排泄などで回復する
・電車の時間を調べて駅に向かうときなどに視界の上のほうにカウントダウンタイマーが現れる
・対話者が回答を考えているとき、「思考中」「入力中」のような表示が現れる
・外出中にカバンに入っているものなどの持っているものがリスト化される
・自宅の家具の間や街路樹の隙間など、狭いところに挟まるとスタックして動けなくなるかもしれないと考える
いつも必ず明確に現れるわけではなく、ぼんやりとゲームだったらそうなるよなーと考えた結果でイメージが固まる場合もあります。
なんの根拠もなく、誰しも少なからず持っている感覚なんだろうな、と長く思っておりましたが、
ゲームやアニメは人並みに好きだと思いますが、何時間も夢中になるほどハマった経験はありません。
「ゲーム脳」は少し意味合いが異なりますが、ゲーム脳であることには違いはないかと思います。
でっかい倉庫を作るときに奥の方に原木とか石を置くと行くのが面倒になって手前の適当なチェストに入れてしまう
そのためにまず「よく使う物は何か」をしっかり考える
自分はこのワールドで何を目標としているのかを整理して一番使い物、使いたい物は何かを決めて手前に置く
例えばネザライトインゴットはとても貴重だけど別に普段使うことはほぼ無いので奥の方に飾っておけば良い
現実世界でも自分がよく使う物を洗い出すことが収納の第一歩になる
チェスト・ラージチェスト・樽・シュルカーボックスを量に応じて適切に使い分ける
「場所があるから」とラージチェストを作りがちだけれど、スタック出来る物を入れる場合はほとんどの場合がスモールチェスト・樽で十分
下手にラージチェストを作ると「ちょっと一時的に」という感じで別の物を収納しがち
収納する物に対して大きすぎる容器を作らない、ということが大切
大は小を兼ねるが適切では無い
一種類でチェストが必要なブロックは専用チェストを決めて収納すればいいんだけど
「これ、1個か2個しかないんだよな」というものに対してチェストを作るのはもったいないし無駄なのでまとめてチェストに収納する
このときに明確なルールを決めて、「ちょっと不便だな」と思ってもそれを遵守する
「オークとしてまとめて収納する」
のどちらにするかを明確に決める
ルールを決めたらその通りに必ず収納して例外を作らないことで荷物が散らばることを防ぐ
例えばエメラルドは交易以外で使わないので交易付近に置いておく
エメラルドがチェストに入りきらない、ということはほとんど無くて
使う場所の近くに収納を置くことで使う時に困らないだけではなく
使い終わったときに忘れず片付けられるようになる
というようなクラスタリングはするとして
それより前述したよく使うかどうかを基準にするか、もしくは適当にさっさと決める
過度なクラスタリングを始めるとクラスタリングすることに時間と労力をかけてしまって
結果、疲労して「なんでもとりあえず入れとくやつ」を作ってそこに全部ぶち込むことになる
自動仕分け装置を作ったり、ポーション生成機を作ったりすると収納が楽になる場合があるが
作る労力の方が圧倒的に大変なので基本的に導入しなくて良い
もちろん作ることそのものがマイクラの楽しみ方なのでそれはそれでいいのだが
2，3周目に突入すると「結局使わないしな」となるので作らなくて良い
それよりも見た目や使いやすさを重視した方が良い
現実世界でいうところの「自動で開閉するゴミ箱」「電動昇降チェスト」なんかがそれにあたる
土ブロック、深層岩、ネザーラックとかはある程度ストックしたら綺麗さっぱり捨てるとして
例えばどうでもいい花とか種とか余ったハーフブロックとかはいっそのこと全部捨てるというルールにしておく
木材系のブロックは燃料になるので自動かまどにぶち込むというのもあり
「今は使わないけど、いつか使うかも」
ではなく
「今は使わないし、いざとなったら手に入る」
という考えで潔く捨てる
そのための便利ゴミ箱を作っておくと良い
実際にはマイクラほど上手く行かない
ただ
「マイクラだったらどうするかな」
と考えることでそこそこ収納は上手になった
NPCにクラフトさせる系の3Dゲーできっちり意図通りに動くゲームってそもそも少ないしねえ
公式サーバーはチートだらけで酷いらしいけどこういうゲームは仲間内でサーバー立ててやるもんだと思ってるのでそこは考慮しないとして
そんなに気になるバグは今のところないなあ。ゲームクライアントも安定してるし
グラップリングガンと突進系のパルのスキルの挙動がおかしいくらいかな
拠点でパルがスタックしがちなのは確かに不具合なんだけど、なるべくパルが引っかからない拠点配置を考えるのが
意図せずゲーム要素になっててあまり気にならない。ボックスに出し入れすればリセットできるしね
ちゃんとみんな独自モーションがあって物を運ぶにしても両手で抱えたり片手でわしづかみにしたり背中に乗せたり結構凝ってて愛着がわく
