  |
はてなキーワード: コンピュータサイエンスとは
コンピュータサイエンスが何の役に立つのかわかってない という命題に対して金を稼ぐのに関係ないとしか言ってない特定の増田さんは何が見えてるんですかね
俺がいってんのはね、アルゴリズムもデータ構造もOOPも「プログラミング」の知識の範疇であり、普通に誰でも知ってる範囲ってことだ
それに「ネットワーク」もAWSの知識の範疇であり、誰もが理解している
コンピュータサイエンスってのは、TSPをどう解くかとか、そういうどーでもいい知識の集合体
コンピュートへの大規模な投資が注目される一方で、アルゴリズムの進歩も同様に重要な進歩の原動力であると思われる（そして、これまで劇的に過小評価されてきた）。
アルゴリズムの進歩がどれほど大きな意味を持つかを理解するために、MATHベンチマーク（高校生の競技用数学）において、わずか2年間で～50%の精度を達成するために必要な価格が下がったことを示す次の図を考えてみてください。(比較のために、数学が特に好きではないコンピュータサイエンスの博士課程の学生が40%のスコアを出したので、これはすでにかなり良いことです)。推論効率は2年足らずで3OOMs-1,000倍近く向上した。
https://situational-awareness.ai/wp-content/uploads/2024/06/math_inference_cost-1024x819.png
これは推論効率だけの数字だが（公開データから推論するのが難しいトレーニング効率の向上と一致するかどうかはわからない）、アルゴリズムの進歩は非常に大きく、また実際に起こっている。
この記事では、アルゴリズムの進歩を2種類に分けて説明します。まず、「パラダイム内」でのアルゴリズムの改良を取り上げることにしま す。例えば、より優れたアルゴリズムによって、同じパフォーマンスを達成しながら、トレーニングの計算量を10倍減らすことができるかもしれません。その結果、有効計算量は10倍（1OOM）になります。(後ほど「アンホブリング」を取り上げますが、これはベースモデルの能力を解き放つ「パラダイム拡張/アプリケーション拡張」的なアルゴリズムの進歩と考えることができます)。
一歩下がって長期的な傾向を見ると、私たちはかなり一貫した割合で新しいアルゴリズムの改良を発見しているようです。しかし、長期的なトレンドラインは予測可能であり、グラフ上の直線である。トレンドラインを信じよう。
アルゴリズム研究がほとんど公開されており、10年前にさかのぼるデータがある）ImageNetでは、2012年から2021年までの9年間で、計算効率が一貫して約0.5OOM/年向上しています。
アルゴリズムの進歩を測定することができます。同じ性能のモデルを訓練するために必要な計算量は、2012年と比較して2021年にはどれくらい少なくなっているのでしょうか？その結果、アルゴリズムの効率は年間0.5 OOMs/年程度向上していることがわかります。出典Erdil and Besiroglu 2022.
これは非常に大きなことです。つまり、4年後には、～100倍少ない計算量で同じ性能を達成できるということです（同時に、同じ計算量ではるかに高い性能も達成できます！）。
残念ながら、研究室はこれに関する内部データを公表していないため、過去4年間のフロンティアLLMのアルゴリズムの進歩を測定することは難しい。EpochAIは、言語モデリングに関するImageNetの結果を再現した新しい研究を行っており、2012年から2023年までのLLMのアルゴリズム効率のトレンドは、同様に～0.5OOM/年であると推定しています。(しかし、これはエラーバーが広く、また、主要なラボがアルゴリズム効率の公表を停止しているため、最近の上昇を捕捉していません）。
https://situational-awareness.ai/wp-content/uploads/2024/06/llm_efficiency_epoch-1-1024x711.png
Epoch AIによる言語モデリングにおけるアルゴリズム効率の推定。この試算によると、私たちは8年間で～4OOMの効率向上を達成したことになります。
より直接的に過去4年間を見ると、GPT-2からGPT-3は基本的に単純なスケールアップでした（論文によると）が、GPT-3以降、公に知られ、公に干渉可能な多くの利益がありました：
最近リリースされたGemini 1.5 Flashは、"GPT-3.75レベル "とGPT-4レベルの間の性能を提供する一方で、オリジナルのGPT-4よりも85倍/57倍（入力/出力）安い（驚異的な利益！）。
公開されている情報を総合すると、GPT-2からGPT-4へのジャンプには、1-2 OOMのアルゴリズム効率向上が含まれていたことになります。
https://situational-awareness.ai/wp-content/uploads/2024/06/stacked_compute_algos-1024x866.png
GPT-4に続く4年間はこの傾向が続くと予想され、2027年までに平均0.5OOMs/年の計算効率、つまりGPT-4と比較して～2OOMsの向上が見込まれます。計算効率の向上は、低空飛行の果実を摘み取るようになるにつれて難しくなる一方、新たなアルゴリズムの改良を見出すためのAIラボの資金と人材への投資は急速に増加しています。 (少なくとも、公開されている推論コストの効率化は、まったく減速していないようだ)。ハイエンドでは、より根本的な、トランスフォーマーのようなブレークスルーが起こり、さらに大きな利益が得られる可能性さえある。
これらをまとめると、2027年末までには（GPT-4と比較して）1～3OOMのアルゴリズム効率向上が期待できることになります。
続き I.GPT-4からAGIへ：OOMを数える(6) https://anond.hatelabo.jp/20240605205754
はい、GPUの仕組みや重要性を分かりやすく説明した本や教材はいくつかあります。例えば以下のようなものが挙げられます。
1. 『GPUを支える技術』 株式会社ボーンデジタル (2023年)
GPUの基本的な仕組みから、最新のGPU技術まで幅広く解説されています。技術者向けですが、図解も多く分かりやすい内容です。
2. 『つくりながら学ぶ! PyTorchによる発展ディープラーニング』 小川雄太郎 (2020年)
機械学習フレームワークPyTorchを使ってGPUプログラミングを学べる実践的な書籍です。サンプルコードを動かしながら理解を深められます。
GPUの歴史から最新アーキテクチャまでを網羅的に解説。コンピュータサイエンスの基礎知識がある大学生・大学院生向けです。
4. Udemy「GPUプログラミング入門 - CUDAとOpenCLで学ぶGPUコンピューティング」
オンライン学習プラットフォームUdemyの動画講座。GPUの基本からCUDAやOpenCLでのプログラミング方法まで解説しています。
ただし、ご指摘の通り小中学生向けのGPUの仕組みを分かりやすく教える本は少ないかもしれません。GPUはCPUに比べると新しい技術なので、教育現場での普及はこれからという面があるでしょう。
技術の発展に合わせて、今後さらに分かりやすい入門書や子ども向けの教材が増えていくことが期待されます。ITリテラシー教育の一環として、GPUについても触れる機会が増えるかもしれませんね。
GPUの重要性を理解できない人には、いくつかの特徴が考えられます。
技術に疎い人: コンピュータやテクノロジーにあまり詳しくない人は、GPUの役割やその重要性を理解しにくいことがあります。
古い情報に基づいている人: 古い情報や過去の経験に基づいて、GPUの進化や現在の役割を把握していない人もいます。特に、昔はCPUが主流だった時代の知識しか持っていない場合です。
専門外の人: ITやコンピュータサイエンス以外の分野の専門家で、普段の業務にGPUを使う必要がない人。例えば、文系の研究者やアーティストなど。
特定の用途にしか関心がない人: GPUの重要性が特定の用途にしか関係しないと考えている人。例えば、ゲームやグラフィックデザインにしか関係ないと思っている場合、データ解析や機械学習にも重要であることを理解しないかもしれません。
教育や啓発の機会が少ない人: 学校や職場での教育やトレーニングでGPUの重要性について学ぶ機会が少なかった人。
これらの理由により、GPUの重要性を理解できない人がいるかもしれません。教育や情報提供を通じて、理解を深めることができるでしょう。
はい、JavaScriptによるコーディングはコンピュータサイエンスの一部と見なすことができます。コンピュータサイエンスは、情報とその処理に関する学問であり、プログラミングはその重要な要素です。JavaScriptは、ウェブページを動的にするための主要な言語の1つであり、ウェブ開発の分野で広く使用されています。したがって、JavaScriptを学び、それを使用してコードを書くことは、コンピュータサイエンスの実践的な応用の一部と言えます。しかし、コンピュータサイエンスはプログラミングだけではなく、アルゴリズム、データ構造、ネットワーク、データベース、人工知能など、より広範なトピックをカバーしています。それぞれが特定のプログラミング言語やツールを使用して探求されることがあります。JavaScriptはその一部であり、特定の問題を解決するためのツールとして使用されます。それはコンピュータサイエンスの一部であり、その全体ではありません。それでも、JavaScriptをマスターすることは、コンピュータサイエンスの重要なスキルを習得するための素晴らしいステップです。それはあなたが複雑な問題を解決するためのロジックとアルゴリズムを理解するのを助け、あなたの思考を開発するのを助けます。それはまた、あなたがウェブ開発の世界に足を踏み入れ、あなた自身のウェブサイトやアプリケーションを作成するのを助けます。だから、はい、JavaScriptによるコーディングは確かにコンピュータサイエンスの一部です！
はい、**ブラウザ**は**コンピュータサイエンス**の一部です。ブラウザはウェブページを表示するためのソフトウェアで、その背後にはネットワーキング、グラフィックス、セキュリティ、ユーザインターフェース設計など、多くのコンピュータサイエンスの原理があります。これらの原理を理解することは、ブラウザの動作やウェブ開発全般を理解する上で重要です。したがって、ブラウザはコンピュータサイエンスの学習や研究の一部となります。
はい、ブラウザの実装は確かに**コンピュータサイエンス**の一部です。以下に、その理由をいくつか挙げてみます：
1. **アルゴリズムとデータ構造**：ブラウザは、効率的な検索、ソート、データの格納と取得など、多くのアルゴリズムとデータ構造を使用します。
2. **ネットワーキング**：ブラウザは、HTTPやHTTPSなどのプロトコルを通じてインターネットと通信します。これらのプロトコルの理解と実装は、コンピュータサイエンスのネットワーキングの分野に直接関連しています。
3. **レンダリングエンジン**：ブラウザのレンダリングエンジンは、HTML、CSS、JavaScriptなどのコードを解析し、それをユーザーが見ることができる視覚的なウェブページに変換します。このプロセスは、計算理論、グラフィックス、プログラミング言語の理解を必要とします。
4. **セキュリティ**：ブラウザは、ユーザーのデータを保護するために、さまざまなセキュリティメカニズムを実装します。これには、暗号化、サンドボックス化、同一生成元ポリシーなどが含まれます。
これらすべての要素は、コンピュータサイエンスの基本的な概念に基づいています。したがって、ブラウザの実装は、その「サイエンス」の部分を明確に示しています。ブラウザの設計と実装は、これらの理論を実際の製品に適用するための実践的なフレームワークを提供します。それらは、問題解決、効率的な設計、そして最終的にはユーザーに価値を提供するための方法を探求します。これが、ブラウザの実装がコンピュータサイエンスである理由です。
従来プログラミング業界においては、やれ「ググる力が重要」だの、やれ「分からないことはググればいい」だのと言われてきたわけだが、もうそろそろこういう妄言は根絶されるべきだ。
そもそも、専門知識の要る分野でそれなりの水準の仕事をしようと思えば、ググって済むようなことはほとんどない。
実際、プログラミング以外のあらゆる分野で「ググればいい」なんて言われることはほぼ無い。その分野の仕事に必要な基礎知識を身につける方が圧倒的にウェイトが高いからだ。
「ググる力」とか言ってるアホは、じゃあためしに俺の手元に、タネンバウムの「コンピュータネットワーク」第6版があったから、これと同等の知識を、コーディング時の調べ物だけで身につけてみてくれないか。
こんな知識は業務で必要ない？そりゃお前がその程度の仕事しかしてないってだけだろ（笑）
ネットのサンプルコードコピペするしか能のないIT土方、コンピュータサイエンスや数学にコンプレックス持ってる低学歴は、さっさとエンジニアやめろ。少なくとも、他人（とくにプログラミング初学者）を自分と同じ水準に貶めるな。
無いです
これ許した結果がトーヨコキッズとか犯罪者とか無就業者とか条件付きの愛情を与えて世の中に悪意を振りまくやつなんで
日本は先進国だからお金の心配はしなくて良いが(生活保護でも子どもは育てられる)
自分自身に『子どもを育てられる知能(高学歴である必要はない。主に生活能力)』と『感情制御能力』と『無条件の愛情』があるか
先進国なら、生活保護あるし、低所得世帯に限って大学無料だし、残念ながら英語オンリーですけど無償でMBAやCS(コンピュータサイエンス)の学位が取れるオンライン大学も存在します
先進国であれば IN が少なくても認知能力に問題が無ければ(メンヘラじゃなきゃ)子どもを育てられます
なので先進国に移民した一世が IN が少なくても子ども作るのは至極当然の話なんですね
IN が少ないが為に、子どもに面白くない思いをさせることも時にあるかもしれないが、
安全で頑張っただけ未来が開ける、"人権" という概念のある先進国の国籍を子に与えることが出来た移民一世は、自分自身のことを誇りに思っています
移民一世は、母国では、ホワイトカラーだったり、友達・親族と楽しく仲良く暮らしてたりしますが、
一方で日本のメンヘラ親こと毒親＆候補どもが何をしているかというと、
子どもたちも見ることが出来る Twitter で子育て辛い・子育てのせいで遊ぶ時間がない・生きるの辛いとわめきちらし、アドバイス罪とかほざきながら子育て助けて！！！！
仕事をバリバリやらず、プライベート優先してたのなら、プライベート優先してるなりに生活をサイズダウンすればいいだけなのに、
金をよこせ金をよこせ金をよこせ金をよこせ金をよこせ金をよこせ金をよこせ金をよこせ金をよこせ金をよこせ金をよこせ金をよこせ金をよこせ金をよこせ金をよこせ金をよこせ金をよこせ金をよこせ金をよこせ金をよこせ金をよこせ金をよこせ金をよこせ金をよこせ金をよこせ金をよこせ金をよこせ金をよこせ金をよこせ金をよこせ金をよこせ金をよこせ金をよこせ金をよこせ金をよこせ金をよこせ金をよこせ金をよこせ金をよこせ金をよこせ金をよこせ金をよこせ金をよこせ金をよこせ金をよこせ金をよこせ金をよこせ金をよこせ金をよこせ金をよこせ金をよこせ金をよこせ金をよこせ金をよこせ金をよこせ金をよこせ金をよこせ金をよこせ金をよこせ金をよこせ金をよこせ金をよこせ金をよこせ金をよこせ金をよこせ金をよこせ金をよこせ金をよこせ金をよこせ金をよこせ金をよこせ金をよこせ金をよこせ金をよこせ金をよこせ金をよこせ金をよこせ金をよこせ金をよこせ金をよこせ金をよこせ金をよこせ金をよこせ金をよこせ金をよこせ金をよこせ金をよこせ金をよこせ金をよこせ金をよこせ金をよこせ金をよこせ金をよこせ金をよこせ金をよこせ金をよこせ金をよこせ金をよこせ金をよこせ
胸に深く刻んでほしいのは、先進国で貧乏に耐えられないのは子じゃなくて親だということ
何度でも繰り返すが先進国において貧乏で子どもは困窮しない。生活保護も各種支援もあるので
年収が少ないから困窮するのではなく親がメンヘラ・無責任だから困窮する
そして、貧乏に耐えられない＞＜ この生活に耐えられない＞＜ とか年がら年中やってんのは子どもじゃなくて"親"
