  |
はてなキーワード: アーキテクチャとは
ゲーム用ではなく計算用途(HashCat、SD/NAI、llama.cpp etc…)のまとめ
Linux(もっと言えばArchLinux)で利用する(=できるスキルがある)ことを想定、購入手段は最低限AmazonとヤフオクとAliExpressが使えるものとする
増田の仕様用途はllama.cppがメインなのでそれにフォーカス。
| モデル | VRAM容量 |
| 7B q4_0/q3_K_M | 6GB |
| 7B q4_K_M | 8GB |
| 7B q4_K_M low-vram | 6GB |
| 13B q3_K_S | 8GB |
【メリット】
【デメリット】
【メリット】
【デメリット】
【メリット】
【デメリット】
【メリット】
【デメリット】
私は実務では茶色~緑くらいのアルゴリズムしか出てこないと思っている。
とはいえ、水色くらいあれば、そのあたりのアルゴリズムで解決可能な問題の責任を任せられるかというと、チーム開発において実態は違うと思っている。茶色の課題解決に必要なのは、水色以上のアルゴ力に加え、実務の能力、コミュニケーション力、政治力が必要だ。
前提として、何でも課題をアルゴリズムで解決しようとする姿勢が正義だとは到底思わない。実際の課題はアーキテクチャとして解決すべきものや、ハードウェア性能を見るべきもの、そもそも課題の要件定義レベルで見直すべきものが存在する。
しかし、純粋にアルゴリズムでの解決が求められる場合において、水色の実力のみでは、コミュニケーション上の問題で課題を解決できない。
水色程度だと、茶色程度の自明な問題に対して、同僚から筋が悪く性能が劣化するようなアルゴリズム案を提案されても、何故問題かの説明に十分な説明コストを払うことが要求される。
基本的なCSは習得済みの相手でも、競技経験がない相手だと何故問題か（何故自分の提案する内容の方が優れているか）が往々にして理解されないので、このコミュニケーションにはしばしば衝突が起こる。
そういった衝突は、実際のパフォーマンスの計測で押さえつけるものではない。「分からないから客観的に比較」したものでなく「自明だが理解されないので、証拠を突きつけて糾弾する」ような形になるためだ。
非競技勢は、水色に対して「お世辞でアルゴリズム凄いですよね」と言うことはある。一方で「でも上位ではないんでしょう？」という評価なので、「自分の直感とは違うけど、あの人が言ってるんだから正しいのだろう」と思ってくれる可能性が低い。ベテラン戦士であれば自身で一問も問題を解かずして「お前はデータ構造とアルゴリズムが分かってない」と非難することすらあるだろう。
そう言う意味で、茶色程度のアルゴリズムを責任を持って担当するには、非競技勢にも上位層と思われる程度の称号が必要だと思う。最も分かりやすい称号は「レッドコーダー」である。
ただ、資格で黙らせる行為はバッドコミュニケーションの典型の所業である。
上位層でない競プロerが茶色程度のアルゴリズムに責任を持つためには、まず実務能力、コミュニケーション力、政治力を鍛える必要があるだろう。
初級者を抜けて中級者になって全然できなくなった
アーキテクチャをこうしたら保守性最悪じゃんとかテストいつからどう書き始めようとかpythonではusecaseパターンどうやるんだろうとか色々考えて手が進まんくなってしまった
下手な初心者より何も書けない
8bitくらいのCPUは書籍もあるし、作れるが、DirectX対応のGPUあたりから日本はコケた認識だ。
何が足りてなかったのか。
中国、スイス、インドの大学では高性能半導体チップのアーキテクチャの講義がある（教授や研究者がいる）。
日本でコンピューターサイエンスというと、コンピューターアーキテクチャもソフト寄りだ。
中国産CPU、GPUが出てきているが、元インテル、元AMD、元NVIDIAといった略歴で、全く違う土壌から出てきたというものではない。
論文は一部しか説明してないし、各社のプロモーションになっているので、読めばチップを設計出来るようになるわけではない。
大多数のITエンジニアがやってる「勉強」って「特定のフレームワークのAPIを覚える作業」とか「新しいプログラミング言語のチュートリアルをなぞる作業」とか「民間資格の過去問を覚える作業」とかだし、そんなレベルだったら他の職業の人も十分やっとる
もっと大事なのは、抽象化能力・論理的思考を鍛えることとか、既存フレームワークの車輪の再発明をしてみるとか、おいそれとは陳腐化しない低レイヤーの知識、コンピュータアーキテクチャやネットワークプロトコルスタックとか線型代数や離散数学やらの数学含めた計算機科学の知識をつけることとかだと思うんよな
最近は最前線から離れててあんまり追えてないけど、現役のときの2008年くらいから10年くらいの間で、仕事のやり方や設計の考え方が大きく変わったIT技術要素で、いまぱっと思い浮かぶのはこんな感じかな。
分野にもよるし、調査して試作した結果自分の業務には採用しなかった技術とかもある。流行ると思って使えるようになったけど流行らなかった技術を入れるとたぶんもっとある。
あと、新機種が出てOSが新しくなったり、ミドルウェアの新バージョン対応、テスト手法の進化もけっこうカロリー高いけどここには書いてない。
「自分はフロントエンド専門でReactしかやらない」みたいに分野を絞れば大分減るけど、その技術が何年持つかわからないから普通はリスクヘッジのために他の技術も齧らざるを得ないし、バックエンドとかの人と議論するのに結局他分野の知識もそれなりに必要。
NoSQL(memcached, Redis, Cassandra)
クラウドアーキテクチャ、XaaS(AWS, Google Cloud, MicrosoftAzure)
CI/CD(Travis CI, CircleCI, Jenkins)
トランスパイラ(Browserify, webpack, CoffeeScript, TypeScript)
型システム(Rust, TypeScript, Haskell)
オーケストレーション(Ansible, Kubernetes, Terraform)
機械学習(Python, MATLAB, 線形代数等数学知識)
SPA(React, AngularJS, Ember.js, Vue.js)
3Dゲームエンジン(Unreal Engine無償化、Unity5)の他分野への普及
GraphQL
機械学習ライブラリ(Tensorflow, PyTorch, Chainer)
Jupyter Notebook
NFT
そこからまた状況が進み、DATファイルへのアクセスが開放されてるので、一部専ブラが特定の処置を行うことでまた使えるようになってる。
現段階では、Jane（とそれに賛同した専ブラ開発者たち）が反旗を翻し、新サービスを立ち上げてユーザーもろとも移行させようとしたが、いま一歩及んでないという印象。
なので、Talk への完全移行はなされないのでは？と思われる。
個人的に今回の騒動で一番面白かったのは、一番対応が早かったアーキテクチャが Mac だったということ。
事実上デファクトスタンダードとなっている専ブラがプラグインによる拡張を許容する作りになっていたおかげで、騒動の翌朝にはほぼ今まで通り専ブラが使えるようになってた。
機械学習の記事を検索して読んでいるが、色んなアーキテクチャがあるのはわかるが、各部品の必要性がよくわからない。
Transformerあたりから、なんかいきなり構造変わってさっぱり。
より広い範囲の文脈を見ているというのであれば、単にデータひっぱってくればいいだけじゃね？と思ってしまう。
グラフィック処理するためのハードだから、頂点シェーダー、ラスタライザーなどは入っていると思うが、AIの時に使っているパイプラインが全然わからん。
Beautiful Soup
研究やラボで遊ぶ人たちは基本的にシステムやプロダクトの下に膨大なユーザーをぶら下げて、事業を回すための道具だという認識が薄いんですよ。
スキルとかいうふわっとした単語やJAVAなのかJavaScriptなのかもわからないJavaなんて単語使っちゃうような人にはわからないのかもしれんが。
そもそもスキルってどの分野のどの深度だよって話は20年前でさえそこそこ体系化されてる。
アーキテクチャなのかコーディングなのか電話や電力みたいなファシリティ隣接領域、なんならユーザー向けヘルプデスクだって相応の専門性がある。
コーディングを何年やってもマネージャや経営者にはならないし、なっちゃいけないだろ？
単に教科書を読むだけより問いかけられたほうが脳が考えようとするし能動的に学習できる。
プロンプト：「ChatGPTの仕組み」の包括的な理解が得られる文章を、クイズ番組の司会風に書いてください。クイズは５問ほど出題してください。それぞれの問題の後に答えと解説を発表してください。
出力：
皆さんこんにちは！今日は特別なクイズ番組にようこそ！私たちはあなたに、OpenAIが開発した驚くべき技術、ChatGPTの仕組みについての包括的な理解を得るためのクイズを出題します。さあ、問題を出題していきましょう！
問題1: ChatGPTの基本となるAIアーキテクチャは何でしょうか？
答え: GPT-4
解説: ChatGPTは、OpenAIが開発したGPT-4（Generative Pre-trained Transformer 4）というアーキテクチャを基盤としています。GPT-4は、自然言語処理タスクに優れた性能を発揮することで知られています。
問題2: GPT-4はどのような学習手法で訓練されていますか？
答え: 事前学習（pre-training）と事後学習（fine-tuning）
解説: GPT-4は、2段階の学習プロセスで訓練されています。最初の段階は事前学習で、大量のテキストデータから言語モデルを学習します。次の段階は事後学習で、特定のタスクに適した性能を発揮するようにモデルを微調整します。
問題3: ChatGPTが生成するテキストの品質を向上させるために用いられる技術は何でしょうか？
解説: ビームサーチは、生成されるテキストの品質を向上させるために用いられる探索アルゴリズムです。複数の候補を同時に生成し、最も尤もらしい文を選択することで、より自然で正確なテキストを生成することが可能になります。
問題4: GPT-4が生成するテキストにおいて、長い文章を生成する際に問題となる要因は何でしょうか？
答え: 文脈の長さ（Context Length）
解説: GPT-4は、一度に扱える文脈の長さに制約があります。この制約により、長い文章を生成する際に、以前の文脈が失われることがあり、それが結果として文章の一貫性や理解度に影響を与えることがあります。
問題5: ChatGPTが生成する回答が間違った情報を含む可能性がある理由は何でしょうか？
答え: 学習データに含まれる誤った情報とモデルの生成性能の限界
解説: ChatGPTが間違った情報を含む回答を生成する理由は主に2つあります。まず、学習データに含まれる誤った情報が原因となることがあります。学習データが不正確であると、モデルもそれを学習し、間違った回答を生成することがあります。また、GPT-4は生成モデルであるため、正確な情報が学習データに含まれていても、生成時に限界があり、正確性が犠牲になることがあります。
以上、5問のクイズでした！皆さんはChatGPTの仕組みについての理解を深めることができましたか？今回のクイズで学んだ知識をぜひ活用して、この驚くべき技術とその可能性についてさらに学んでいってくださいね！それでは、また次回のクイズでお会いしましょう！
