  |
はてなキーワード: インメモリとは
俺は常々「SSDでメインメモリ8GBなら"大半の一般人の事務用途には"支障ない」と思ってるんだけど、どうも言いづらい雰囲気があった
なぜなら、はてなでは「メインメモリ64GBは基本的人権！！😤」みたいな職場にフィギュア並べてそうなイキリ勘違いアスペIT土方が幅を利かせてたからだ
[B! PC] ドンキ「情熱価格」、性能アップした14型ノートPC「MUGAストイックPC5」を先行展示！
https://b.hatena.ne.jp/entry/s/news.mynavi.jp/article/20231124-muga_5/
でも言っていい風潮になってきてるんだな、「8GBなら普通に使える」って
俺も言ってくようにするわ
8GBなら普通に使えるだろ
せっかく課金したのにユーザが増えまくっているのか滅茶苦茶重くなっていて最悪。
だから流出したモデルを使ってローカルでNAIの環境を構築する。
ネットには情報もだいぶ転がってるけど陳腐化した情報があまりに多いため増田にまとめることにした。
もしかしたらこの記事もすでに陳腐化しているかもしれないが…単純に間違ってたらトラバで教えてほしい。
もちろん自己責任。この記事を見て導入した結果何かあっても増田は何も保証しない。
英語がわかる人はこっちを見た方が早いと思う。今は導入RTAができるくらい導入は楽になっている。
https://rentry.org/nai-speedrun
VRAMが2GB以上あるNVIDIA製のグラフィックボードがあればローカル環境を構築できる。
GPUの世代はGTX700シリーズ以降。なので一昔前のミドル級ボードでも動作するらしい。
IntelのオンボードGPUでも実行する方法があるらしい(stable_diffusion.openvino)が今回は割愛する。自分で探してね。
その他の推奨環境は以下の通り。
対応OS：Windows7以上(と言うがM1Macでも動作する方法があるとかなんとか)
メインメモリ：16GB以上(VRAMもたくさん必要だが起動時にメインメモリも大量に食う。WebUI起動時にタスクマネージャを見ているとよくわかる)
スマホしか持ってないような人やこういうのがよくわからない人はNovelAIを使った方が良いと思う。
今は重いけど、きっとそのうちみんな飽きてサーバも軽くなるかもしれないし。
(追記)NovelAIがリソースを確保してサーバが軽くなったからリスクを背負ってまで導入しなくても良いかも
(追記)Pythonは当然3系。最新の奴を入れれば問題無い。
導入方法はいちいち書かないけど、「python --version」や「git -v」で
正常にバージョン情報が出る(パスがきちんと通っている)ことはちゃんと確認しよう。
Stable Diffusion web UIはStable Diffusionやそれをベースとした画像生成AIを利用するためのフロントエンド。
その中でも特に開発が活発でデファクトスタンダードとなっているのがAUTOMATIC1111版だ。
導入したい適当なディレクトリに対してPowerShellなどで
「git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git」
なお、AUTOMATIC1111版は数時間単位でコミットが行われるから
定期的に「git pull origin master」で更新しよう。
クライアントはqBitTorrentが一番楽だと思う。
ここにはさすがにmagnetリンクは書かないから各自ググって欲しい。
結構誤解されがちなことだが流出データ50GBを全部ダウンロードする必要は無い。
必要なファイルはanimefull-final-prunedディレクトリの中身とanimevae.ptだから5GBちょっとくらいなんじゃないかな。
もし余裕があるならmoduleディレクトリの中身もダウンロードすればいいけど、ぶっちゃけ必要無いんじゃないか？
まずはanimefull-final-prunedの中身のファイルをリネーム。
「model.ckpt」を「animefinal-full-pruned.ckpt」のようなわかりやすい名前にして、
「animevae.pt」を例えば「animefinal-full-pruned.vae.pt」のような拡張子以外は同じファイル名にする。
WebUI起動フォルダ配下の\models\Stable-diffusionにリネームしたファイルを移動させれば配置はOK。
ちなみにmoduleディレクトリの中身は\models\hypernetworksに移動させて使う。
それらのファイルを設定で適用させると画風が結構変わるがNovelAI再現とは関係無いみたいだ。
(追記)moduleディレクトリの中身の.ptファイルはhypernetworksという技術によって画風などを学習したものらしい。
すでに複数のイラストレーターの画風を学習したptファイルが作成されており議論を呼んでいる。
自分のグラボのVRAMが4GB未満の場合は「set COMMANDLINE_ARGS=」の後に
4GB未満の場合は「--medvram」、2GB未満の場合は「--lowvram」とパラメータを追加しておこう。
自分の持ってるグラボのVRAMがわからないときはGPU-Zなどで調べよう。
またGTX1600系固有のバグ(単色の画像が出力される)があるらしいので
その場合は「--no-half-vae」もしくは「--no-half」や「--precision full」とパラメータを追加。
ちなみにパラメータに「--xformers」を追加してxformersを導入・使用すると
消費VRAMが減って画像生成処理時間も短縮されるので是非導入しよう。
画像からdanbooruのタグをAIで調査するdeepdanbooruを利用する場合は「--deepdanbooru」を追加。
のようになる。
ターミナルやPowerShellなどでwebui-user.batを起動しwebUIの初期導入と起動を行う。
過去には手動でCUDA等を導入する必要があったが、現在はこの初期導入でだいたいの導入が行われる。
ずいぶん楽にはなったがその分初期導入の時間は結構長い。10分～20分くらいかかるかもしれない。
途中で導入処理がエラーで止まってしまった場合は管理者権限で実行するなどして対応して欲しい。
起動ができたらSettingで以下の設定を変更してNovelAIに近づける。
Stop At last layers of CLIP modelを2に、
Eta noise seed deltaを31337にする。
これで設定は完了！
設定を合わせて完全にNovelAIと同じ内容になったのかを確認するテストがある。
出力結果から海外じゃHallo Asuka Testなんて呼ばれている。
これは初期SEEDをはじめとする設定内容が完全に一致していれば同じ出力結果を得られる仕組みを利用している。
プロンプトの内容：masterpiece, best quality, masterpiece, asuka langley sitting cross legged on a chair
ネガティブプロンプトの内容：lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts,signature, watermark, username, blurry, artist name
https://i.imgur.com/Bfl5qJB.jpg
なお、このテストはAUTOMATIC1111のバージョンやxformersの適用状態によっては微妙に違う画像が出力されることがあるらしい。
xformersを適用させている増田の環境だと確かに二つ並べると間違い探しレベルの違いがあった。
「Booru tag autocompletion for A1111」を導入すればNovelAIのように自動でdanbooruのタグを保管してくれる。
画像生成AIモデルはStable DiffusionがOSSのため派生が結構多い。
自前で追加学習もできるため自前で学習した追加AIモデルを4chanのような掲示板などで共有する人もいるらしい。
しかしそのようなモデルの中にウィルスのような悪意のある動作を行うものもあるらしい。
FBIがペドフィリアを一網打尽にするためにIPアドレスなどの個人情報を抜き出す動作を行うロリ特化AIモデルを掲示板で配布していて
しかもそれには本物の児童ポルノが教師データとして使われている…などという都市伝説的な話が今界隈を賑わせている。
Zen4アーキテクチャーを搭載するRyzenシリーズについては2022年秋頃に投入が予定されており、デスクトップ向けCPUは『Raphael』、モバイル向けは『Phoenix』と言うコードネームで呼ばれています。
アーキテクチャー的にはZen4は現行のZen3から大きく進化するメジャーアップデートになると見られています。
Ryzenシリーズについては2020年に発売がされたRyzenが『Zen3』で世代的にはZen、Zen+、Zen2からZen3という事で第4世代呼ばれています。2022年初旬には第5世代に当たる『Zen3+』が搭載されたRyzenの投入が予定されており、Zen4についてはその次に登場する事から第6世代になると見られています。
なお、モデルナンバーについては2021年11月時点では不確定です。
これは、2022年初旬にモバイル向けZen3+搭載Ryzenとデスクトップ向けに3D V-Cacheを搭載したRyzenが登場しますが、これら2つのモデルがどのようなモデルナンバーを与えられるかによって変わるためです。今時点では、Zen3+が7000シリーズに、3D V-Cacheモデルが6000シリーズになると言われているので、Zen4は8000シリーズとなる可能性はありますが、ここではまだ不確定としています。
アーキテクチャー刷新とTSMC 5nm採用で、IPCを大幅向上
Zen4アーキテクチャーではZen3に対して大きく進化すると見られています。
Zen4アーキテクチャーを採用するEPYC GenoaのES品を手に入れた者によるリーク情報によると、Zen3を採用するEPYC Milanに対してES品と言う段階で既に同一クロックでの動作はZen3に対して29%程度向上しているとの事です。また、動作クロックについてもZen3より向上を見込んでいるとの事でAMD製CPUでは困難だった5.0GHzの壁も超えられるCPUになる可能性があると2021年2月時点のリークでは語られています。
5nm『Zen4』RyzenはIPC25%向上へ。性能は『Zen3』より40%増し
パフォーマンスが大きく向上している背景としては、Zen4ではTSMC 5nmプロセスを活用する事や、I/OダイについてもGlobal Foundryの14nmプロセスからTSMC 7nmプロセスに進化する事で全体的なパフォーマンス底上げに繋がっていると考えられます。
スッポン現象と決別。ソケットはLGA化されたソケットAM5が採用
Zen4 Ryzen "Raphael"採用のAM5モックアップ出現。TDPは最高170Wか
AMDのRyzenシリーズは2016年に発売された第一世代Ryzenから長らくソケットAM4を採用しています。このソケットAM4ではCPUとマザーボードを繋ぐピンがCPU側に搭載されたPGAが採用され、CPUの取り扱いに関してはIntelなどで採用されているLGA（マザーボード側にピンが搭載）モデルより扱いに注意が必要です。
特にこの機構ではCPUとCPUクーラーを密着させるシリコングリスが固着すると、CPUクーラーを外す際にCPUのソケットがロックされているにも関わらず、CPUがソケットから抜けてしまう現象があります。これが、スッポンと言う名前で親しまれていますが、このスッポンはいわば無理やりCPUがソケットから抜かれてしまうため、CPU側のピンが折れて動作不良に陥るような事態があります。
そんな、AMDのソケットAM4ですが、Zen4世代からソケットAM5へ進化する予定になっており、このAM5ではIntelでメジャーだったLGAが採用される事になっています。
170W TDP seems to only be for a special variant, not the normal CPUs for sure
— ExecutableFix (@ExecuFix) May 25, 2021
ピンの数は1718本となっており、IntelのAlder Lakeで採用されているLGA1700に近いピン数になっています。ただ、CPU裏のレイアウトでは、Intel側がCPUの中央付近に電源回路関係が敷き詰められているのに対して、AMDのZen4では裏面は全て接触パッドが敷き詰められており、CPUの表側にヒートスプレッターに切り欠きを設けて、そこに電源回路関係のチップが搭載されるデザインとなっているようです。
A first look at the AM5 socket, once again in the form of a 3D-render pic.twitter.com/84T6wUjpQ2
— ExecutableFix (@ExecuFix) July 29, 2021
最大コア数は16コアに据え置き。TDPは最大170Wまで引き上げられる見込み
Zen4 Ryzen Raphaelでは最大16コア据え置き。TDPは最大170Wに
Zen4アーキテクチャーを採用するサーバー向けCPUのEPYC GenoaではZen3アーキテクチャーを採用するEPYC Milanの64コアから最大96コアにコア数が増加する見込みになっています。しかし、コンシューマー向けのRyzenについては今まで通り16コアに据え置かれる見込みとなっています。
— ExecutableFix (@ExecuFix) July 13, 2021
また、TDPに関してはZen3搭載Ryzenシリーズではコンシューマー向けに販売されている製品ではTDPが120Wのみ、OEMなどに向けて販売されているモデルを含めると、65Wと120Wの2つのTDP帯製品が存在しますが、Zen4 RyzenからはTDPが最小は65Wと据え置きになるものの、95W、105W、120Wそして170Wの合計4つのTDP帯製品が登場する見込みとなっています。なお、この170Wモデルに関しては、パフォーマンスに特化した特別なモデルのために存在するようです。
CPUクーラーはAM4と互換性あり？TPD 170Wモデルには280mm以上の水冷クーラーが必須に
Zen4 Ryzenではソケットが変更となりますが、AMDのリーク資料によるとクーラーに関しては既存の純正CPUクーラーが対応製品としてリストアップされるなどしているため、ソケットは変わるものの、高さやマウント形状に関してはAM4と互換性を持つ可能性があります。
一方で、パフォーマンス特化モデルではTDPが170Wになるとの事ですが、この170Wモデルに関しては同じ資料によるとヒートシンクには280mm以上のラジエーターを備えた水冷クーラーが冷却には必要となると記載されています。そのため、Mini-ITXなどコンパクトな高性能PCを組み立てたいというユーザーにとってはハードルが高くなりそうです。
Zen4 RyzenにはGPU内蔵が標準に。ソケットAM5のリーク情報から判明
内蔵GPUが標準搭載になるのではないかと言う情報はAMDのソケットAM5の互換性について記載されたリーク資料にて記載されています。この資料上のOn-Chip Graphicsと言う欄には"1 Dedicated"、つまりOn-Chip Graphics用に専用チップを有する事が記載されています。また、これらはソケットAM5に対応するすべてのFamily/Model Numbersにて同様の事が書かれています。この事から現行のRyzen 5000Gシリーズのようにモバイル版をベースとしたデスクトップ版Ryzenでのみ内蔵GPU搭載となる扱いとは異なります。
また、上に表示されている資料のページには記載がありませんが、資料の原本には “Some OPNs…may not support GFX”、日本語訳で『一部OPNs(モデル)ではGFX（グラフィック）をサポートしません。』とわざわざ一部OPNsでは対応しないと書いてある当たり、GPUを内蔵したモデルが標準になる可能性は高そうです。
企業などでRyzen CPUを採用したデスクトップをあまり見た事があるという方は少ないと思いますが、多くの法人向けPCではGPUを内蔵している事は必須条件とも言え、わざわざdGPUが必要となる従来までのRyzenは大きなディスアドバンテージとなっていました。そこで、AMDではZen4 Ryzenからは内蔵GPUを標準搭載し、法人向け需要も取り込もうとしているのかもしれません。
CPU側はDDR4とDDR5に対応。PCI Expressも5.0まで対応
ソケットAM5に刷新されるZen4 Ryzenですが、これに伴いチップセットも現行の500番台から600番台のモデルが発売されます。この600番台チップセットではIntelが2021年11月に発売したAlder Lake-Sと同じようにメインメモリーにはデュアルチャンネルDDR5が採用される事となっていますが、CPU自体はDDR4にも対応しており、Alder Lake-Sと同じように廉価モデルのためにDDR4にも対応できるようにもなっているようです。
PCI Expressの世代に関しては、Zen4 RyzenのCPU自体はPCIe Gen5.0に対応した設計になっています。ただし、マザーボードのPCH自体はPCIe Gen 4.0までの対応となっておりCPUと直接接続が可能なPCIeレーンだけはPCIe Gen 5.0に対応できるというマザーボードになりそうです。なお、サーバー向け製品であるEPYCやThreadripperなどはマザーボード側もPCIe 5.0に対応できる見込みのようです。
そこんとこ詳しく。メタップスとか？
Waf なんて書くな！ WAF とかけ！
うっせーな。クラウドベンダーの独自 API なんか使いたくねーんだよ。オラクルじゃあるまいし。
まぁ、それは認める。でもさ、select や create とかのDML/DDL は CRUD と同じだけと、DCL なんて権限を発行できるりょういきにトーシロを突っ込むわけにいかないだろ。何も考えずに GRANT TO なんてプロダクション環境で発行されて日には、権限消失されたら永遠にデータにアクセスできなくなるかもよ？
そりゃそうだけど、フロントエンドは移り変わりが激しいじゃないですか。ほんの数年前までは Flash と DoJa のアプリを作ることがフロントエンド開発者でしたよ？一方データベースや OS の方は、ここ三十年ぐらい Unix と RDB が鉄板だった書ないすか。低レイヤだっていうけど、IoT なんかで C言語開発者はバリバリっすよ。例えば、クラウドフレアなんか CDN の再発明をしてますけど、サーバーラックを見る限りだと差がついているのは低レイヤの根本技術の改善であって、私はそこにプロフェッショナル性を見出しますがね。
わかっていないのはテメーの方だ。今日オーバーフロー問題を抱えている C/C++ でサーバーの開発をしようとするのが危険なのは承知しろよ。パフォーマンスを必要とするなら Rust、または GC があるけど Go言語を使って実装すべきだろ。高学歴なのは結構だけどは、現実は見えてないのか？いい加減にしろ。
そうだね～。卓越したインフラエンジニアがすぐに手に入るなら、問題ないだろうけどさ、ベンチャーや硬直化した雇用形態の我が国で有能なインフラエンジニアをすぐに採用できるかよ。何年前の知識で戦っているの？時代は DevOps なんですよ。必要とあらば、すぐ学んで、応用して、デプロイできるのに「インフラエンジニアを採用から始める」なんて、ヨーロッパが衰退する理由もよくわかるよ。プププ。
誰が Next で SSR なんてするか！あれは SEO が必要な場合に限る。そもそも SSR なんて危険だからまともなエンジニアだったらしないだろ。問題になってないだけで、本当のブラウザとクローラが見える内容が違うなんてスパム認定されてもおかしくないんだ。クローラにインデックスされるページで SPA をやろうとするやつはセンスないで。
すいませんでした。本当にすいません。
ん？ AWS SQS だとパフォーマンスに問題があることしたいから Kafka を使いたいのよ。確かに Zookeeper のことは詳しくないよ。だけど、AWS MSK 使うんで。PaaS というもんがあるので、だめなん？ログ収集は GKE みたいに ログに出したら Fluentd で収集してくれる時代になんでグチグチ言われないといけないの？
ハア？インメモリのデータベースに信頼するほどヤワじゃないから。Redis なんて飛んでなんぼ。だから Kafka のようなストレージに保存されるメッセージキューを利用したいの。
これないと、CI の責務が大きくなるじゃん。ほんでもって、ArgoCD なんて Kubernetes で展開したら運用までしないといけないじゃん。メンドクサ。
いや、J1ビザをとってアメリカに留学したことあるよ。あと、「世界でもっとも強力な9のアルゴリズム」「CleanCoder」「戦うプログラマー」 の本に書いてあるじゃん。馬鹿にしてるのか？
（年収270万で）プログラマーを引退して、医学部にきた俺が真面目に考えてやろう。
真面目に読んでいて、ちょっと気になる箇所がある。たとえば PostgreSQL を postgre とか書くヤツは現場では嫌われるぞ。少なくとも postgres と書いてくれ。お里が知れるぞ。
消えていくエンジニアの特徴だけど、叱責されたり馬鹿にされるのが嫌で VCS にコミットしないヤツ、または貪欲にコードレビューをされるのが嫌がるやつは、成長しない。
この業界は数年前には『デジタル土方』と揶揄される業界でした。ちなみに、アメリカでも「テック系はハードだから避ける」という雰囲気でした。つまり何をいいたいのかというと、ソフトウェアの開発者っていうのは「泥臭い領域」なんだよ。エリートとは程遠い場所にあるというね。
いやぁ、是非とも楽天で働くべきだよ。どうせ野村総合研究所とか NTT DATA なんて無理だと思うから。
うん、ココはまずい。基本的にフロントエンドなんて給料が安いのよ。だって、誰にやらせてもデータベースにクソなDCLを飛ばせないから。逆に、データベースを触れることができるプログラマーはリスクと責任が大きいから、給料が高いのだよ。B4 になってもそれが理解できていないようだと、この先くらいよ。
君はソフトウェア・エンジニアになりたいのだろ？世の中は分業で成り立っているのだから、全部やろうとするやつはアホだよ。
インターン生はお客さんなの。君のスキルが通用したのはすごいと思うけど、同じ感覚で仕事はできないから注意しときなよ。
なに言ってるの？そんなことは言い訳にならんよ。プログラマーになりたいのだろ？勉強をしろよ。
逆にいうと、あなたがインターンとして週３で20万円貰えていたのは、参入障壁が少ないからでしょ？強強エンジニアが生き残っているのは、それだけすごいということだよ。
いやぁ、違うと思うよ。その問題が「難しい」なら切り分けて、上に「ココが自分の能力では解決できないです」と持っていくだけなんだからさ。CS じゃないのだったら、仕事をするまで「扱わないまま」なんだよ？しかも、土日に勉強する気もないとなったらいつするのさ？
諦めなよ。ソフトウェアというものが「変化できることに価値がある」ものだから。変化する業界はストレスフルだけど、立身出世する可能性が高いでしょ？安寧なばしょではないの。
いやー、CSでない博士課程に行って、雇ってくれる企業があるかね？無いと思うけどな。
この時点で、君はコピペしかやってきてないことが理解できる。おそらく QUIC か MQTT あたりだろ？逆にいえば、それが実装できたら他社と差のつけられるプロダクトだったはずだ。つまり会社の利益の源泉であった部分をみすみす実装できないようでは、そこらへんの専門卒以下だぞ。
ムカつくというか、虫酸が走る書き方だ。箇条書きにすると、
プログラミングに年齢はないから。自分は９歳ではじめたけどね。
あー、俺も天才が高校のときにいて、マーチの情報工学と旧帝の院の学費を会社持ちという驚異的なやつがいたよ。今もブログ見てると、Android と iPhone のアプリを書いているみたいで、元気そう。
それを上手にコントロールできるプログラマは世界中にもほとんどいねぇ。むしろ、月20万でやるもんならギルドから苦情が来るぞ。オレもアビームの人に給料を答えたら、「こんなヤクザな会社はやめろ」と耳うちされたよ。
人より良い経験をしたいという願望はあるのは素晴らしいと思うよ。しかしながら、君が到達したノウハウは他人にもできることだからね。ワン・オブ・ゼムになりたくないなら、努力し続けることだな。勉強をするのをやめたら、数年で中卒に負ける世界だからな。覚悟しとけよ。
P.S. 医学部に来たのは家庭の都合だよ。それに、自己顕示しないと「場末のコーダー」で読んでもくれないだろ？年収については、自分も低いと思うよ。なぜ低かったかというと、都内私立大学多浪中退の自分にはベンチャーの皮を被った助成金搾取がメインの反社会的勢力のフロント（ベンチャー）企業ぐらいしか相手にしてくれなかったからだよ。そこの会社は外国帰りの MDMA をキメて、未成年の子女に手を出しては警察沙汰スレスレのことをしているキチガイが社長をやっていて、人工知能を作ろうと学生インターンを酷使している会社だったのだけど、「サイバーエージェントに紹介する」という嘘にひっかかって、特定派遣事業の免許がないのに客先常駐させられ、土曜は帰社日、日曜は社長の Python の勉強会に参加させられる、というブラック会社にいてピンはね率（60%）となると、まともに考えることもできず働くアリになってしまってたからだよ。
P.S. ② 年収については、初日から派遣先の会社に引き抜きのオファーをもらって、２ヶ月後に新しい会社に移動したけど、300万だったので CodeIQ というサイトで転職をする準備をしていたよ。たしか、DMM とかサイバーエージェントの面接にいこうとしてたような記憶。その後で家庭の都合で、医学部に来たけど。
P.S. ③ 医学部医学科の６年生だよー。みんなが嫌いな私立医学部だけどね。ちなみに、俺もこの大学が嫌いだ。
P.S. ④「GraphQLをわざわざ書くのは理解できるけどな。」そうだとすると、REST や SOAP も書かないとまずくない？書くのだったら「Rails と Next のデータ受け渡しにGraphQLを使った経験が」という感じだと良いと思うけど。
P.S. ⑤「野村総研とデータを挙げるあたりSI寄りの仕事してたのかな。 」ちゃうねん。オレっちは多浪したからさ、そこのエントリーシートをかけなかったのよね。まぁまぁ大学が名門でさぁ、OB が誘ってくれるけど、年齢で弾かれて辛かったねん。
P.S. ⑥「ダウト。学費をどうやって稼いだんや 」えぇ、親の金です。だから家庭の都合でと書いてるじゃろ。
P.S. ⑦「本当に医学生ならここ数年の技術についてこの指摘ができる程詳しいわけないし少なくとも10年位は業界にいないとこういう感覚は身に付かない。 」たしかにおかしいよな。Kubernetes や Terraform を弄って、CI は GitHub Actions、CD には AWS CodeDeploy を使って、ブログは Jekyll で静的サイトジェネレータを使いつつ、自前のサービスを立ち上げるために Rails, Next, React, PostgreSQL, Redis, Kafka, Elasticsearch, S3 の勉強をしつつ、スマホ環境のために Kotlin と Swift を触れているなんて変だよな。そういえば、Docker が来るまでは Vagrant で環境をつくっていたのも忘れてたよ。あと Rust を今年に学ぶ言語にするなんて、受験生にあるまじき行為だよな。うん。
P.S. ⑧ 年収については、基本給が 22万で、残業が200時間超えたらプラスだった気がする。あと、反社ベンチャーは「ポートフォリオの作成にまる一ヶ月間で拘束された、しかも無給で」という時点でヤバいのだけど、その会社にコミットしたのは「サイバーエージェントに紹介する」ということだけであって、同時期に DMM も面接に行けそうだったのよね。馬鹿なことをした。
P.S. ⑨「特にフロントエンドを見下す感じとか」オレ自身はフロントエンド出なんだよ。何を隠そう、Adobe Flash のゲームをつくっていたから。それでもって言うよ、バックエンドが一番大切だと。
P.S. ⑪「5～10年前に人売りに捕まった話とするなら、年収270万も現実味を帯びる。」特定派遣は消えてくれてよかったよ。俺のところは特定派遣すら未登録だったけど。
P.S. ⑫「いい医者になるのだよ 」うん、頑張る。「オッサン」「社会不適合者」「あるき方がキモい」「プログラミングwww」「同じ班になりたくない」「親も頭が悪い」「生きてて恥ずかしくないの？」とか言われてるけど、頑張る！
P.S. ⑬ 「フロントエンド別に給与低くないよ。」えっ、そうなの？WebDesigning を読む限りだと、400万もいかないイメージだけど。
P.S「医学部6年でまだプログラムに興味あるの不思議。」好きなんだよ、言わせるな///
P.S. 「フルタイムじゃないのでしょ？」いいえ、東京都内でフルタイム（ひどいときで、朝7から夜24）でしたよ。入った会社が「法律よりも、派遣先の評価」という会社だったからね。
P.S. サイバーエージェントさん、ときどき御社の社名を使って「弊社に恩を売ると、サイバーエージェントに紹介する」というベンチャーが跋扈しているので、どうにかしてください。わたくし、１ヶ月間もその嘘で jQuery と Django を回収させられた挙げ句、月給 2000円だったのですけど。本当に千円札２枚だったのですけど。ついでに、Android（Java） と iPhone（Objective-C）と jQuery を使ったフロントエンドシステムに、バックエンドに Rails + Postgresql のシステムで、AWS を介したサービスを作らされたのも「サイバーエージェントに紹介する」と言われたからなんですけど。いったい、何なんですか？お前ん所は、コンプライアンスどうなってんじゃ。
P.S. 「好きそうだし医学部卒業してシレッとgoogle行ったれ 」無理っすよ。オレのスキルじゃ。
P.S. 「病院は」親がクリニックを持っていたけど、潰したよ。クリニックは人に患者がついていて、アルバイトを充てがっても患者さんが不幸になっていくのをみちゃったからね。自分は責任を持って患者さんを見たいから、バイトなんて使わないよ。
P.S. 自分はコードを書きたいタイプだったから、SIer みたいな UML とか書いて下請けにコードさせるみたいなのは絶対に嫌だったのよね。だから SIer にはならなかったよ。やっぱり、現実にある計算機が解決できる問題を、より直接的に触れて解決したいと思っているから。仕事がハードでも全く問題なし。
P.S. FPGA すごいよね。ザイリンクスとアルテラが Intel と AMD に買収されて、すごいと思ったよ。2010年頃だっけ？、CPU の限界を FPGA で突破しようという話があったけど。手を出そうと思ったけど、高性能なチップが 100万ぐらいして挫折した記憶があるよ。
P.S. 「東海大の医学部・学士」は自分は大学を卒業してないから無理でした。あと、それ以上の詮索はやめてくれ...
P.S. 「MySQLそんなに嫌いなのか。」そんなこと書いたつもりはないが、あれ？確かに MySQL は PostgreSQL より嫌いたけど、それは Oracle が親元だったり、Unicode の扱いがファッキンだったり、ストレージエンジンが切り替わるときにカオスな目にあったけどさ、MySQL は好きだよ。お世話になったし。
P.S. 給料については契約後に言われたのよ。というか、もともとは「サイバーエージェントに紹介」するという理由で、ポートフォリオの作成や Django の改修を手伝ったつもりで、入社とかする気は全く無かったのよ。それが、いきなり他所の会社に面接を受けさせられて「君は明日からXXで働くから、履歴書を書いてね」と言われて、抗議したら「俺に恥ずかしい思いをさせるのか！業界に入れなくするぞ！」と大声でシャウトされて、気がついたらあっちが用意した履歴書に拇印してしまったのよね。有料職業紹介と派遣登録をしてない会社だったから、そんなかとはできないはずなんだけどね。ホームページには「年収550万」と書いてあったけど、実際はまったく違ったのだけどね。
P.S.「うーん、いらないかな。IT土方としての仕事しかないと思う。」だよな。おとなしく医者になるよ。ありがとう。
P.S. Elasticsearch は全文検索機能がほしいからやってるよ。Redis はインメモリなセッションストアとして使いたいのよ。Kafka はさ、twitter のファボをじっそうしたいけど、RDB の書き込み速度が上がらないから利用したいの。TensorFlow は全く理解できてないよ。それは、指摘されたとおり。
逆に聞くけど、以下の知識があったらどれぐらいもらえるわけ？東京23区で。
コロナ禍の影響で中古PCの回転が良い。こないだまで在庫がだぶついていたC2Dが勢いよくさばけて、中古屋は古くてもSunday Bridge世代のものしか売らなくなってしまった。これ自体は特需として歓迎すべきことなんだけど、思えばネイティブでWindows XPと7が稼働するPCがなくなっちゃうんだなという感慨もある。
ハードオフとかボッタクリ店舗にゆけば高い値段でC2Dを売っているが、そこまでしてほしいもんでもなし。家にあるボロボロのC2Dは今やメモリが2つ壊れてメインメモリ2GBでしか起動しない。まあ今更XPでなにすんだとかデバイスが動かないなら仮想で動かしてそっちにつなげて使えよ、とか身も蓋もないんだけど。
なんでしょうね、一抹の寂しさというか。多分OSと過ごしてきた時期の思い出のほうが強く残っているんだと思う。
１０倍のメモリつめば、そりゃ１０倍速いだろうな
でもそうではなく、
という状況をわざと作り出して
という話をみんなしている
人によっては１千倍１万倍
１０倍のメモリが、枯渇した時にどうなるか？というのをシミュレーションするために
メモリを１０倍にしないで１倍で、やってるんだよという
まぁ、絵解きなんとか とかは必要なわけで
興味を持ってもらうというのは大変なわけです。
いまはやりのビッグデータですが、
１エクサ級DB とかかけば ビッグデータと思ってもらえますが、読者が激減 読んでもらえない上に・・・
そうすると、１００
万個のレコードが！
とかいて
DBも件数が増えて、全国展開ともなると、小さなDBでは起きなかった様々な事が起きるんです。
という感じで、難しくないようにいうんだけど
お前が本当に言いたいのはスワップでエクサ！なんだろ？ってしつこく言われて疲れた。
ものすごい苦労しているけど、実際話をしたいのはデータが１０００ギガ＝１テラを超えるようなDBの話をっ前提
なにか？
メインメモリからスワップアウトすることが必須。スワップ！？ あーん。
というやつです。
そうすると 縮小して わざとメモリにリミットを書けて５００Mぐらいにしておいて、
わざと、スワップアウトさせて、このときのアルゴリズムを議論して、将来１エクサのときにという話をしていくのですが
そんなもん、メモリ積めばいいじゃんといわれると
そうですね。
としか答えられない
そういうこと クイックソート系のアルゴリズムは ざっくり最悪値は N^3に近づく場合がある（重複の計算時にもう１回ループをしなければいけない場合があるので３重目のループ＝重複計算）がある場合がある それをおしなべると初期は重複木が１でしかないから N＾２
いわゆるバブルソートの場合何があっても順列のN*N-1になるけど クイックソートの場合 著しく偏ったソートの場合 偏った木を延々と処理しなければならずメモリ空間がランダムアクセスになっていわゆるIntel系の１次２次キャッシュを破壊してメインメモリから読み出さなきゃいけないからすさまじいスピンアントを引き起こす
どもども。
わたしは「なにか作ってみろ」系の言説にはまったく同意しません。
わたし自身、会社に3ヶ月間みっちり導入教育をしてもらい（COBOL85とPL/I。時代がわかる……）、基本的なアルゴリズム（コントロールブレーク、マッチング、マスタ－トランザクション、ソート、マージ、etc.いよいよ時代がわかる……）の演習を（給料をもらいながら）やって、その後もプログラムとつかず離れずでフラフラと生きてきました。
こういう経験は新卒カードがあるから有効なもので、では1から始めるとしたら……、というときに、プログラミングスクール（専門学校）というのは悪くない選択肢ではないかと思います。が、行ったことないので正直わかりません。
実際自分が1から始めるという立場になったら、まったくオロオロして元増田さんのように世のなか（の気にいらないヤツら）に呪詛を吐いて満足するだけだったと思います（当然ながらそれをいくらやってもプログラミングは上達しません）。
話をプログラミングだけに限っていえば、一番大事なのはやりかたじゃなくて動機だろうと思います。
「なにか作ってみよう」というのは、なにか作ってみようと思ってない人にはまったく心に響かないでしょう。
動機ドリブンで「なにか作ってみた」人といえば思いだすのは、MikuMikuDanceの樋口優さん（ミクを簡単に踊らせたい！）とhinadanの若宮正子さん（高齢者にも遊べるゲームが欲しい！）でしょうか。
ただかれらはわたしから見れば（モチベーションを維持しそれを行動に移す）天才で、あんまり参考にならないのも確かです。
あと、元増田さんの動機は「プログラミングを生業にしたい」ということなので、野良プログラマでは履歴書上でのアピール力が弱いかも、と思います。
ビジネスで使われるアルゴリズムにはそれなりのルールがあります。安全な（バグの出にくい）コードの書きかた、「車輪の再発明」はぜず、枯れた（将棋で言えば定跡のような）アルゴリズムを使う、ほかの人に使ってもらえるための工夫（可読性の向上など）、etc.です。
「なにか作ってみよう」を繰りかえしても、そういった作法的なものが身につくかどうか、それは才能に関わってくる問題だと思います。才能だのみの手法を推奨するのは無責任だと思いますね。
また、たとえば「例をコピーして解析する」というのもある意味有効なプログラミング学習法ですが、「下手に習うと下手が伝染る」ともいいます。どれがお手本として優れているか、それを見る目はある程度ビジネス用途のプログラムに関わっていないと持てないというジレンマがあります。
野生のプログラマで就職に有効なくらいの力を見せるとしたら、なにかのコミッター（なにする人かよく知りませんが）とかになって「××ならこの人」となったり、プログラミングコンテストで上位の成績を残したりしなければいけないのかもしれません。
どうしたものでしょうね。ブクマカのみなさんの反応を見ると、専門学校でもあまり就職に有利にならない（ホントか？専門学校の意味あるのか？）という話ですが、目的が就職ならば、一番の近道のような気がします。
そこらへんからは、元増田さんがなにをしたいか、あるいは聞いてみたいだけだったのかによります。仕事には適性とやる気が大事です。あとは年齢と必要性かな。進路はオーダーメイド以外にはありえないので、提示された案を自分で選んでそれに賭けるしかないのかな、と思います。
さて、この文章は実はこの一文に反応してのものです。（↑のは前書き）
GWあたりからトシも考えずにRubyの再入門をしていまして、手始めに「首相動静」の整形ツールを作ってみました。
初心者で（Rubyに関しては仕事で使ったことないので）なにか作ってみよう、というとこの程度ですね。
これで就職に有利になるかというと、あんまりそうは思えないなあ。Excelのマクロが組めるとかのほうがどこかの事務所に潜りこめそうですよ（でもそれも最近はインフレ気味かもしれませんね）。
朝日新聞の首相動静は詳細ですが、改行が入っておらず、大変読みにくいものです。こんな感じです。
【午前】９時３１分、自民党本部。３３分、同党役員会。１０時２分、官邸。５分、閣議。２１分、宇宙開発戦略本部。３４分、柴山昌彦文部科学相。３８分、岩屋毅防衛相。４１分、山下貴司法相。１１時３分、安全保障と防衛力に関する懇談会。
【午後】０時１１分、政府・与党連絡会議。４４分、山口那津男公明党代表。１時２７分、日韓議員連盟の額賀福志郎会長、河村建夫幹事長。２時２０分、行政改革推進会議。５２分、兼原信克官房副長官補、秋葉剛男外務事務次官。３時３６分、麻生太郎財務相、財務省の岡本薫明事務次官、太田充主計局長。４時７分、太田氏出る。可部哲生理財局長加わる。１５分、全員出る。２５分、黒川弘務法務事務次官。３４分、谷内正太郎国家安全保障局長、北村滋内閣情報官、宮川正内閣衛星情報センター所長。４１分、谷内、宮川両氏出る。５時３分、北村氏出る。１０分、東京・永田町のザ・キャピトルホテル東急。宴会場「鳳凰」で中曽根康弘世界平和研究所設立３０周年記念式典に出席し、あいさつ。２０分、官邸。６時１８分、ガーナのアクフォアド大統領を出迎え。記念撮影。１９分、儀仗（ぎじょう）隊による栄誉礼、儀仗。２７分、アクフォアド大統領と会談。７時１２分、署名式、共同記者発表。３２分、公邸。首相主催の夕食会。８時４３分、アクフォアド大統領を見送り。９時、ヨルダンのアブドラ国王と電話協議。
ただ、これはフォーマットがはっきりしており、
と、例を見るかぎりキッチリとしたルールに則っているようです。
なので、「これだったら整形できるかも」と思い、再び学びはじめたRubyで整形ツールを作ってみることにしました。
【午前】
１０時０２分、官邸。
１０時０５分、閣議。
１０時２１分、宇宙開発戦略本部。
【午後】
０１時２７分、日韓議員連盟の額賀福志郎会長、河村建夫幹事長。
０２時２０分、行政改革推進会議。
０３時３６分、麻生太郎財務相、財務省の岡本薫明事務次官、太田充主計局長。
０４時１５分、全員出る。
０４時３４分、谷内正太郎国家安全保障局長、北村滋内閣情報官、宮川正内閣衛星情報センター所長。
０４時４１分、谷内、宮川両氏出る。
０５時１０分、東京・永田町のザ・キャピトルホテル東急。宴会場「鳳凰」で中曽根康弘世界平和研究所設立３０周年記念式典に出席し、あいさつ。
０５時２０分、官邸。
０６時１８分、ガーナのアクフォアド大統領を出迎え。記念撮影。
０６時１９分、儀仗（ぎじょう）隊による栄誉礼、儀仗。
あと、午後の時刻を24時間制にしたいな、とも思いますが、それは今後の課題（つぎに首相動静が話題になったとき）とします。全角数字の計算ってどうやるんだろう？
たぶんRubyistにいろいろ突っこまれると思うけど、こんな感じです。
プログラマは玉石混淆ですが、これは石のほうの例だと思っていただければさいわいです。
※ はてな記法にはシンタックスハイライトあるけど、増田だとInternal Server Errorになるのではずしました。見にくくてスマソ。
# encoding: utf-8 # 漢字コンバータのライブラリを取りこむ（Stringに漢字変換メソッドを付けてくれる。神） require 'kconv' # 正規表現パターン # 時刻をｈ時ｍ分形式からｈｈ時ｍｍ分形式にする # 否定後読みを使用する # 時は行頭にある OneDigitHour = /^((?<![０-１])[０-９]時)/ # 分は時のあとにある。このパターンとマッチすると、\1が時、\2が分になる。 OneDigitMinute = /^([０-９]{1,2}時)(?<![１-５])([０-９]分)/ # 分のない、時だけの行のパターン。否定先読みを使用 HourWithoutMinute = /^([０-９]{1,2}時)(?![０-５]?[０-９]分)/ # 行頭のｈ時ｍ分をｈｈ時ｍｍ分にするサブ処理（これは関数といっていいの？） def convTopHourMinute2TwoDigits(oneLine) # 時を変換 oneLine.sub!(OneDigitHour, "０\\1") # 分を変換 oneLine.sub!(OneDigitMinute, "\\1０\\2") # 分がない場合"００分"を追加 oneLine.sub!(HourWithoutMinute, "\\1００分") # 戻り値 oneLine end # 入力ファイルの名前 InputFilename = "首相動静2018年12月11日.txt" # 出力ファイルの名前 OutputFilename = "首相動静2018年12月11日_編集済.txt" # 入力ファイルをオープン inFile = File.open(InputFilename, "r") # 出力ファイルをオープン outFile = File.open(OutputFilename, "w") # 時刻パターンはシンプルに、ｈ時、ｍ分、ｈ時ｍ分、という3パターンを結合する # 1つのパターンで全部カバーするよりこちらのほうが見やすい。というか、脳の容量の問題で1文に書ききれなかった jikokuPattern = /[０-９]{1,2}時[０-９]{1,2}分、|[０-９]{1,2}時、|[０-９]{1,2}分、/ # 午前/午後 ampm = /(【午前】|【午後】)/ # 午前/午後、あるいは時刻の前で改行するためのパターン kaigyouSign = Regexp.union(ampm, jikokuPattern) # ファイル一括読み込み # 昔は1行ずつ読みこんでました。メインメモリが3MByteとかだったので contents = inFile.read.toutf8 # 入力終了。閉じておきます inFile.close # スコープの関係から、ここでローカル変数に代入 # ※ Rubyのスコープと暗黙の型には泣かされました。これに慣れるのがRubyのコツかしら # 明示的な型宣言はあったほうがいいと思うなあ。エラー出力の理由がわからなかったりするので。 hour = "" # デバッグ行はコメント化しています # 時刻パターンチェックのため、コンテンツを出力してみる # p jikokuPattern.match(contents) # エントリを改行サインで行に分ける contents.gsub!(kaigyouSign, "\n\\&amp;") # "\\&amp;"はマッチした文字列そのもの。2重のエスケープ"\\"が必要 # 改行チェックのため出力 # p contents # 入力を行で分割して各行ごとに処理 contents.split("\n") do |oneLine| # 午前/午後を示す開きカッコ"【"があるか if (oneLine =~ /^【/) then # そのまま出力 outFile.write(oneLine + "\n") # p "午前午後：" + oneLine next # 空白行は無視（スキップする） elsif (oneLine =~ /^[\s ]*$/) then # 出力しない # p " 空白行：<skip>" next # 行頭に「時」があるか elsif (oneLine =~ /^[０-９]{1,2}時/) then # あったら時間表示を抜きだしておく hour = oneLine.match(/^([０-９]{1,2}時)/)[0] # p " 時：" + oneLine outFile.write(convTopHourMinute2TwoDigits(oneLine) + "\n") next else # 「時」がなければつけて出力 oneLine = hour + oneLine # p "普通の行：" + oneLine outFile.write(convTopHourMinute2TwoDigits(oneLine) + "\n") end end
手でやったほうが早いね。
以上
