  |
はてなキーワード: サンプリングとは
例えば、研究でオシロスコープでデータを取得して、そのデータ処理・管理について、あまり良い方法が共有されてない。
ピコセカンドでサンプリングしたものを時系列データとして扱うとなると、ピコセカンドが対応してなかったり、
パソコン上で信号の立ち上がり時間の統計情報を処理するのに苦労するとか、
まぁ色々と足りてない。
OSに任せてファイル管理ってのはまだいいが、例えばデータベース化しようとすると、
電圧や他の条件と、装置データを紐づけての整理は手探りだったりする。
測定データ処理してグラフを作るってのでも、癖のあるCERNのPyROOTに頼らないといけないとか、良くなってる気がしない。
藤田咲さんがソフトの趣旨を理解したうえで利用に同意してくれてるからだろ
逆に言えば、当初はなかなか理解が得られなくてサンプリングしてくれる人がいなくて、やっと実用化に協力してくれたのが藤田咲さんだっていうし
自分は両方やってるんですが(たまにお金貰えるけど専業は無理なレベル)２つの村でAIが話題になるたび結構反応が違うのが面白いです。
簡単に言うと、絵師の人達はAIに対して厳しめで、ミュージシャンの人達はゆるめ。
絵師の中では、反対派はもちろんたとえAI肯定派の人達も「補助ツールとしてなら」「AIオンリーやちょっと手を加えた程度の場合は明記するべき」「学習される側の権利は守るべき」くらいの立場の人が多い印象です(もちろん全部完璧に正論です)
ミュージシャンの場合、上のような「条件」も「まあそんな気にしなくて良くね？」と思ってる人がそこそこ多い。
なんでそうなるかって言うと、音楽の場合そこら辺の意識(美意識？)がガバガバな作り方が良くも悪くももう既に市民権を得ちゃってるからだと思います。
AIによる作曲はまだそこまで強くない(簡単なBGM程度や補助ならいけるけどかっこいい曲がパッと出てくるのはまだあまり実現してない)ですが、補助としては強力ですし使ってる人はいますしそれをいちいち明記しません。
それにAI以外でも「一から自分でやるのに比べてすごく簡単に作れちゃうやり方」がもうありますし多くの人が使ってます。
あ、最近この手の議論でよくボカロが例えに出てるのを見ますけど、ボカロとAIはわりと距離遠いと思います。あれはもう全然簡単ではなくて、普通にめちゃくちゃ技術が必要な打ち込みツールです。パッとできるものでは全くない。歌えるなら歌う方が簡単なレベルです。
「簡単度合い」で言えば例えば一例をあげればサンプリングなんかは近いです。凝った加工をする人もいますが、切り取ってデータを貼って繰り返すだけの場合も多いです。それならボカロの100倍簡単。かつてこの手法自体批判されていた時代もありましたが、今となってはあまり聞きません。
権利的な話でいっても、大手から出す人はさすがに許可取ってますが、インディーズなら無許可で既存の曲からサンプリングして使っちゃってる(ぶっちゃけバレなきゃセーフだよな的な空気がある)人は海外含め沢山いますし、たとえ権利が多少気になる場合でも今は月額で登録できる素材サイト(spliceやLoopcloudというサイトが有名)があるのでそれを使ってる人が大勢います。
そんでその素材もまあ権利的にはクリアってことになってますが「これ明らかにあれじゃん笑」みたいなのがいっぱいあります。イラストで例えるなら「画風の真似」をしてる素材みたいな(著名な演奏家や作曲者が本人シグネチャーとして自作素材を売ってる場合もありますけどね)
音楽を作ったことがない人は、海外のミュージシャンが素材サイトのアプリを利用してペタペタ素材を貼りながら高速で曲を作ってく動画をyoutubeで探して見てみるといいと思います。
ごくシンプルなヒップホップなら5分で、あとはラップ乗せてね〜ってトラックが一個作れますし、それを何も明記せず平気で販売してますし、買う側(ラッパー)も聴く側(リスナー)も気にしていません。
またイラストで例えるなら、線画素材に色を塗って(というより買った線画に合う"色素材"みたいなものもあって貼れちゃうみたいなイメージ)そのまま何も言わずに売るような感じです(絵師さん的な常識からするとビックリですよね)
AIとは違いますしAIよりかはまだ覚える作業はいっぱいありますけど、やっぱり上で書いたように「すごい簡単に作れちゃう」点では近い。一から全部自分でやるのと比べたら。
もちろんそういう便利ツールを全く使わない人からフル活用する人までグラデーションはあります。ですが、少なくとも、何度も書いてるように「フル活用しても何も明記しなくていい」でほぼ決着してるような空気なのはイラスト界とだいぶ違うかなと。良くも悪くも全て横一線です。
他にも演奏のパクり合い文化だったりとか色々あるんですけど、長くなったのでここら辺で。
一方の絵師さん達は、まあ主張はいっぱいTwitterに上がってるので切り上げますが、マッチョだなって思うくらいとにかく色々ちゃんとしてますね。これは悪い意味ではもちろんなく。いやまあ最近は二次創作でfanboxでどうこうみたいなのでモメてたりするのでスネに傷がある人もいるのかもしれませんが…まあ一般的な絵師さんはもうちゃんとしてます。悪い意味ではもちろんなく(2回目)
音楽は上のようなうねりの中で沢山素晴らしい進化を遂げましたが、損してる人達も沢山いますからね。サンプリングされすぎて共有財産みたいになっちゃった昔のミュージシャンが、功績に見合った対価を貰えてなかったりね。まあそれでも自分はミュージシャン側のノリが嫌いではないのですけど。
せっかく課金したのにユーザが増えまくっているのか滅茶苦茶重くなっていて最悪。
だから流出したモデルを使ってローカルでNAIの環境を構築する。
ネットには情報もだいぶ転がってるけど陳腐化した情報があまりに多いため増田にまとめることにした。
もしかしたらこの記事もすでに陳腐化しているかもしれないが…単純に間違ってたらトラバで教えてほしい。
もちろん自己責任。この記事を見て導入した結果何かあっても増田は何も保証しない。
英語がわかる人はこっちを見た方が早いと思う。今は導入RTAができるくらい導入は楽になっている。
https://rentry.org/nai-speedrun
VRAMが2GB以上あるNVIDIA製のグラフィックボードがあればローカル環境を構築できる。
GPUの世代はGTX700シリーズ以降。なので一昔前のミドル級ボードでも動作するらしい。
IntelのオンボードGPUでも実行する方法があるらしい(stable_diffusion.openvino)が今回は割愛する。自分で探してね。
その他の推奨環境は以下の通り。
対応OS：Windows7以上(と言うがM1Macでも動作する方法があるとかなんとか)
メインメモリ：16GB以上(VRAMもたくさん必要だが起動時にメインメモリも大量に食う。WebUI起動時にタスクマネージャを見ているとよくわかる)
スマホしか持ってないような人やこういうのがよくわからない人はNovelAIを使った方が良いと思う。
今は重いけど、きっとそのうちみんな飽きてサーバも軽くなるかもしれないし。
(追記)NovelAIがリソースを確保してサーバが軽くなったからリスクを背負ってまで導入しなくても良いかも
(追記)Pythonは当然3系。最新の奴を入れれば問題無い。
導入方法はいちいち書かないけど、「python --version」や「git -v」で
正常にバージョン情報が出る(パスがきちんと通っている)ことはちゃんと確認しよう。
Stable Diffusion web UIはStable Diffusionやそれをベースとした画像生成AIを利用するためのフロントエンド。
その中でも特に開発が活発でデファクトスタンダードとなっているのがAUTOMATIC1111版だ。
導入したい適当なディレクトリに対してPowerShellなどで
「git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git」
なお、AUTOMATIC1111版は数時間単位でコミットが行われるから
定期的に「git pull origin master」で更新しよう。
クライアントはqBitTorrentが一番楽だと思う。
ここにはさすがにmagnetリンクは書かないから各自ググって欲しい。
結構誤解されがちなことだが流出データ50GBを全部ダウンロードする必要は無い。
必要なファイルはanimefull-final-prunedディレクトリの中身とanimevae.ptだから5GBちょっとくらいなんじゃないかな。
もし余裕があるならmoduleディレクトリの中身もダウンロードすればいいけど、ぶっちゃけ必要無いんじゃないか？
まずはanimefull-final-prunedの中身のファイルをリネーム。
「model.ckpt」を「animefinal-full-pruned.ckpt」のようなわかりやすい名前にして、
「animevae.pt」を例えば「animefinal-full-pruned.vae.pt」のような拡張子以外は同じファイル名にする。
WebUI起動フォルダ配下の\models\Stable-diffusionにリネームしたファイルを移動させれば配置はOK。
ちなみにmoduleディレクトリの中身は\models\hypernetworksに移動させて使う。
それらのファイルを設定で適用させると画風が結構変わるがNovelAI再現とは関係無いみたいだ。
(追記)moduleディレクトリの中身の.ptファイルはhypernetworksという技術によって画風などを学習したものらしい。
すでに複数のイラストレーターの画風を学習したptファイルが作成されており議論を呼んでいる。
自分のグラボのVRAMが4GB未満の場合は「set COMMANDLINE_ARGS=」の後に
4GB未満の場合は「--medvram」、2GB未満の場合は「--lowvram」とパラメータを追加しておこう。
自分の持ってるグラボのVRAMがわからないときはGPU-Zなどで調べよう。
またGTX1600系固有のバグ(単色の画像が出力される)があるらしいので
その場合は「--no-half-vae」もしくは「--no-half」や「--precision full」とパラメータを追加。
ちなみにパラメータに「--xformers」を追加してxformersを導入・使用すると
消費VRAMが減って画像生成処理時間も短縮されるので是非導入しよう。
画像からdanbooruのタグをAIで調査するdeepdanbooruを利用する場合は「--deepdanbooru」を追加。
のようになる。
ターミナルやPowerShellなどでwebui-user.batを起動しwebUIの初期導入と起動を行う。
過去には手動でCUDA等を導入する必要があったが、現在はこの初期導入でだいたいの導入が行われる。
ずいぶん楽にはなったがその分初期導入の時間は結構長い。10分～20分くらいかかるかもしれない。
途中で導入処理がエラーで止まってしまった場合は管理者権限で実行するなどして対応して欲しい。
起動ができたらSettingで以下の設定を変更してNovelAIに近づける。
Stop At last layers of CLIP modelを2に、
Eta noise seed deltaを31337にする。
これで設定は完了！
設定を合わせて完全にNovelAIと同じ内容になったのかを確認するテストがある。
出力結果から海外じゃHallo Asuka Testなんて呼ばれている。
これは初期SEEDをはじめとする設定内容が完全に一致していれば同じ出力結果を得られる仕組みを利用している。
プロンプトの内容：masterpiece, best quality, masterpiece, asuka langley sitting cross legged on a chair
ネガティブプロンプトの内容：lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts,signature, watermark, username, blurry, artist name
https://i.imgur.com/Bfl5qJB.jpg
なお、このテストはAUTOMATIC1111のバージョンやxformersの適用状態によっては微妙に違う画像が出力されることがあるらしい。
xformersを適用させている増田の環境だと確かに二つ並べると間違い探しレベルの違いがあった。
「Booru tag autocompletion for A1111」を導入すればNovelAIのように自動でdanbooruのタグを保管してくれる。
画像生成AIモデルはStable DiffusionがOSSのため派生が結構多い。
自前で追加学習もできるため自前で学習した追加AIモデルを4chanのような掲示板などで共有する人もいるらしい。
しかしそのようなモデルの中にウィルスのような悪意のある動作を行うものもあるらしい。
FBIがペドフィリアを一網打尽にするためにIPアドレスなどの個人情報を抜き出す動作を行うロリ特化AIモデルを掲示板で配布していて
しかもそれには本物の児童ポルノが教師データとして使われている…などという都市伝説的な話が今界隈を賑わせている。
昔から床屋で飛び交う「何センチ切りますか？」という単位系に疑問を感じている。
明らかに1cmが1cmで勘定されていないのである。更に人によってもぶれ方が異なる。
西に1.5cmといいつつ3cmくらいを量り取る理容師がいれば、東に5cmはこのくらいですと人差指と親指をピンと張る者も居る(15cm弱だろうか)。
昔あまりにも時空を歪める店員に堪えかねて、それは私の知ってるセンチメートルじゃないと抗議してしまったことがある。
するとその店員が答えていわく、髪は生えている場所によって伸びるスピードが異なるという。
頭のこのあたりで2cm切ると、一番(伸びるのが)早い部分でこのくらい切ることになります、とのことだったので、なるほどそういうことだったのかと得心し、
じゃあサンプリング地点を明確にして指定しないと何の意味もねぇじゃねえかと今後一生センチメートルでの指定はしないと誓った。
ところが困ったことに「では○センチ位切りますがよろしいですか？」という確認をしてくる奴が結構な頻度でいるのである。
今日世話になったのもこの類で、もうその手は食わんぞと「センチメートルで言われてもわからないので…」と突っ張ってみた。
おじさんは謎の生き物を見る目をしながら1.5cmを指で作ってくれた。親指と人差指が平行だった。
なんとなく、「全体をその長さの分短くするということですか？」と聞いてしまった。これは「いいえ」になるはずの問いであった。
おじさんは朗らかに肯定してくれた。心なしか誇らしげですらあった。
音楽のサンプリング問題と同じ話だって言われればそうなのだろうが・・・。
研究だけで使うってのなら、まぁわかる。
けどそれで稼ぐって話がな。
学習に他人の絵を使っているが、元の絵を描いた人にはお金は流れないわけでしょ？
すげーって騒がれているが、学習させている画像が、すげーと言われていたり、壮大な感じに見えるものをディレクションして集めてきたってことにしか思えない。
まだ、ある領域の近接領域には、統計的にこういった模様や色の物があるだけだって性能しかなく、
その性能に見合った画像を集めて来てるのでは。
あと絵は正解がぱっと見で判断出来ないこと、多くの人が判断を言語化し難い所を狙ったなっていう気がしている。
自分の絵に似ているって異議申し立てしても、類似してるかしてないか、人によって判断が分かれる。
でだ。
平均ってことはど真ん中なのでそれはザ普通であって普通以下ではないぞ。
あと母集団平均なのか標本平均なのかによっても話は異なる。恐らく標本平均だと思う。その友達は社会的地位の高い人が多くなるサンプリングバイアスを持っているだろうから標本平均は恐らく母集団平均に比べて極めて大きいことが予想される。それが真であるならば君は母集団の中では普通以下でもザ普通でもなく普通以上だ。ただその友達の平均=普通の基準が高いだけ。
GAFAMに入るために必要なのは基本的には基礎的なアルゴリズムとデータ構造の知識、それらを応用したコーディング能力、システムデザイン知識です。ほぼ全部受験勉強のように体系化されているし対策も出回っているので実際に凄いシステムを作り上げなければならないとか四六時中コーディングしているような人でないと受からないといったことはありません。受験勉強と同じですね。もちろん土日も勉強したりするような技術大好きオタクな人もたくさんいますがそうでなくても入ることは可能です。
基本的にこれらの大企業に入りたい人というのは高学歴の金目当ての人間です。普段からアンテナを張って技術を追いかけているような人は半分もいないでしょう。
ITエンジニアは業務外でも常に勉強し続けなければならないなどという人達は負け組です。もちろん勉強をしたいならすれば良いですがそれは趣味ですよね。業務に必要な知識の吸収は業務中に行う。要領の良い人達は皆そうしています。業務外で勉強するオタク気質な人であっても業務とあまり関係のない勉強をすることの方が多いでしょう。
業務外で勉強を続けなければならないと思い込んで業界の裾野を狭めるような負け組のITエンジニアの人達には黙っていてもらいたいものです。
ふつうのエンジニアは世間一般ではかなり勉強している
実は、ふつうのエンジニアは一般的にはかなり勉強している方にあたる。土日にコードを書いたり技術書を読んだり、仕事終わりに技術書を読むとか、そういうことは上澄みのエンジニアじゃなくてもしているというのが当然なので、当然みんなしているものだと思っている。とても怠けている人でもやっているのでそういうもんだと思っている。それに未経験エンジニアの中にはあまり技術に興味がない人も多く、働き方や収入などの面に惹かれているように見える。
エンジニアはわざわざ自分の休みをつかって学習する行為をべつに地獄だとは思っていないし、身の回りの人はみんなやっているから「誰でもやっているふつうのこと」だと思っている。認識に大きなズレがある。
「勉強を勉強と思っていないだけだ」という人が多いですが間違えています。この発言の裏にはみんな土日も勉強をしているという思い込みがあります。それがそもそもの間違いなのです。土日も技術的な勉強をしている人は多くないです。する必要がないからです。もちろんする人もいますが多数派ではないです。
「オレの知っているGAFAMエンジニアはみんな常に勉強している」と言う人も多いですが、それはあなたの知っている人達が日本人しかいないが故のサンプリングバイアスです。日本は割と最近までIT技術者は高給な職と見なされていませんでした。そんな業界には物好きなオタクしか集まりません。日本人技術者にはオタクしかいないので、そういう人達が技術の勉強が好きなのは当然ですね。一方、IT技術者が高給とされる社会ではオタク以外も集まります。金目当ての高学歴ですね。こういうオタクでない人達が普段から業務に関係のない技術の勉強をするかというとしない人も多いわけです。日本で高給とされる業界にいる人達のことを考えてみると分かりやすいかもしれないですね。
