はてなキーワード: jpgとは
いや、私の手描きなんですけど。
数ヶ月ほど前、絵を上げたらいつもと違う加速のしかたに気づいた。
リプも通知も切ってるから上げた直後は気づかなかったんだけど、後になってAI認定されてるってフォロワーが教えてくれた。
URLをそのフォロワー教えてもらって覗いてみたら、確かに私の絵は魔女狩りに熱心な異教徒を許さない会によって燃やされていた。
まとめをざっと見ると、絵描きを恨んでる無産が集って焚書してる感じ。絵に赤丸入れて指摘してるけど、
指の角度がおかしい、色選びが機械的、とかそんなのばっかりで、大体は筋違いというか、絵が見えてないなって印象。
というか何も産めないのに殺意滾らせる才能だけは十分あるんですね怖い。
その上棘にもまとめブログにも無許可転載を一生されていて、完全に晒し上げ状態。
pngをjpgにして拡散すんな劣化するだろ。保存すら下手くそかよ・・・
まぁいつかやられるだろうなと覚悟はしていたので、お気持ち投下すると燃えるのはわかってたし、放置してた。
すでに十分酷い話なんだけど、それからしばらく経って、外人からDMが届いた。
「君は素晴らしいDick girlのアートを描くんだね!よかったらCommissionリクエストしていいかい?」という内容だった。
異教徒を許さない会の皆さんは、焚書をやめて絵に加筆するという概念を手に入れていた。
どうせ元絵はAIなんだから著作権は無いし、上書きしても問題無いという超理論によって、わたし達の絵は性癖サンドバッグにされていた。
ある絵はふたなりに書き換えられ(それもめっちゃ下手に)、別の絵はR18Gコラにされ、更には絵を左右反転して逆カプですと喧伝してるものもあった。
明らかに、元絵を描いた人が一番嫌がると思しき事を、尊厳破壊を狙ってやっていた。
そしてそれをあらゆる場所に再転載していた。本当にあらゆる場所に。国内外問わず、丁寧に翻訳作業までして。
おめでとう無産じゃなくなるね。
なんて言うわけ無いだろ。
これは流石に。
流石に許せない。
意味がわからない、どうしてそこまで絵描きを恨むことが出来るんだろう、会ったこともないのに。
それからすぐ弁護士に相談して、棘といくつかのまとめサイトは消すことができた。
でも海外のサイトは簡単には止められず、許さない会の人はまだ誰一人として捕まっていない。
本当に。
本当にメチャクチャにされた。
それが許せなくて、とうとう筆を折ってしまった。
もう長いこと絵を描いていない。また書き換えられそうだから。
まだ色々と法的な話は進行中だけど、この先年単位でわたしは加筆された元・わたしの絵に向き合わなきゃいけない。嫌すぎる。
許さない会の人は誰一人許されないし、こういう被害に合ってる人がいたら教えて欲しい。
調べてみたらひどいクソ仕様だったので、同じ轍ふまないように知見共有します。
なお、消えてしまったデータは息子の卒業式の動画データ。復元不能。
ストレージは壊れるものという前提は理解しているつもりなので、状況ごとにいくつかのバックアップ体制は取ってある。
安くなったとは言えすべてのストレージをSSD化するには至っていない。
そのため、OSやソフトウェアなんかはSSDにインストール、写真や動画などのサイズがでかいデータはRaid HDDでミラーリングして格納するようにしている。
それ以外にもそれほどサイズの大きくないデータはonedriveとかのクラウドストレージを利用。そのデータもRaid HDDでミラーリングして二重にバックアップ体制を敷いている。
趣味で写真をやっているのだが、今回の事故はその編集のフローの中で起こった。
編集と格納は別で考えているので、アクセス速度が高いほうがいい編集はSSD上で行い、格納はRaid HDDに行っている。
そのタイミングでgoogle photoに分散バックアップ、必要に応じて家族なんかと共有を行う。
つまり、撮影が終わったら最初にすることは、SSD上にあるデスクトップの一時フォルダに写真と動画データをコピーすることから始まる。
Raid HDDに格納するのは、編集ソフトでレタッチが終わってからだ。
まずは写真データから編集を行い、RAWデータから無事にjpegデータへと書き出してHDDへの格納が終わった。
そのタイミングで妻からの頼まれごとのためにメールをpdfプリントして名前をつけて保存しようとした。
めったに使わない機能なのだが、指定されたのはonedriveフォルダだったので、そのまま保存をクリック。
ところが、PCからonedriveフォルダにアクセスしても出力したpdfデータが見つからない。
おかしいなと思ってもう一度出力を試みて保存フォルダのパスを確認してみる。
すると、今現在HDD側に指定してあるonedriveのパスが、SSD上のデフォルトのパスに指定されているようだった。
ここで思い至ったのが、確かPCにonedriveを設定した際にうっかりデフォルト設定のまま起動してしまい、その後、HDD上にパスを切り替えたという状況だった。
「そうかぁ。保存先を変更すると元のファイルを移動させるんじゃなくてコピーを作ってしまうんだな」なんて感じに妙に納得しつつ、もう一度しっかりとパスを確認した上でpdfをコピーしてからSSD上のonedriveをshift deleteで削除した。
エクスプローラーを閉じてデスクトップに戻ってくると妙な違和感。
ない。
はぁ?と思ってPCをダブルクリックすると、すぐに警告ウィンドウが開いて「デスクトップへのパスが間違っています」といったエラー表示。
焦る。かなり焦る。
ウィンドウをすべて閉じても、デスクトップ上にはデフォルトのアイコンだけが並んでいるだけ。
頭真っ白。
多少大事なデータはあったかなと思いながらも致命的と言えるものは思いつかず(まだ見落としてるだけかもしれない)、しかし、すぐに一時フォルダごと動画データがないことに気づく。
写真はすでにjpg出力してあるので、RAWデータが消えてしまったのはなんとかなる。
子供の卒業式の動画はまだ変換をかけてもないし、当然アップロードもしていない。
終わった。
あまりにもショックだ。
読み飛ばしここまで。
結局何が原因だったかというと、最初にonedriveをセットアップする際に、デフォルトの保存先、なおかつデスクトップやマイドキュメントなんかもバックアップに含めるという設定で始めてしまったからだったらしい。
この、onedriveのバックアップにデスクトップを含めるという操作をすると次のようなことが起こる。
「本来はC:\Users\ユーザー名\Desktopにあるはずのデスクトップデータが、C:\Users\ユーザー名\onedrive\Desktopに変更される」
・onedriveのバックアップからデスクトップを含めないように設定変更
この2つの動作を行ったにも関わらず、何故かこのパソコンのデスクトップは、C:\Users\ユーザー名\onedrive\Desktoに残ったままになってしまったというわけだ。
そのため、C:\Users\ユーザー名\Desktopにデスクトップがあると思いこんでいた自分は、C:\Users\ユーザー名\onedriveにあるonedriveのフォルダを、疑うことなく削除することができた。
そしてその結果、デスクトップにおいてあったデータのすべてを失った。
いや、流石にこんなクソ設定想定できないでしょ。
大事なデータを守るっていう名目があれば、大事なデータの格納先をそんな簡単に変えていいと思ってる?
それ、誰に許可取ってやってるんだよっていうさ。
その辺の共通プロトコルを、バックアップソフトが、しかもOSの提供元がやっていいのかよっていう。
これはちょっと言わせてくれ。
マイクロソフトクソだわ。
まぁ、なんというか皆さんも気をつけてください。というか、こんなの気をつけようがないけどな。
どこに気持ちをぶつけたって息子の大事な思い出は帰ってこないのはわかってるけど、やるせなさくらい吐き出させて。
※追記
ブラウザonedriveのゴミ箱にデータが残っている可能性はゼロです。
その理由は以下の通り。
このパソコンは1ヶ月ほど前に新規にセットアップしたものでした。
そのセットアップの過程で、onedriveをインストールする際にデフォルトの保存先、なおかつデスクトップをバックアップという設定にしてしまいました。
ここでノールックで設定してしまった自分が一番悪いことは認めます。
onedriveのセットアップが終わったあと、同期に時間がかかっていておかしいな?と思ってファイルのアップロード履歴を確認したところ、あらかじめ古いパソコンからコピーしてあったデスクトップのデータをアップロードしようとしていたので、慌てて設定を見直して、デスクトップ同期のオフ、保存先をHDDに変更しました。(変更した順番は書いてある通り覚えていません。順番が逆だったら起こり得なかったかも)
この操作によって、onedriveの保存先はHDDに変更になり、デスクトップの同期も停止しました。
しかしそうした操作を行ったにも関わらず、デスクトップの保存先はC:\Users\ユーザー名\Desktopに戻ることはなく、C:\Users\ユーザー名\onedrive\Desktopのままになってしまっていました。
そのことに気づかずに1ヶ月以上作業を続けていたなかで、記載の通りSSD内に同期されていないonedriveフォルダを発見したので削除した結果、デスクトップのデータが消失しまったという話です。
そして卒業式の動画データをデスクトップにコピーしたのは、onedriveの同期を切ったずっとあとのことです。
もともとonedriveにバックアップするつもりもないし、バックアップされていないのでwebに残っているはずもないのです。
デスクトップのデータがそんなところに格納されていることがわかっていれば、もともと削除なんてしません。
同期されていないすでに使われていないonedriveのデータだけしか削除するつもりではなかったのに、何故かその中に現在進行系で使っているデスクトップのデータが格納されていて、一緒に削除されてしまったというお話です。
ちなみに、削除直後は本当に何が起こったのか意味がわかりませんでした。
その後にマイコンピューターを開いた際、別ウィンドウでエラーが出たことで初めて状況が理解できたということです。
そのエラーが「デスクトップC:\Users\ユーザー名\onedrive\Desktopにアクセスできません」といった内容のエラーです。
デスクトップ?お前なんでそんなとこに保存されてたの?からの、そういえば思い出してみればこんなことあったよなーで、原因に思い至ったというわけです。
SDカードの復元を試みましたが、サイズの大きい動画データですので、ヘッダーは読み込めたものの、データそのものはすでに別の写真データに書き換えられてしまっていたせいかちゃんと開けませんでした。
SDカードからデスクトップにデータを移すタイミングというのは、行事ごとに撮影が終わったらSDを空にして新しく撮影できる状況を作るためなので、基本的にはデスクトップにコピーしたあとは次の撮影前に必ずフォーマットすることを習慣づけています。
それは、毎回SDカードを空っぽにすることで、現像のときにデータの重複が起こらないようにするためです。(趣味で写真を取っているので撮影枚数が莫大。尚且つ現像ソフトで不要データを削除するので、SDを空にしないと、削除後にまたコピーしてしまったりと効率が悪いため)
撮影→データをデスクトップに一次保存→次回撮影時にSDカードのフォーマット→時間があるときにPC上のデータを選別、現像→バックアップ含めてデータを格納→SDカードから新しい撮影データをPCにコピー→次回撮影時にフォーマット→時間あるときにPC上のデータを選別、現像→・・・・
SDカード自体も紛失の危険性とか考えてそれほど信用しているメディアではないので、できるだけデータが保管されている時間を短くするようにしています。
個人的には、このワークフローが一番データの保存性も高く、無駄も少ない処理方法だと思っています。
だって、デスクトップを間違って消すなんてこと普通しないでしょ。
壊れたなら仕方ないって、それはそれで納得できるんだって。
流石にこんなことまで想定したワークフロー作れってのは無理な話ですよ。
すでにonedriveからデスクトップの同期も切ってて、しかも別フォルダでonedriveがちゃんと稼働してるのに、まさか自分のデスクトップがC:\Users\ユーザー名\onedrive\Desktopに保存されてるなんて思う?
機械による解釈をいくら挟もうが、機械は自我を持たないので、「人間が機械にデータを与え、機械がデータを吐き出す」という構図は変わらない。
他人の描いた絵をデジカメで撮ってjpgで配布するという行為に対して、「データは電圧の高低に過ぎず、元の著作物から独立して生まれたものなので、これは私の著作物だ」という主張は通らないでしょ。
少なくともそれは「機械が生んだ著作物」ではないんだよ。「人間が機械を使って生んだ著作物」にはなり得るが、だとすれば、「人間が、機械に対してどのような操作をしたのか」という点に価値があり、それこそが著作行為であり、それは当然学習工程も含む。
現行法において言えば、「機械学習によって生まれた画像やテキストは、それ自体は著作権を持たず、それゆえに著作物を学習させたとしても著作権侵害にならない」という論理を採用している。しかし、それ単体で商売をするとなると、やはり著作権的な問題とは無縁ではいられないだろう。
私は、今後のAIの発展のために、商用利用も含めて、クリーンな扱いとはどういうことか、今のうちにきちんと議論しておく必要があると思うよ。
拡散モデルを使っているからコラージュじゃないとは言い張るけど、なぜ拡散モデルを使えばコラージュにならないのかは一切説明できない
ノイズ除去ネットワークに今まで学習した作品の要素が一切残ってないって断言できるの?マジで?
そもそも『「入力を線形変換する処理単位」がネットワーク状に結合した数理モデル』であるニューラルネットワークが学習元の要素を一切持たないと証明することの方が困難だし無理筋でしょ
JPGは不可逆な圧縮をした数字の羅列だから元の作品とは異なるので著作権は発生しないとか言うつもりなの?
結局ネットワークの蓋を開けてそれがどの程度の度合いなのか判断できない以上は断定できないよね?
現に現行AIでもi2iなしで学習元画像とほぼ一致する画像が生成される場合もあることは認められてるよね
学習は合法って言い張ってるのも「その他の当該著作物に表現された思想又は感情を自ら享受し又は他人に享受させることを目的としない場合には,その必要と認められる限度において,いずれの方法によるかを問わず,利用することができる」という著作権法30条の4の記述を無視してるよね
まだ判例がないから「当該著作物に表現された思想又は感情を自ら享受し又は他人に享受させること」の定義が明確でない以上は断言することはできないよね
少なくとも「思想又は感情を自ら享受し又は他人に享受させる」を字面通りに認めるならプロンプトに「元気の出る絵」とか「明るい絵」みたいに入力するのはアウトだよね
もちろんそれよりももっと広範な範囲に当てはまるかもしれないね
そういった用法に対する対応は一切しなくていいと主張するの?注意喚起すらしてる様子は見えないけど
あとイギリスやドイツでは営利利用は認められてないけど、ちゃんとそれらの国の作家の作品は回避するように設計してるの?
してないよね
あと著作権法上は問題なくてもAI利用禁止を表明しているサイトの画像を利用した場合は損害賠償しなきゃいけないらしいけど、まさか使ってなんかいないよね?
あと仮に合法だったとしても「合法だから問題ない、文句を言うな」とか言うのも意味不明
まさかとは思うけどそう主張している人たちの中に憲法9条改正に賛成してる人とかいないよね?
「AIは科学の発展に不可欠だから妨害することは許されない」っていうのも意味不明
絵描きは自分の利益を求めるより社会全体の利益を優先しろって言いたいんだろうけど、じゃあなんでエンジニアは大量の画像を無断で読み込んで他人の著作物を利用した商業活動をしなきゃ「社会全体の利益」を実現できないの?
理論を実証するだけなら別にタダでいいじゃん、性能を示すだけなら誰でも商用利用できる形で公開しなくてもいいじゃん
でもそこまでしてお金を集めるのはエンジニアさんにお給料が出るからだよね
なんでお給料が必要なの?『自分の利益を求めるより社会全体の利益を優先』しないの?
生活費や設備費が必要?みんなで出し合えばいいじゃん、『社会全体の利益』のためなんでしょ?
なんでそれに同意したわけでもない絵描きが自分の仕事道具を提出することで実現しなきゃいけないわけ?
鉄鍋や鐘を出させる大日本帝国や青田刈りするお侍みたいな言い草をしてる奴らに「頭近世」とか言われたくないね、じゃあお前らは頭中世じゃん
そもそも現代資本主義民主国家で「個人の利益を追求するな」とか君何言ってんのレベル
毎日ボタンポチポチしてどっかで見たような絵を機械に吐かせる暇あったら憲法100回くらい読み直してきたら?
一部の絵描きが不十分な根拠からAIは盗作マシンだと主張しているのも事実だけど、上記の通り推進派の側も確たる証拠もない主張しかしていない
なのになんで絵描きの側が一方的に非難されなきゃいけないわけ?
「海外ではAIは受け入れられてるのにな~日本は絵描きのせいで技術が遅れる~」とか言ってた人たちは今日本の何倍も激しく反AI活動を展開している諸外国のアーティストについてどう思ってるの?
デマを展開して他人の言論を抑圧した責任、取ってくれるんだよね?mimicのときは散々そう言って絵描きを詰めてくれたよね?
「人間の脳と同じだから人間が学習することを禁止するなら良い」って理屈も意味不明
少なくとも法律上は上記の通り明確に区別されているんだから「合法であるならOK」ならAIと人間は違うものとして扱っても何ら問題ないよね
そもそもニューラルネットワークは本当に人間の脳をちゃんと全部再現できてるって言い切れるの?あくまで簡略化したモデルでしかないよね
幹細胞から生成した神経細胞とかにも人権認めるの?てかニューロンって動物も持ってるけど動物の人権も認めるとか言っちゃうタイプ?
まあ無理筋だろうけど頑張ってそういう運動したら良いんじゃない?
そもそも丁寧に丁寧に「合法でもないし倫理的にも間違ってるよ」って教えてあげたらそんなオカルト発言に逃げて情けなくないの?
どっちが「お気持ち」なんだかね
https://twitter.com/A7aUAGyKLudYPLH/status/1571506731418791939
#midjourney : 2021作品
#StableDiffusion : 912作品
#midjourney : 2845作品
https://www.pixiv.net/tags/StableDiffusion/artworks?s_mode=s_tag
ローカルで各々が無限に生成できるからかStableDiffusionの伸びが凄い。
一人が大量投稿が可能なのもあって投稿数伸び率自体は結構乱高下しそう。
版権タグは現状少ないが、ぱっと見だと初音ミクがちらほら見える。
やってる人自体は少ないが数が生成できるために結構な頻度で登録されてる。
ほぼ有償だったり時間限定無料で人を集めたりとなんとか稼ごうとしてる姿が見える
https://assets.clip-studio.com/ja-jp/search?type=image&word=AI&order=new
ilya kuvshinov
krenz cushart
greg rutkowski
あたり
Twitterに限らずSNSだと大体似たようなことになってそう
New順はもうだめだ
https://twitter.com/search?q=greg%20rutkowski&src=typed_query&f=live
AI画像生成は100枚生成して2,3枚ピックする感じで一見綺麗な絵ができるので
生成した側は見せたい欲求が高まるけど、第三者からすると見たい人はそう多くないと思う。
供給量が圧倒的なだけに現状の増え方を見ると、他の検索時に紛れるような「低品質なノイズ」として加速度的に増える予感しかしない。
一応Stable Diffusionで生成された画像には電子透かしが入っているため機械的に弾くこと自体は可能なはず(そっから画像変換されたらどうなるか知らない)
それとは別にAutomatic1111版みたいに初期設定だと生成時にPNGのチャンクやjpgのexifに出力設定を突っ込んだりしてるのもあり、
を読んで、そう言えば自分も似たような事を思っていたなと思い出した。
昔ジョジョが大好きだった時期にネットでこれを見てショックを受けたんだ
ジョジョのパクリ検証画像その1(写真、イラスト編)
ttps://web.archive.org/web/20120724071231/http://www30.atwiki.jp/ichi-1/pages/12.html
ジョジョのパクリ糾弾スレテンプレその2
ttps://web.archive.org/web/20120717131810/http://www30.atwiki.jp/ichi-1/pages/13.html
ジョジョのパクリ糾弾スレテンプレその3
ttps://web.archive.org/web/20121112141851/http://www30.atwiki.jp/ichi-1/pages/15.html
ジョジョのパクリ検証画像その4(楳図かずお編)
ttps://web.archive.org/web/20121112231135/http://www30.atwiki.jp/ichi-1/pages/18.html
おまけ1
ttps://web.archive.org/web/20121112112347/http://www30.atwiki.jp/ichi-1/pages/19.html
おまけ2
ttps://web.archive.org/web/20121112105337/http://www30.atwiki.jp/ichi-1/pages/17.html
ジョジョって滅茶苦茶独特で個性あんなあああーーーって思ってたから、割と元ネタからまんま拝借してるのがショックだった
数年くらいはショックを引き摺っていた気がするけど、それはそれとしてスティール・ボール・ランも読み続けていたしいつしかショックから立ち直っていた気がする
それでもこれを見た後に最近の漫画はパクリがどうの言われてるのを見ると「いやジョジョの方がずっと昔にそのまんまパクってるよ」とは言いたくなる
…
ナルトの一話でイルカ先生とナルトのエピソードにマジで感動していたのに、
後年読んだうしおととらでほぼ同じ流れのシーンがあってあの感動の名シーンもパクリだったんかい!と本気でショック受けてそれからナルトも読まなくなった気がする
ttps://pbs.twimg.com/media/EE62-x_UUAASDsP?format=jpg&name=medium
大友克洋や沙村広明、忍空に影響を受けた事は公言してるのにそのままエピソードをパクったうしとらと藤田和日郎には何も言及無いんかい!とは思った
…
ハンターハンターの方はジョジョと違って漁っても昔のテンプレサイトとか出て来ないけど
伊藤潤二作品から結構そのままパクってた検証画像があったと思う
幽遊白書の一話も何かの恋愛物作品からそのままパクってた、って画像を昔ネットで見てショックを受けた覚えがある
だからハンターハンターがパクられる側になってもそれは自分がやった事をそのままされてるだけだから人に言えないんじゃねえかなぁって思っちゃう
…
最近流行りの鬼滅もジョジョ、ブリーチ、銀魂あたりから影響受けてる事は吾峠呼世晴先生が自分の好きな作品に挙げてるけど
我間乱って比較的マイナーな少年漫画からそのまんま剣術の型をパクってきたんじゃないの?みたいな話は一切聞いた事無いし
絵柄とかキャラクターの造形とか昔の少女漫画にまんまそっくりのがあるとも聞いたけど誰も話題にしている所も見た事が無い
鬼滅の刃がパクってきた作品まとめwiki
こじつけじゃあねーか?みたいな奴もあるし、自分が好きな作品から影響受けたキャラをそのまま自分の作品に出すのは微笑ましい感じで嫌いじゃないけど
…
ここからが本題だけど
何故「古塔つみ氏」や「呪術廻戦(BLACK CAT等も)」のパクリ、トレースとされる物は許されず
「ジョジョの奇妙な冒険」と「荒木飛呂彦氏」、「ハンターハンター」と「冨樫義博」のパクリ・トレースとされる物が許されるのか
これはもう滅茶苦茶単純な話で
これ以外に答えは無いと思う。
仮にジョジョの奇妙な冒険やハンターハンターが今イチからジャンプで連載されて面白い!って話題になっても、トレースだのパクリだのは絶対炎上するよ。
元ネタが週刊少年ジャンプの読者が知らなさそうなマイナーな物から取っている、というのもあると思う。バレないようにこっそりやれ、って事だろうね。
例えば今手塚治虫や藤子不二雄があの海外の名作からネタをパクっていた!なんて誰かの目に入っても炎上するとは思わない
何故なら偉大な先人漫画家には「権威」があり、「権威」とは「力」だからだ。要は力がある強い人の不正を糾弾しよう、なんて皆思わない訳ですね
だからまあ、パクリやトレースが叩かれる人は人気や権威が無い人なんだろうな、と思ってる。完全オリジナルで作品を作るクリエイターなんて居ない訳だしね
って反論が来る事は分かっていた。実際自分もそう思う。そう思うけど
ここら辺のめっちゃ良い台詞と名場面だなァァァーーーって思ってた所が他の作品からのパクリ…というか模倣だったのは当時凄い衝撃だった
空手バカ一代面白いし名作だし荒木先生も少年時代に梶原一騎作品に触れた年代の人だから影響大きいのは分かるけどね
ナルトの一話もそうだけど、感動の名場面を他の作品から他の作品から拝借したって展開は元の作品を知ってる人はパロディ・オマージュとして楽しめても
ひょっとして一昔前にガンダムSEEDが同じガンダムシリーズにも関わらず初代ガンダムやZガンダムのパクリと言われたのも同じような理由なんだろうか?
今となっては当時のあの熱狂なんて思い出せる訳もないけど…
荒木飛呂彦先生が原哲夫先生の元アシスタントという事は知っていたけど、ジョナサンが槍を振り回すシーンがまんま北斗の拳でケンシロウが槍を振り回すシーンと同じだったのは驚いたかな
仮想システムを構築するにあたり、CIFS しか使えない NAS をバックアップ用に選定してきた SI 屋さんが居たので、CIFS と iSCSI のどちらが早いのか、試してみました。
テストに使う NAS は QNAP の Turbo NAS TS110
http://www.tekwind.co.jp/products/entry_6719.php
です。もう6年以上愛用して、カビが生えてもおかしく無い程に古いし, Marvell 800Mhz という低スペックな Qnap NASです。 100Mbps 時代のモノです。
昨年、HDDがお亡くなりになったので、3Tb の HDD に交換しました。ファームウェアはこんなに古い機械でも、QNAP シリーズの最新バージョンが利用できます。
iSCSI は、今あまり見なくなりましたが SCSI ケーブル規格や、SASケーブル接続のハードディスクを、一般的なIPネットワークで規格で仮想化したものです。
マウントするホストシステム側は iSCSI initiator, ディスクストレージの機能を提供する側を iSCSI Target と呼びます。
ホストから「マウントするしない」はイニシエータ側のソフトウェア的な操作で行います。これは便利な機能で、ディスクの故障などで、一時的に物理的に取り外さなければいけない場合でも、ホストからの操作だけで実際のケーブル結線の脱着を行う必要がないので、今時での SAS の外付けディスクドライブの様に、ホストもシャットダウンして電源を切り、結線を外して修理、交換する、という必要がないので、ディスクデバイスの修理をホストの電源を止めないで実施できると言う、実に便利な事ができます。
という事で、仮想環境では実に使いやすいストレージデバイスなのです。
マウントするホスト側から見ると単純に SCSI/SAS のハードディスクに過ぎません。iSCSI のストレージをマウントしてからは、通常の増設ディスクの様にフォーマットして、ホスト側で使う一般的な XFS, ext4, NTFS などのフォーマットでフォーマットする必要があります。
Linux の iSCSI ターゲット側からは、内部にターゲットとして使う「巨大なファイル」が、どん! とあるだけです。この巨大ファイルを、イニシエータ側に仮想ディスクイメージとして提供しています。当然シンプルな仮想イメージなので、ファイルそのものをバックアップコピーすれば、ストレージのイメージそのもののバックアップができます。
※ qnap NAS の場合、iSCSI イメージは、 /share/HDx_DATA/.@iscsi.img の下にドンと作られるようです。
[Solved]How to mount iSCSI file?
https://forum.qnap.com/viewtopic.php?f=180&t=25322
[/share/HDA_DATA/.@iscsi.img] # pwd
[/share/HDA_DATA/.@iscsi.img] #
[/share/HDA_DATA/.@iscsi.img] # ls -l
-rw------- 1 admin administ 6442450944 Nov 12 2017 iSCSI-2015ace1-5a078d66.000
-rw------- 1 admin administ 1073741824 Jun 24 09:52 iSCSI-lun4-5d0de534.000
-rw------- 1 admin administ 107374182400 Nov 4 2015 iSCSI-nss01-56399e1a.000
-rw------- 1 admin administ 5368709120 Nov 11 2017 iSCSI-nss2015-5a06cf6d.000
-rw------- 1 admin administ 21474836480 Jun 22 17:11 iSCSI-test-56b3ce90.000
-rw------- 1 admin administ 5368709120 Jun 22 17:11 iSCSI-test-56b3ce90.001
[/share/HDA_DATA/.@iscsi.img] #
※ とても重要
CIFS/NFS のファイル共有NAS と違い、iSCSI でマウントして一つのターゲットを制御できるのは、一つのホスト、一つのイニシエータだけです。複数のホストからイニシエータでマウントする(できちゃいます)と、ファイルの排他制御は行われないので、ファイルシステム自体の不整合が起こります。
つまりファイル共有という目的には向いていない、という事です。あくまでも iSCSI ターゲットはネットワーク上の仮想ディスクです。
もっとも、一つのホストからマウントしてファイルを保存して、いったんオフラインにして、ターゲットを別なホストからマウントする、という事はできます。また、ターゲットは一つの iSCSI デバイスで複数作れるので、1台の iSCSI 装置に複数のターゲットを実装して、複数のホストから別々のターゲットイメージをマウントする事は問題ありません。
極端な話、ホストのハイパーバイザーは USB メモリやSANブートさせて、後はマウントした iSCSI の仮想イメージ上で、仮想マシンを動かす、HDDレスなハイパーバイザー運用もできます。
物理的な転送速度は、ネットワークの速度とディスクデバイスの性能に依存します。当然 10Gb base のネットワークカード、HUB、高規格なケーブルを使えば、論理的な性能は 10Gbps です。大抵は NAS の性能がそこまで出ないのですけどね。ヨドバシカメラあたりで売っている 4,000 円程度の 1G HUB でも、そこそこの性能が出てしまいます。
距離は、IPがつながればどこでもなので、ホストコンピュータとメインのストレージを自社のサーバールームに置き、イニシエータを動かし、バックアップ用の iSCSI ターゲットをデータセンターに置く、なんてこともできます。
【送料無料】QNAP TS-431P2(ホワイト) NAS 4ベイモデル クアッドコア CPU / LAN 2ポート搭載 (TS431P2)
価格:56,145円
感想(0件)
iSCSI の耳慣れない言葉に LUN (論理ユニット番号 : Logical Unit Number)というのがあります。
昔の SCSI は、 SCSI バスアダプタに7番のIDを振り、残りの 0 ~ 6 のディスクや CD, Tape などに ID を振り分ける物理的な3ビットのディップスイッチやジャンパ端子が付いていました。これが SCSI アドレスです。
これが実に難物でした。特に、複数の SCSI バスアダプタカードをデュプレクス設定する場合、割り込み番号も別々にするので、手が滑ってジャンパピンを飛ばして床を這いまわって探したり、難解なディップスイッチを前に数日悩んだものです。
つまり一つのSCSIバスには 0~7の合計8台(うち大抵7番はSCSI バスカード)の物理ユニットデバイスがつながって別々に見えたという仕組みだったわけです。
ところが SCSI バスを使った Raid コントローラが出てくると、ディスクの鈴なりが、一つの物理デバイスに見えてしまうわけです。これを「論理的な仮想番号」に分割して、システムからは、単一の鈴なり Raid ディスクを複数の論理番号に分割したわけですね。
これが LUN というヤツです。
iSCSI 機器のターゲットも、内部のソフトウェア的に複数の論理デバイスに分割して、複数のホストコンピュータから複数の物理デバイスのように見せかけるわけです。
別々な LUN は一つ、あるいは複数の iSCSI 機器によって、複数のホストに別々のディスクデバイスとして見せかけるンです。
https://en.wikipedia.org/wiki/Logical_unit_number
Qnap NAS の場合、iSCSI ターゲットはウィザード形式で簡単に作成できます。EXT4 ファイルシステム上で、オンラインでも簡単にサイズの拡大ができるので、 Windows の Storage Server のように NTFS の VHD 形式ではないので、そこそこ性能が出ますが、いかんせん古さと遅さは否めません。
Qnap NAS の iSCSI ターゲットの設定は、偉そうな Linux 系サイトに書いてある程、面倒なことはありません。ストレージマネージャから iSCSI タブにあるウィザードに従って iSCSI ターゲット名に任意の名前を付けると IQN にその文字列が追加されるだけです。わざわざ vi エディタに「正確に」綴りを間違えずに設定する必要もありません。ここでは Chap 認証は付けませんでした。
仮想化時代の NAS 選び - やっぱり iSCSI は早い。_a0056607_16405779.jpg
機械は古いのですが、逆に言うと、「古くて遅い」ため、サーバーとNASとの接続プロトコルの性能差が、如実に現れる事になります。
QNAP TVS-951X 10GBASE-T/NBASE-Tポート内蔵
Windows10 の Microsoft 製 iSCSI イニシエータは「コントロールパネル」>「システムとセキュリティ」>「管理ツール」の中にあるので、ここで、設定済の iSCSI 「ターゲットを」 「検索」して選んで「接続」します。Chap 認証を付けておいた場合はターゲットで設定したパスワードが必要でしょう。
仮想化時代の NAS 選び - やっぱり iSCSI は早い。_a0056607_16412132.jpg
新規に作成して、接続した後は、フォーマットされていないため、ディスクマネージャからフォーマットして使います。ちなみに、フォーマットして利用した iSCSI ターゲットの仮想ディスクは、他のマシンでマウントすることもできます。つまりHDDを取り外して、他のPCに繋げる事と同じことですね。
PR
ちなみに opeSUSE で使うにはこんな感じになりました。
open SUSE Leap 15.1 で iSCSI NASを使ってハマった
https://islandcnt.exblog.jp/239328437/
一番イラつくのは、巨大なファイルの転送でしょう。という事で 3G 程ある SUSE Linux のインストール用DVDの ISO ファイルを CIFS でコピーしてみます。
仮想化時代の NAS 選び - やっぱり iSCSI は早い。_a0056607_16414334.jpg
3分11秒かかりました。1Gビットネットワークで 12~3% 程度の帯域を使って通信しています。明らかに古いNAS の性能が足を引っ張っているようです。
スループットは 150Mbps 程度で全体の最大15%程度でしょうか。
仮想化時代の NAS 選び - やっぱり iSCSI は早い。_a0056607_16415832.jpg
仮想化時代の NAS 選び - やっぱり iSCSI は早い。_a0056607_16422170.jpg
初速は出るのですが、その後は、ボロイ TS-110 の性能がモロに出ます。それでも 20 MB/s から 25 MB/s 程度は出ています。
仮想化時代の NAS 選び - やっぱり iSCSI は早い。_a0056607_16423835.jpg
2分25秒でした。 大体20%程度のスループットです。
--
数字に弱い私の脳みそですが、 iSCSI は CIFS より 1.5倍くらい早い、という事が言えます。
Zabbix で QNAP TS-110 の I/O を見てみると、前半の CIFS アクセスより後半の iSCSI アクセスの山が高い事がよくわかります。
仮想化時代の NAS 選び - やっぱり iSCSI は早い。_a0056607_16425860.jpg
CIFS を使ったリモートディスクのマウントは、他のPCからもアクセスができる、というメリットがありますが、iSCSI は単一のホストからのアクセスしかできません。<--- これ重要.... -- もっとも、ターゲットストレージを複数作って複数のサーバーから異なるデータ領域にアクセスはできますが -- バックアップ用途や、サーバーの増設ストレージとして考えれば、良い選択であると言えます。
もっとも、iSCSI デバイスそのものは、ターゲット単位で別々なホストから接続できます。しかし同じターゲットで別々のホストからイニシエータから繋ぐと、とても笑いごとにならない事態になるので、普通やりません。
ハイパーバイザー同士で一つのターゲットを共有してライブマイグレーションはしたことはあります。
こうした性能のわずかな違いが、仮想化システムのハイエンドな領域で違いとなって出てきます。なお Qnap でも openiSCSI でも Windows Storage Server でも取った領域そのままのサイズのでかいファイルが作成されるようです。
国産 NAS の「ハイエンド」と称する「LANxxxx」などのモデルでは Windows Storage Server を使って NTFS フォーマットしています。Windows Storage Server は見た目 Windows サーバーそのものなのですが、ところどころちゃんとデチューンされているようで、SOHO向けが限度です。
こういった国産 NAS メーカーの製品カタログでは、「ハイエンド」は Windows Storage Server を搭載して、低価格のNASは Unix 系のシステムで「低価格」を謳っていますが、そもそも、上位モデルは、CPUやメモリの性能が高いものが使われています。性能が違うのは当たり前なのですが、あまり性能が出ないだろうと思います。
Windows Storage Server じゃなくて、ちゃんとした Windows Server と CAL 買えよな、という事なのですね。
このあたりは独自OSを NAS としてチューニングした Qnap や Synology, asuster などの iSCSI 機能付きの NAS を中規模ネットワークのミドルレンジの NAS として利用したほうが良いと思います。
仮想環境でのネットワークアタッチストレージ(NAS)は、本回線(構内LAN)とは切り離し、ストレージ専用のネットワークとして独立して運用させるのが基本です。サーバーとNAS間で凄まじい通信が発生します。サーバーNICが2ポート以上のものが推奨されます。
iSCSI はあくまでもネットワーク上のストレージのみの機能を提供するものであり、ファイル共有の手段ではない、という事です。
NAS をCIFSで使うと NAS が持つ独自のアクセス権限を設定しなければなりません。セキュリティも当然 NAS 独自の機能で設定します。
iSCSI はあくまでも「外付け SCSI デバイス」のネットワーク版なので、マウントする側のOSそのもののファイルシステム、セキュリティ機能、アクセス制限がホスト側の機能をそのまま利用できます。セキュリティ的には、マウントする際のパスワード制限しかないので、独自のストレージネットワーク内に配置すべきで、ユーザが使う構内ネットワークに配置すべきではありません。