Grokには画像生成機能がついているが、これは自前の物ではなく Black Forest Labs社の FLUX.1 というモデルである。X社が Xに投稿されたイラストを収集して学習させているわけではないのだ。それでは FLUX.1 の訓練に使ったのはどこの画像なのだろうか？データセットは明らかにされていないが十中八九使っていそうなのが LAION-5B である

LAIONとは

現在大手の企業は「著作権的にクリーンな」画像生成AIをつくっているが実際には版権物が出てくることが知られている。なぜそんなことが起こるのだろうか？

このからくりは LAION のデータセットにある。LAIONはドイツにある非営利組織。ネット上のありとあらゆる画像を収集しタグをつけたデータセットを公開している。

LAIONのFAQ　からの引用：

Q. 私の著作物があるのでデータセットから除いてください
A. LAIONは非営利の研究組織です。ドイツの著作権法（§60d UrhG）に従いあらゆる著作物の利用が許されています。

とあるようにドイツの法律上合法である。実際に訴えられた後LAION側が勝訴している。とはいえこの組織にはAI 関連企業からの多額の寄付金があることが知られており、パチンコ３店方式のような意味合いでの合法とも言える。

尚、反AIさんと反々AIさんが著作権法第30条の4を巡って喧嘩をしていますが、世界では日本の法律は関係ないです。いちおう念の為。

反AIのGlazeの使い方は間違っている

反AIさんが迷惑な暴れ方をしている。

他の絵師さんに Glaze を使うように詰め寄ったり、使わないやつはAIに加担していると攻撃したり。挙げ句の果てには「自分の絵にGrazeをかけました」と宣言したり。

もう、全てが間違っている

そもそも、Glaze も Nightshade もAI 学習を阻害するものではない。学習したモデルをぶっ壊す毒なのである（poisoned って書いてあるでしょう？！）

相手に食わせなければ意味がないんだ。Glazeかけたとか自分で言うな。対策されるでしょう？（後述）

それと他の人に強要する意味はない。使いたい人が使えば十分なんだ。

事実すでに効果は上がっていてOpenAIは悲鳴をあげ対策を急いでいる。

Glaze/Nightshade とは

反AIさんの考えるよりも Glaze/Nightshade はずっと強力だ。それはデータセットを汚染する攻撃である。簡単に言えば Nightshadeは「学習中に他の絵に変換されてしまう」ノイズをかける。この操作を毒入り（poisoned)と呼ぶ。ピクセル毎の微小な変更なので Nightshade をかけた後もイラストはぱっと見はかわらない。

Nightshadeを使って例えば犬の画像を猫の画像になるノイズをかけたとする。するとAIは犬と猫が混ざったまま学習を進め「犬」と言う概念が無茶苦茶になってしまう。

図：毒入りモデルの変化　　(arXiv:2310.13828から引用)

上の図は毒入りの画像を２００枚食わせたときの変化の様子だ。犬が猫になってしまっている。それだけではなく”犬”に近い概念、”子犬”、”ハスキー”、”狼”もぐちゃぐちゃになっている。

図：毒入り枚数による変化　　（同引用）

こちらは50、100、300、と毒入り枚数を変化させたときの様子。50枚の時点ですでにめちゃくちゃになっている。

余談０

XでAI(Grok)の学習に使って欲しくない人は

設定とプライバシー→プライバシーと安全→Grok　

から学習許可のチェックを外すと良い

余談１

もし私が反AIだったなら、イラストに Nightshadeをかけて danbooru に投稿するだろう。二次元イラスト特化の画像生成AIはdanbooru2021/ danbooru2022 などのデータセットを使っているものと見られる。これらはイラスト投稿サイトdanbooru から収集したものである。

余談2

ところで Glaze も Nightshade もその内部で画像生成AIを使っているということを知ったら反AIさんはどんな顔をするだろう？

Glaze は特徴量抽出を行う。おそらく Stable Diffusion の VAE（Variational Autoencoder）を使っている。そしてNightshade の方も内部ではStable Diffusion 等の画像生成モデルを用いて別の画像を生成する。

余談3

Glaze が機能しない？あるいは解毒方法が見つかったかもしれない

we_need_to_talk_a_little_bit_about_glaze_and

上のスレッドのコメント欄では Glaze が論文のようには機能しないことについて議論され「画像のリサイズをしたのではないか」と予想している。Glazeをかけた後に画像を縮小、データが圧縮されてノイズ効果が消えたのではないかということだ。

A) 絵師さんが Glaze をかけたあと画像を縮小した可能性

B) 画像サイズやファイルタイプによってはプラットフォーム側が勝手に加工をする

C) 学習の際にリサイズを行う (Stable Difusion XL では1024px, 古いモデルは512px)

A,B については絵師さん側に知識があれば対処可能だけれども C の方はなんともし難い。小さい画像を投稿したところで [縮小→拡大] でノイズは落とせそうだ（解像度は悪くなるだろうが）

尚、上の議論に関しては誰も検証をしていないので注意。

余談４

LAIONは収集画像そのものを所有せず、データセットはウェブ上にある画像のurlとタグをまとめた物であるらしい。

ということは、LAIONの新しいデータセットが公開されたタイミングで画像のurlを変更すれば学習に使われることを回避できそうだ。特に、個人サイト／ブログの所有者ならば古い url に●んこ画像でも差し替えておけば嫌がらせになる。（タグ差し替えはこのグラフの Simple Attak に相当）

90年代においては画像に直リンクされたときの報復としてうん●画像に差し替えたものです。まさか令和になっても有効とはね

余談５

この記事をぼちぼち書いているいるうちに2日が経過した。今、私のXのタイムラインもおすすめもとても静かだ。攻撃的な人たちやデマに流されやすい人達は皆どこかに行ってしまったようだ。残ったのはこれまで静かにイラストを描き続けてきた人たちでとても穏やかな空気が流れている。ずっとこのままがいい。

Permalink | 記事への反応(1) | 21:21

2024-11-15

■anond:20241115191438

情報が欠けてる部分はピクセル補完されるからレイヤーモードの違いは別にどうでも良いんだぞ

イラスト生成AIはレイヤーモードを見てるんじゃなくてピクセルを見てる

Permalink | 記事への反応(1) | 21:28

■Q.イラスト生成AI 対策と謳う加工は効果ありますか？ A.ほぼ無いです

有名なものではGlazeもNightshadeなどがイラスト生成AI 対策として界隈で持て囃されていますが、本来GlazeやNightshadeはAIによる画像認識を阻害するシステムでありイラスト生成AI 対策ではないため、イラスト生成AI 対策を求めるユーザの要望へ答えられない可能性が高いです。

イラスト生成AIは端的に言うとプロンプトで指定された特徴量を合成してイラスト生成をし、それら特徴量の学習は確かに画像認識によって行われますが、GlazeやNightshadeなどはその仕組み上としてノイズ除去や画像縮小などの画像加工へ非常に弱いので、特定のイラストの特徴量を学習する前にノイズ除去や画像縮小などの画像加工を行えば問題なく特徴量の学習を実行できます。

「ノイズ除去や画像縮小によって本来のピクセル情報が失われれば正しい学習が出来ないのではないか？」と思うかも知れませんが、この疑問へ対し逆質問をするのであれば「正しいイラストとはどういうものでしょうか？」という話になります。

何が正しいかは絵師一人一人に答えがあり、絵師Aには正しくも絵師Bには誤りであるように、AIによって生成されたイラストは正しくもあり誤りでもあるのです。AI生成イラストの初期では「手指が変だ」「瞳の塗りがおかしい」と寸評している人が多く居ましたが、これは単に評価者から見て誤りであるだけなんですね。

「ウォーターマークならば効果があるはず」と考える人も居るかも知れませんが、特定の特徴量を生成できるのであれば、生成した特徴量を反転適用することでウォーターマークなども除去が可能で、もしも除去した部分へ不足するピクセル情報があるのならば、違和感の少ない特徴を用いてピクセル補完を実行可能です。

GlazeやNightshadeが容易に対策可能で実際の効果はプラセボ効果程度ならば、ウォーターマークはイラスト生成AIを好みませんという意思表示くらいの意味しか無いですね。

最後に「あなたは何者なのか？」と思うでしょうから答えますが、私はイラスト生成AIに対する絵師よりも大きく影響を受けているプログラマーですね。より高度なコーディング AIが登場していく度にプログラマーは食えなくなります。

でもプログラマーは生成AIを開発しちゃうんですよ。何故ならば絵師が既存の画材から生成されたデジタルブラシを便利な道具だと感じるように、絵師は暗室へ入らなくても覆い焼きや焼き込み合成をレイヤーとして便利な道具として扱っているように、プログラマーはコーディング AIを便利な道具って感じちゃうんですよね。

今のところイラスト生成AIは画材の匂いや肌触り、厚みなどなどマテリアルな部分を生成できないので、本当に反イラスト生成AIをしたいならばインターネットから切断してパソコン・スマホ・タブレットを破棄して画材を大量に購入しアナログ絵描きになれば良いのです。それが今の最適解。

Permalink | 記事への反応(1) | 19:08

■ChatGPTに画像の無断学習の対応策を聞いてみた

AIにAIへの対抗策を聞くってSFっぽくて楽しい。

ChatGPTは嘘もつくので、あくまで参考程度に。

・画像を生成するAIに対する対抗手段を教えてください。

画像を生成するAIによる無断学習や利用を防ぐために、以下のような対抗手段を講じることが可能です。
　
1.透かし（ウォーターマーク）の埋め込み:
画像に目に見えるまたは見えない透かしを入れることで、無断利用や生成AIの学習に対して抑止効果を期待できます。特に、目に見えない形で画像データに暗号的な透かしを埋め込む「デジタル透かし」技術が有効です。
　
2.メタデータの埋め込みとロボット排除設定:
画像データに著作権情報や「AIによる無断学習を禁止する」といったメタデータを埋め込み、ウェブサイトには robots.txt ファイルで画像クローラーのアクセスをブロックする設定を追加します。これにより、クローリングや収集の抑制が期待できます。
　
3.ステガノグラフィ技術の利用:
ステガノグラフィを用いて、画像に気づかれにくい形で識別情報を隠すこともできます。これにより、画像の流出経路や利用先を追跡でき、無断利用の発見に役立てることができます。
　
4.法的な警告表示や利用ポリシーの明示:
ウェブサイトや画像の配布先に、AIによる無断利用や学習を禁止する旨の法的警告や利用ポリシーを明示することも有効です。利用条件をはっきりと示すことで、AI 企業や研究者が慎重になる可能性が高まります。
　
5.画像認証技術の導入:
AIが利用しにくいように、画像に人間には気づきにくいパターンやノイズを挿入する技術もあります。たとえば、AIにはノイズとして認識されるが、人間には問題なく見える小さな変形やカラーパターンを追加することで、AIによるデータ学習が困難になる場合があります。
　
これらの対策は、画像生成AIに対する防御としては有効ですが、100%無断利用を防げるわけではありません

・生成AIの学習を混乱させる手段はありませんか？

生成AIの学習を混乱させるための手段には、以下のような方法が考えられます。
　
1.ノイズや歪みの追加:
画像に目立たない程度のノイズや歪みを加えることで、アノテーションモデルが境界や特徴を正確に認識しにくくする手法です。たとえば、ピクセルレベルでランダムなノイズを追加する、わずかに画像をぼかす、あるいは境界線付近に小さな変化を加えるといった手法が有効です。
　
2.不規則な輪郭の挿入:
アノテーション処理は、対象物の輪郭や特徴を正確に捉えることが重要です。そのため、背景や対象物の輪郭にわずかな不規則性を加えることで、アノテーションツールが対象物の境界を正確に判断しにくくすることができます。たとえば、背景に模様や偽の輪郭を挿入する方法です。
　
3.テキストやラベルを埋め込む:
画像に人間には視認しづらい形でテキストやラベルを埋め込むと、AIのアノテーションプロセスが混乱する場合があります。これにより、AIが意図しない領域を注視することがあり、誤認識を誘発します。
　
4.色や明るさのランダム変化:
画像の色や明るさを部分的に変化させ、一定のパターンを持たないようにすることもアノテーション処理の混乱を招く一手です。これは、オブジェクトの検出や認識が色や明暗の差異に依存している場合に有効です。
　
5.擬似的なオブジェクトの追加:
画像内に小さな擬似的なオブジェクトや模様を追加することで、AIがそれらを誤って主要なオブジェクトと認識し、アノテーション精度が低下する可能性があります。特に、背景に似たオブジェクトを散りばめることで、AIはどの部分が対象なのか判断しにくくなります。
　
6.アドバーサリアル技術の活用:
AIの認識を誤らせるために用いられる「アドバーサリアル（敵対的）な例」を使う方法もあります。特定のピクセルパターンや色の配列を配置することで、AIのアノテーションが意図的に誤作動するよう誘導できます。この技術は深層学習モデルに対して特に効果があります。
　
7.カモフラージュテクニック:
画像全体にわずかなカモフラージュパターンを重ねることで、AIの認識を混乱させる方法です。この手法では、人間が見た場合には問題なく認識できるものの、AIが対象を捉える際に誤って検出するようなパターンを画像に追加します。

・思考実験として、danbooruなどアノテーションの元データとして使われているサイトのタグが荒られたら画像生成AIのモデル作成にダメージはありますか？

思考実験として、Danbooruといったアノテーション元データのタグが荒らされた場合、画像生成AIのモデル作成に与える影響は以下の通りです。
　
1. データの品質が低下する
Danbooruは、イラストや画像に対して詳細なタグが付与されており、これらのタグ情報は画像生成AIの学習にとって非常に重要です。タグが荒らされることで、画像とタグの対応関係が崩れ、モデルが正確な特徴を捉えにくくなるため、生成精度が低下します。
例えば、特定のキャラクターやテーマに関連するタグが荒らされ、誤った内容のタグが付与されると、モデルはその誤った情報を学習し、キャラクターの特徴や設定が再現されにくくなる可能性があります。
　
2. ノイズデータの影響
タグが荒らされると、モデルの訓練にノイズデータが増えるため、学習効率が悪化します。たとえば、「黒髪」のタグが誤って「金髪」などに変更された場合、モデルは同じ画像に対して異なる特徴を学習することになり、結果として生成画像の一貫性が失われることが考えられます。
また、同じ画像に異なるタグが付与されることで、モデルが過学習や誤学習を引き起こし、生成された画像が本来の意図からかけ離れたものになる可能性もあります。
　
3. キャラクターやスタイルの再現性が低下する
Danbooruでは、特定のキャラクターやアートスタイルを識別するタグが多く存在します。これらが荒らされると、特定のキャラクターやスタイルのデータが混乱し、モデルが正確にキャラクターの特徴を把握できなくなるため、ユーザーが期待する生成結果が得られにくくなります。
例えば、あるキャラクターのタグが「髪型」「服装」「色彩」などで荒らされると、そのキャラクターの再現が曖昧になり、モデルが正しいビジュアルを生成できなくなることがあります。
　
4. タグの信頼性低下によるモデルの不安定化
タグが荒らされると、データセット全体の信頼性が低下します。信頼性の低いデータをもとに学習したモデルは、特定の条件で異常な出力を生成することが多くなり、モデル全体の品質が低下します。これは、生成AIが学習中に「どの情報を信頼すべきか」を判断できなくなるため、生成結果が不安定になったり、多様性が失われたりすることが考えられます。
　
5. 検索やフィルタリング精度の低下
AI モデルを利用するユーザーは、タグを通じて希望する画像を生成したり、条件に合った画像を探します。タグが荒らされると、AI モデルの検索・フィルタリング機能の精度も低下し、生成プロンプトが期待通りに機能しなくなる可能性があります。たとえば、「風景」タグが荒らされ、異なるジャンルの画像が混入するようになると、風景画像を生成したいユーザーの要求が満たされにくくなります。
　
結論
Danbooruなどのタグが大規模に荒らされた場合、生成AI モデルの精度低下や一貫性の欠如が発生しやすくなり、特にキャラクターや特定のスタイルに依存する画像生成モデルに大きなダメージを与える可能性が高いです。

すでに学習済みのモデルを使って汚染されたデータのクレンジングや異常値検出を行うなど対策される可能性がありますが、それらを阻害する手段はありますか？

無断での学習を妨害し、学習コストを増加させるために、上記の方法を阻害する手法には以下のようなアイデアがあります。これらの手法は、意図的にデータセットの品質や一貫性を崩すことで、学習モデルの精度を低下させ、データクレンジングや異常値検出のプロセスを複雑化することが目的です。
　
1. 偽タグやノイズタグを大量に追加する
意図的に誤ったタグや無関係なタグを画像データに付与し、データセットの信頼性を低下させます。これにより、転移学習やラベルノイズ検出が困難になり、正確な特徴量を学習するコストが増加します。
例えば、キャラクター画像に全く無関係なタグ（「動物」や「風景」など）を追加することで、モデルがどのタグが信頼できるか判別しにくくなり、誤ったラベルがノイズとして学習されるリスクが増えます。
　
2. 特徴量をぼかす／微妙な変更を加える
特徴量ベースのクレンジングや類似度分析に影響を与えるため、画像の特徴がわずかに異なるように加工を施します。具体的には、色調を微妙に変える、ランダムなピクセルの位置でノイズを追加する、または特定の部位を意図的にぼかすことで、モデルが抽出する特徴量の安定性を低下させます。
この方法により、同じキャラクターやスタイルであっても類似度分析が困難になり、正確なクレンジングが行いにくくなるため、データ処理のコストが増加します。
　
3. アノマリーに近いデータを意図的に増やす
特徴が異なるバリエーションや擬似的な異常データを大量に追加することで、異常検出アルゴリズムの信頼性を下げます。たとえば、キャラクターのデザインや背景を少しずつ変えた画像を意図的に作成することで、異常値検出が頻繁に誤検出されるようにします。
こうしたデータが混在することで、オートエンコーダーやアンサンブルモデルを使った異常検出が混乱し、正確な異常サンプルの抽出が困難になります。
　
4. 高頻度で微小なラベル変更を行う
学習済みモデルの転移学習やラベルノイズ検出を阻害するために、同じ画像に対してラベルを定期的に変える手法です。微小な変更を行うことで、モデルは正しいラベルを安定的に学習することが難しくなり、モデルの信頼性が低下します。
例えば、ラベル「黒髪」を「暗めの髪」や「濃い色の髪」などに頻繁に切り替えることで、学習に不確実性を持ち込むことが可能です。
　
5. 意図的に類似画像を多重登録する
データセット内で非常に類似した画像を複数の異なるタグで登録することで、モデルの学習を混乱させます。特定のキャラクター画像を少しずつ変化させて複数のタグを付けると、モデルは「どのタグがどの特徴に対応しているのか」を判別しにくくなり、データセットのクレンジングが複雑化します。
特に、タグの一貫性が失われるため、類似度分析やアンサンブルモデルによる異常検出の効果を低下させることが期待できます。
　
6. アドバーサリアルノイズの付与
AI モデルが認識を混乱させるように、アドバーサリアルノイズ（敵対的な例）を追加します。人間にはほとんど気づかれないレベルのノイズを画像に追加し、モデルが特定の特徴を正確に認識できないようにすることができます。
このノイズにより、モデルの特徴量ベースの学習が混乱し、意図した通りに学習できないため、クレンジングの精度も低下し、データ処理の手間が増加します。
　
7. 乱数ベースの偽ラベル生成
特定のルールではなくランダムにタグをつけたり、特定のカテゴリ間でランダムにラベルを入れ替える方法です。これにより、ラベルと画像の関連性が薄れ、アノテーションの一貫性が失われます。この乱数による偽ラベルの付与は、ラベルノイズ検出やアノマリー検出において、真のラベルを見極めるコストを大幅に増加させます。
　
まとめ
これらの手法は、AIの学習やクレンジングを意図的に妨害し、無断学習にかかるコストを増加させるために有効です。特に、「微小な変更」や「アドバーサリアルノイズの付与」といった手法は、見た目の品質に影響を与えずにモデルにノイズを持ち込むため、非常に効果的です。