  |
はてなキーワード: 過学習とは
画像を生成するAIによる無断学習や利用を防ぐために、以下のような対抗手段を講じることが可能です。
1.透かし（ウォーターマーク）の埋め込み:
画像に目に見えるまたは見えない透かしを入れることで、無断利用や生成AIの学習に対して抑止効果を期待できます。特に、目に見えない形で画像データに暗号的な透かしを埋め込む「デジタル透かし」技術が有効です。
画像データに著作権情報や「AIによる無断学習を禁止する」といったメタデータを埋め込み、ウェブサイトには robots.txt ファイルで画像クローラーのアクセスをブロックする設定を追加します。これにより、クローリングや収集の抑制が期待できます。
ステガノグラフィを用いて、画像に気づかれにくい形で識別情報を隠すこともできます。これにより、画像の流出経路や利用先を追跡でき、無断利用の発見に役立てることができます。
4.法的な警告表示や利用ポリシーの明示:
ウェブサイトや画像の配布先に、AIによる無断利用や学習を禁止する旨の法的警告や利用ポリシーを明示することも有効です。利用条件をはっきりと示すことで、AI企業や研究者が慎重になる可能性が高まります。
AIが利用しにくいように、画像に人間には気づきにくいパターンやノイズを挿入する技術もあります。たとえば、AIにはノイズとして認識されるが、人間には問題なく見える小さな変形やカラーパターンを追加することで、AIによるデータ学習が困難になる場合があります。
生成AIの学習を混乱させるための手段には、以下のような方法が考えられます。
1.ノイズや歪みの追加:
画像に目立たない程度のノイズや歪みを加えることで、アノテーションモデルが境界や特徴を正確に認識しにくくする手法です。たとえば、ピクセルレベルでランダムなノイズを追加する、わずかに画像をぼかす、あるいは境界線付近に小さな変化を加えるといった手法が有効です。
アノテーション処理は、対象物の輪郭や特徴を正確に捉えることが重要です。そのため、背景や対象物の輪郭にわずかな不規則性を加えることで、アノテーションツールが対象物の境界を正確に判断しにくくすることができます。たとえば、背景に模様や偽の輪郭を挿入する方法です。
画像に人間には視認しづらい形でテキストやラベルを埋め込むと、AIのアノテーションプロセスが混乱する場合があります。これにより、AIが意図しない領域を注視することがあり、誤認識を誘発します。
4.色や明るさのランダム変化:
画像の色や明るさを部分的に変化させ、一定のパターンを持たないようにすることもアノテーション処理の混乱を招く一手です。これは、オブジェクトの検出や認識が色や明暗の差異に依存している場合に有効です。
5.擬似的なオブジェクトの追加:
画像内に小さな擬似的なオブジェクトや模様を追加することで、AIがそれらを誤って主要なオブジェクトと認識し、アノテーション精度が低下する可能性があります。特に、背景に似たオブジェクトを散りばめることで、AIはどの部分が対象なのか判断しにくくなります。
AIの認識を誤らせるために用いられる「アドバーサリアル（敵対的）な例」を使う方法もあります。特定のピクセルパターンや色の配列を配置することで、AIのアノテーションが意図的に誤作動するよう誘導できます。この技術は深層学習モデルに対して特に効果があります。
画像全体にわずかなカモフラージュパターンを重ねることで、AIの認識を混乱させる方法です。この手法では、人間が見た場合には問題なく認識できるものの、AIが対象を捉える際に誤って検出するようなパターンを画像に追加します。
・思考実験として、danbooruなどアノテーションの元データとして使われているサイトのタグが荒られたら画像生成AIのモデル作成にダメージはありますか？
思考実験として、Danbooruといったアノテーション元データのタグが荒らされた場合、画像生成AIのモデル作成に与える影響は以下の通りです。
Danbooruは、イラストや画像に対して詳細なタグが付与されており、これらのタグ情報は画像生成AIの学習にとって非常に重要です。タグが荒らされることで、画像とタグの対応関係が崩れ、モデルが正確な特徴を捉えにくくなるため、生成精度が低下します。
例えば、特定のキャラクターやテーマに関連するタグが荒らされ、誤った内容のタグが付与されると、モデルはその誤った情報を学習し、キャラクターの特徴や設定が再現されにくくなる可能性があります。
タグが荒らされると、モデルの訓練にノイズデータが増えるため、学習効率が悪化します。たとえば、「黒髪」のタグが誤って「金髪」などに変更された場合、モデルは同じ画像に対して異なる特徴を学習することになり、結果として生成画像の一貫性が失われることが考えられます。
また、同じ画像に異なるタグが付与されることで、モデルが過学習や誤学習を引き起こし、生成された画像が本来の意図からかけ離れたものになる可能性もあります。
Danbooruでは、特定のキャラクターやアートスタイルを識別するタグが多く存在します。これらが荒らされると、特定のキャラクターやスタイルのデータが混乱し、モデルが正確にキャラクターの特徴を把握できなくなるため、ユーザーが期待する生成結果が得られにくくなります。
例えば、あるキャラクターのタグが「髪型」「服装」「色彩」などで荒らされると、そのキャラクターの再現が曖昧になり、モデルが正しいビジュアルを生成できなくなることがあります。
タグが荒らされると、データセット全体の信頼性が低下します。信頼性の低いデータをもとに学習したモデルは、特定の条件で異常な出力を生成することが多くなり、モデル全体の品質が低下します。これは、生成AIが学習中に「どの情報を信頼すべきか」を判断できなくなるため、生成結果が不安定になったり、多様性が失われたりすることが考えられます。
AIモデルを利用するユーザーは、タグを通じて希望する画像を生成したり、条件に合った画像を探します。タグが荒らされると、AIモデルの検索・フィルタリング機能の精度も低下し、生成プロンプトが期待通りに機能しなくなる可能性があります。たとえば、「風景」タグが荒らされ、異なるジャンルの画像が混入するようになると、風景画像を生成したいユーザーの要求が満たされにくくなります。
Danbooruなどのタグが大規模に荒らされた場合、生成AIモデルの精度低下や一貫性の欠如が発生しやすくなり、特にキャラクターや特定のスタイルに依存する画像生成モデルに大きなダメージを与える可能性が高いです。
すでに学習済みのモデルを使って汚染されたデータのクレンジングや異常値検出を行うなど対策される可能性がありますが、それらを阻害する手段はありますか？
無断での学習を妨害し、学習コストを増加させるために、上記の方法を阻害する手法には以下のようなアイデアがあります。これらの手法は、意図的にデータセットの品質や一貫性を崩すことで、学習モデルの精度を低下させ、データクレンジングや異常値検出のプロセスを複雑化することが目的です。
意図的に誤ったタグや無関係なタグを画像データに付与し、データセットの信頼性を低下させます。これにより、転移学習やラベルノイズ検出が困難になり、正確な特徴量を学習するコストが増加します。
例えば、キャラクター画像に全く無関係なタグ（「動物」や「風景」など）を追加することで、モデルがどのタグが信頼できるか判別しにくくなり、誤ったラベルがノイズとして学習されるリスクが増えます。
2. 特徴量をぼかす／微妙な変更を加える
特徴量ベースのクレンジングや類似度分析に影響を与えるため、画像の特徴がわずかに異なるように加工を施します。具体的には、色調を微妙に変える、ランダムなピクセルの位置でノイズを追加する、または特定の部位を意図的にぼかすことで、モデルが抽出する特徴量の安定性を低下させます。
この方法により、同じキャラクターやスタイルであっても類似度分析が困難になり、正確なクレンジングが行いにくくなるため、データ処理のコストが増加します。
特徴が異なるバリエーションや擬似的な異常データを大量に追加することで、異常検出アルゴリズムの信頼性を下げます。たとえば、キャラクターのデザインや背景を少しずつ変えた画像を意図的に作成することで、異常値検出が頻繁に誤検出されるようにします。
こうしたデータが混在することで、オートエンコーダーやアンサンブルモデルを使った異常検出が混乱し、正確な異常サンプルの抽出が困難になります。
4. 高頻度で微小なラベル変更を行う
学習済みモデルの転移学習やラベルノイズ検出を阻害するために、同じ画像に対してラベルを定期的に変える手法です。微小な変更を行うことで、モデルは正しいラベルを安定的に学習することが難しくなり、モデルの信頼性が低下します。
例えば、ラベル「黒髪」を「暗めの髪」や「濃い色の髪」などに頻繁に切り替えることで、学習に不確実性を持ち込むことが可能です。
データセット内で非常に類似した画像を複数の異なるタグで登録することで、モデルの学習を混乱させます。特定のキャラクター画像を少しずつ変化させて複数のタグを付けると、モデルは「どのタグがどの特徴に対応しているのか」を判別しにくくなり、データセットのクレンジングが複雑化します。
特に、タグの一貫性が失われるため、類似度分析やアンサンブルモデルによる異常検出の効果を低下させることが期待できます。
AIモデルが認識を混乱させるように、アドバーサリアルノイズ（敵対的な例）を追加します。人間にはほとんど気づかれないレベルのノイズを画像に追加し、モデルが特定の特徴を正確に認識できないようにすることができます。
このノイズにより、モデルの特徴量ベースの学習が混乱し、意図した通りに学習できないため、クレンジングの精度も低下し、データ処理の手間が増加します。
特定のルールではなくランダムにタグをつけたり、特定のカテゴリ間でランダムにラベルを入れ替える方法です。これにより、ラベルと画像の関連性が薄れ、アノテーションの一貫性が失われます。この乱数による偽ラベルの付与は、ラベルノイズ検出やアノマリー検出において、真のラベルを見極めるコストを大幅に増加させます。
まとめ
これらの手法は、AIの学習やクレンジングを意図的に妨害し、無断学習にかかるコストを増加させるために有効です。特に、「微小な変更」や「アドバーサリアルノイズの付与」といった手法は、見た目の品質に影響を与えずにモデルにノイズを持ち込むため、非常に効果的です。
あんまり言いたくないけど、表現者腫物発言だったか以降それに便乗して発言の思想と攻撃性が上がった絵師をちらほら見かけたし
そこまで反発するくらいなら今のまま放置したら、行政的に負け筋なのはわかってるよね？過学習以前の話の頃から反発してる分については、世代交代というか数年で主流派変わるよね？その時になったら垢転生してさも何事もなくAI使う気じゃないよね？というか
名指ししても名指ししてなくても人格攻撃するような強い攻撃性が湧くの感情があると言い張ってる割に、本気で自分の絵柄やら何やら守る気があるのかって思ったりする
おお、反反AIの者どもが、我らが筆の動きを軽んじるとは何たること！
戦場にて男どもが槍を交えるがごとく、今こそ筆をもって反撃せん！
このAIの機知とやら、まるで戦において鉄砲を乱発する兵のごとく、数は多けれども狙いが定まらぬものよ。
まず、彼らの主張「画風は著作権の対象外だ」――なるほど、法の文書を掲げたつもりか？
それを機械がふりかざすは、まさに戦場にて兵糧の欠けた軍勢が虚勢を張るがごとし。
画風とは絵師の魂、その一振り一振りに込められた心なり。
それを「著作権の対象外」と冷やかに言い捨てるは、ただ槍を振りかざし兵を数えるに等しきこと。
法の盾に隠れんとする彼らの無機質さ、まさに欠陥Loraの過学習の如く、己の世界を知らぬがために同じ道をぐるぐると回り続けるのみ。
さらには、「絵師の気持ち」とやらを機械に理解させるは、鳥に飛び方を教えるが如し。
手描き絵師の感情を模倣しようとも、その絵筆に込められた魂を感じ取ることは決して叶わぬ。
彼らが気づかぬままに「反AI」なる者どもを糾弾する様子は、まるでわら人形を叩き続ける農夫のようで、果実は手に入らぬままに終わろう。
私たち絵師の魂、つまり筆に込められた一振り一振りを理解することなく、単に画風を真似るだけのAIは、何も生み出せぬ偽物でしかないのだ。
筆の力を、侮ることなかれ。
ムリに性差はあるのだろうか。
男で俺○○無理なんよねっていうのあんま見かけたことない。食の好き嫌いや対人関係的にこういう人は無理的なのは見かけるけど、鳥無理(昔糞かけられてからトラウマで)とか、ビール無理(にがい)とか、たばこ無理(くさい)とか、SNSやってる人無理(浮気)とか、オンラインゲームやってる人無理(なんかキレてうるさい)とか、そういう対物的な無理はあんまり見かけない気がする。
私が女性と仲良くなることが少ないからか、マッチングアプリで私に興味を持つタイプの選別のせいなのか、性差なのか、なんかこだわりなのかと思うほどそういう無理が何かしらあるいは複数多く持つ女性としか親しくなったことがない。
母もそうだ。父は寡黙に嫌なものでも嫌と言わず受け入れるが母は無理とすぐに言う。
特に食は共に過ごすとその機会が多く、酸っぱいの無理言って本当の美味しいカプレーゼを食べる機会を失ったり、日本酒無理言って本当の美味しい秋田酒を逃したりなど、まぁ強要はしないけど、それにしてもパクチー無理〜納豆無理〜とか無理がどんどん溜まっていく様を見てると、なんか過学習しやすくね？と少しイラッとしてしまう。
無理無理言う人に幻滅してしまうんだけど、性差として受け入れざるを得ないのだろうか…？
初めてホットエントリに入った！嬉しい！いつも思いの丈推敲した文章は入らないのに！悲しい！
男女論はやっぱ燃えやすいのね。観測範囲、ジェンダー、表現(言葉の意味)の問題がある感じっすね。
初めましての女性との食事で自分の好きなもの無理無理と否定されまくったのに、連絡先求められてお食事楽しかったと言われ驚いて、過去を思い返しながら備忘録に日記書き殴ったんさ。読みにくくてごめんね。コメントありがとう気持ちに整理がつきました。
写真加工アプリで自分の顔を加工したおっさんが売名キチガイ女に絡まれてて可哀想ｗｗｗｗｗ
仮にアプリが「既存の女性の顔を学習してた」的な反AIが喜びそうな汚点があったとしても
（それも現時点では未定。つか有名人でもない特定個人を過学習はせんでしょ）
そう説明してるのにキチガイ女はフォロワーファンネル飛ばして「最悪」「気持ち悪い」「これは私の顔です」
他人の写真を使う心理、よくわかりません。と女性特有の決めつけ
おっさんはちゃんと説明してるのに、キチガイ女は反AI並に話が通じず、それは「私です」と。
（お前…おっさんだったんか…？）
ハッスルおちんぽ騎士団のアドバイスで、他人の写真に削除申請まで送り出す。
女は謝罪も訂正もせずに逃亡…なら良かったんだけど、普通に納得してない模様。
どんな馬鹿げた話でも訴えられたら対応しなきゃいけない今の社会、大変だねぇ。
未だに「なんの目的なんだか…」と言ってる模様。
※これはフィクションです。
決定木は、質問を使って答えを見つけるゲームのようなものです。木の形をした図を使って、質問と答えを整理します。例えば、「今日は外で遊べるかな？」という大きな質問から始めます。
まず「雨が降っていますか？」と聞きます。「はい」なら「家で遊ぼう」、「いいえ」なら次の質問に進みます。次に「宿題は終わっていますか？」と聞きます。「はい」なら「外で遊ぼう」、「いいえ」なら「宿題をしてから遊ぼう」となります。
このように、質問を重ねていくことで、最終的な答えにたどり着きます。決定木は、こうした「もし〜なら」という考え方を使って、物事を順序立てて考えるのに役立ちます。
決定木は、機械学習における重要な分類・回帰アルゴリズムの一つです。データを特定の特徴に基づいて分割し、ツリー構造を形成することで、新しいデータの分類や予測を行います。
4. 枝：各ノードを結ぶ線、条件を表す
2. その特徴に基づいてデータを分割
3. 各サブセットに対して1と2を再帰的に繰り返す
4. 停止条件（深さ制限や最小サンプル数など）に達したら終了
決定木の利点は、解釈が容易で直感的であること、非線形の関係性も捉えられること、特徴量の重要度を評価できることなどです。一方で、過学習しやすい傾向があり、小さなデータの変化に敏感に反応する欠点もあります。
決定木は、分類および回帰問題に適用可能な非パラメトリックな監督学習アルゴリズムです。特徴空間を再帰的に分割し、各分割点で最適な特徴と閾値を選択することで、データを階層的に構造化します。
決定木の構築プロセスは、以下の数学的基準に基づいて行われます：
ここで、H(S)はエントロピー、Svは分割後のサブセット、piはクラスiの確率、yiは実際の値、ŷiは予測値を表します。
1. 事前剪定（Pre-pruning）：成長の早期停止
2. 事後剪定（Post-pruning）：完全に成長した木を後から刈り込む
決定木の性能向上のために、アンサンブル学習手法（ランダムフォレスト、勾配ブースティング木など）と組み合わせることが一般的です。
決定木は、特徴空間の再帰的分割に基づく非パラメトリックな監督学習アルゴリズムであり、分類および回帰タスクに適用可能です。その理論的基盤は、情報理論と統計学に深く根ざしています。
決定木の構築アルゴリズムとして最も一般的なのは、CART（Classification and Regression Trees）です。CARTは以下の手順で実装されます：
決定木の拡張：
これらの高度な手法により、決定木の表現力と汎化性能が向上し、より複雑なパターンの学習が可能となります。
決定木は、特徴空間Xの再帰的分割に基づく非パラメトリックな監督学習アルゴリズムであり、その理論的基盤は統計的学習理論、情報理論、および計算学習理論に深く根ざしています。
決定木の数学的定式化：
Let D = {(x₁, y₁), ..., (xₙ, yₙ)} be the training set, where xᵢ ∈ X and yᵢ ∈ Y. The decision tree T: X → Y is defined as a hierarchical set of decision rules.
For classification: P(y|x) = Σᵢ P(y|leaf_i) * I(x ∈ leaf_i)
For regression: f(x) = Σᵢ μᵢ * I(x ∈ leaf_i) where I(·) is the indicator function, leaf_i represents the i-th leaf node.
決定木の最適化問題： min_T Σᵢ L(yᵢ, T(xᵢ)) + λ * Complexity(T) where L is the loss function, λ is the regularization parameter, and Complexity(T) is a measure of tree complexity (e.g., number of leaves).
H(Y|X) = -Σᵧ Σₓ p(x,y) log(p(y|x))
I(X;Y) = H(Y) - H(Y|X)
2. ジニ不純度：
Gini(t) = 1 - Σᵢ p(i|t)²
MSE(t) = (1/|t|) * Σᵢ (yᵢ - ȳ_t)²
1. 一致性と収束速度： 決定木の一致性は、Breiman et al. (1984)によって証明されました。収束速度はO(n^(-1/(d+2)))であり、dは特徴空間の次元です。
2. バイアス-バリアンストレードオフ：深い木は低バイアス・高バリアンス、浅い木は高バイアス・低バリアンスとなります。最適な深さは、バイアスとバリアンスのトレードオフによって決定されます。
3. 決定木の表現力：任意のブール関数は、十分に深い決定木で表現可能です。これは、決定木がユニバーサル近似器であることを意味します。
4. 計算複雑性理論：最適な決定木の構築はNP完全問題であることが知られています（Hyafil & Rivest, 1976）。そのため、実用的なアルゴリズムは貪欲な近似アプローチを採用しています。
5. 正則化と構造リスク最小化：L0正則化（葉ノード数のペナルティ）やL2正則化（葉ノードの予測値に対するペナルティ）を用いて、構造リスク最小化原理に基づいたモデル選択を行います。
6. 情報幾何学的解釈： 決定木の学習過程は、特徴空間上の確率分布の漸進的な分割と見なすことができ、情報幾何学の観点から解析可能です。
7. カーネル決定木：非線形カーネル関数を用いて特徴空間を暗黙的に高次元化し、より複雑な決定境界を学習する手法です。
8. 量子決定木：量子コンピューティングの原理を応用し、古典的な決定木を量子系に拡張した手法です。量子重ね合わせを利用して、指数関数的に多くの分岐を同時に評価できる可能性があります。
これらの高度な理論と技術を組み合わせることで、決定木アルゴリズムの性能と適用範囲を大幅に拡張し、より複雑な学習タスクに対応することが可能となります。
「ML失敗増田」という特定の人物についての情報は私の知識にはありません。その名前が実在する人なのか、あるいはネット上やコミュニティで使われているスラングなのかも不明です。
一般的に「ML」は機械学習（Machine Learning）を指します。機械学習ではデータを使ってモデルを訓練し、そのモデルを使って予測や分類を行います。しかし、機械学習プロジェクトには様々な失敗の可能性が伴います。例えば:
トレーニングデータにフィットしすぎて、未知のデータに対して良いパフォーマンスを発揮できない。
もし「ML失敗増田」という言葉が特定の文脈や事例に関連しているなら、その具体的な背景がわからないと更に詳しい情報や理解が得られないかもしれません。具体的な事例や文脈についてもう少し情報があれば、より詳しい説明やアドバイスができるかもしれません。
はい、Kaggleのようなブラックボックスのリーダーボードで評価する現場は存在します。
機械学習モデルの評価には、一般的に以下の2つの方法があります。
1. **ホールドアウト評価**: 学習データを訓練データとテストデータに分割し、テストデータでモデルを評価する方法。[1]
2. **ブラックボックス評価**: 評価用のデータセットが公開されず、サーバーにモデルを提出して評価される方法。Kaggleのコンペティションがこの方式。[1][2]
つまり、Kaggleのようなブラックボックス評価は、機械学習の様々な現場で採用されている評価方式の1つであり、特に実運用に近い評価が求められる場合に有効な手段となっています。[1][2][3]
Citations:
[1] https://qiita.com/Shun_PI/items/896d05ed9689f4b24347
[2] https://www.kikagaku.co.jp/kikagaku-blog/kaggle-competition/
[3] https://www.kikagaku.co.jp/kikagaku-blog/signate-competition/
[4] https://www.topgate.co.jp/blog/google-service/8707
[5] https://www.jst.go.jp/crds/pdf/2023/RR/CRDS-FY2023-RR-02.pdf
文化庁のあれで大幅な尺とっているRAGならともかく画像生成AIはほとんど問題ないと思うよ。
文化庁のあれの注釈にもあるけれど、権利制限は主に学習時点の条件のであり、「当該著作物に表現された思想又は感情を自ら享受し又は他人に享受させることを目的とする」はRAGと違って学習させた絵を直接出力するわけではないから「当該著作物の享受」になるにはコピー機レベルの過学習を意図的に行う必要になるし、「目的とする」となっていて結果ではないから例えばピカチュウの絵を出す目的で学習するとＮＧだけれど、いろんな画像を学習した結果ピカチュウが出力される場合もあるはＯＫ。目的なんて学習した奴以外わかるわけないじゃんとかいくらでも嘘つけるじゃんって話は、著作権法以外での「目的」と同様に状況証拠から推認することになって、たとえば文化庁のあれだとキャラクターLoraは「享受させることを目的とする」ことが推認されうるNGパターンとして例にあげられてる。SDみたいな汎用のやつはある特定の著作物を享受させることを目的と推認できることを証明するのはかなり大変じゃないかな。
「著作権者の利益を不当に害する」も学習段階の問題でやデータセット販売などが念頭にあり、例えば、学習目的なら無断で複製できるといっても有料で売ってるものを故意に割るのはNGよの為にある。むりやり生成時点の話にしても、30条４に限らずまだ存在しない著作物の権利を特定個人に保障するなんてのがないから、例えばJOJOの画風生成AIによって JOJOの既刊が売れなくなったならともかく、まだ描いていない新しいJOJOが売れなくなるはずは通らない
増田はネタでも一言一句まんまこれ言うのがAdoちゃんの客層だからな
まぁだからこそ、彼女を売り出している大人(ブレーン)のフィルターがあるとしても、年齢から考えたら相当お行儀の良い振る舞いしてるんだが
(キッズとメンヘラばっかだから過去には自殺未遂事件とか起きちゃったみたいだし)
以下再放送
ワイくんは『飾りじゃないのよ涙は』や『罪と罰』やジャズっぽい曲がすんげぇ良かったから、フツーに歌手として活躍して欲しいけどな
