■ChatGPT（と、その他のデカい面したChatbot）による社会のハッキング方法100選

汚染

ナチ礼賛する感じのデータを与えて最悪な助言をさせる。実際にChatBotとのやりとりをもとに自殺した人が存在する。

他の攻撃の足がかりにもなる。

• 本丸のChatGPTの学習データを汚染
  • 難しすぎだろ
• 汚い自前データでスタンドアローンなChatbotを作って、そいつを信用させる
  • 皆Chatbotのことを素直に聴くので楽勝だし、なんならデータなんかなくてオウム返しするだけでもいい
  • 後述の「間違った知識を広める」に繋げることで、形を変えたフィルターバブル、エコーチェンバーを生成できる

権威を振りかざす

これも基本技で、権威や品質を保証させた上で恐ろしいことを起こしてトドメをさす。

• Chatbot様がこうおっしゃっているのだぞ、と、詭弁を押し付ける
  • 汚染によって被攻撃者が飼っているChatbotにも同じ詭弁を喋らせれば確実に効く

間違った知識を広める

これはChatbotのパッシブスキルでもある。

デマゴーグ。Googleサジェスト汚染からの間違った記事がトップに出てくるコンボで有効性は実証済み。

社交性の高いエンジニアは、意図せずにこの攻撃を行うことを「ハルシネーション」が起きたと、幻覚でも見てるかのようなうわ言でごまかす。

間違った文言を大事な場所に放置する

Chatbotが出したソースコードを置いて、レビューは「Chattyが言ったんですもの」で済ませる（済ませられた場合、暗に「権威振りかざし」攻撃が成立している）。後々クソバグる。

log4jが逝った時大変だったろ？残業したくなきゃやめとけ。

最大コンボ：局所的なカルトを複数作ってトーナメントを開く

「汚染」して「間違った知識を広める」ことでエコーチェンバーを作る。

各々のエコーチェンバーに「権威振りかざし」バトルをさせ、蠱毒の原理でクソデカいカルトを作る。

そうこうしている内に、それぞれが日々の労働をChatbotに頼って行い「間違った文言を大事な場所に放置」していたものが爆発する。

めちゃくちゃになった世界の中心では獣が叫びながら、遍くワクチンの接種を拒み、いかなる疾病をも陰謀と断じる。

「100分de名著」ローティ篇第３回「言語は虐殺さえ引き起こす」

https://x.com/hee_verm/status/1759564599987478894?s=20

が面白かったから勢いで書いた。

まあ、知識をつけながらバズってるブクマ（だいたい本文読んでねーーーバカが適当な根拠のない自論をお披露目する糞放り出し会場になってる）くらいの信用度でChatGPT等々使って、裏付けとったら有用なんじゃないすかね。

単に産業革命時の機織りと違うのは品質の低下が生む「結果」なんだよね。服がスカスカでもそこまで困らんし、目に見えるから直せる。知らんけど。

Permalink | 記事への反応(1) | 20:24

ツイートシェア