はてなキーワード: 情報理論とは
マッチングアプリで知り合った全日本妹選手権とか好きそうなオタクっぽいアラフィフで小太りの弱者男性の話です
その弱者男性の男の人はプログラミングに詳しくらしく、エンジニアとして働いてると話してました
私は大学のパン教でアルゴリズムをかじってたので、その時の思い出としてデータ構造が難しかった。いまだにラビンミラーの素数判定法について理解できてないです😅って話をしたんですね
すると、その弱者男性さん、鳩が豆鉄砲食ったような顔になりました。怪訝に思った私が聞いてみると、弱者男性さんなんと計算論も情報理論も知らないことが判明してドン引き
一体どうやってプログラミングのエンジニアしてるのかと思って聞いてみるとただ単に家電量販店の販売員パソコンのセットアップとかを担当してるだけってわかって唖然としました😰😰😰
全然違うだろ
一方でCTOとかは情報系じゃ無いと成り立たないことが多いし現にIT系ベンチャーのCTOは情報系ばっかだよ
当たり前だけど情報の基本・応用を教えてくれるのは大学の情報系学部しかなくて
そのへんのプログラミングスクールとかはマジでゴミだから情報理論のエントロピーすら教えない
みたいなことを平気で言うからな
他にもコーデックに関する事とかネットワークに関する事とか情報系でしか教えてくれなくて
独学でやってる人も多いけど歴史とかまで含めて教えてくれるのは情報系の大学だけだよ
そして歴史を知っておかないとその技術が今後どうなるか見通しできないから
「参加型宇宙」は、宇宙物理学者ジョン・ホイーラーが提唱した概念で、観測者(行為主体)が世界を捉える視点を重視し、世界の記述が必然的に主観的になるというものである。
この概念は量子ベイズ主義(QBism)という量子力学の新しい解釈とも関連がある。
量子ベイズ主義は量子力学に現れる「確率」の概念を、「客観的」なものではなく「主観的」なものとして解釈する。
量子ベイズ主義(QBism)、情報理論、量子観測、エントロピーの関係は非常に深く、それぞれが相互に影響を与えている。
多世界解釈は量子力学の観測問題に対する一つの解釈で、宇宙の波動関数を実在のものとみなし、その波動関数がシュレディンガー方程式に従って時間発展すると考える。
この解釈では波束の収縮は起こらず、代わりに重ね合わせ状態が干渉性を失うことで異なる世界に分岐していくと考えられる。
しかし意識がどのように一つの分岐を選択するかについては疑問が残る。多世界解釈ではすべての可能な結果がそれぞれの世界で実現するとされている。
意識が一つの分岐を「選択」するのだろうか。それとも意識のすべての可能な状態がそれぞれの世界で実現するのだろうか。
この解釈は物理学者や哲学者の間でさまざまな議論を引き起こしている。特に多世界解釈が「存在論的な浪費」であるとの批判もある。
つまり観測できない多数の世界を考えること自体が論理の無駄だというものである。
ところでエントロピーは一般的には系の「乱雑さ」や「不確定性」を表す量として理解されるが、エントロピーが低下するということは「秩序」が増すということを意味する。
観測によって情報が定まることによってエントロピーが低下するという観点から見ると、系の状態が特定の状態に「収束」するという意味で理解できる。
ここで情報理論について見てみると、観測者が持つ知識が、観測対象に対して影響を与えうるのではないかという疑問が生じる。
ジョン・フォン・ノイマンは、1932年の著書 「量子力学の数学的基礎」において、精神が現象に直接的に影響を与えないという前提が科学的世界観にとって基本的な要請であるとして、実験系と測定側の境界を置けなければならないと述べている。
しかし観測主体が対象のエントロピーを低下させるという事実を無視することはできない。これは環境と対象が相互作用した場合のデコヒーレンスとは違っているのである。
熱力学第二法則では基本的に2つのことを述べており、一つはデコヒーレンスによるエントロピー増加、もうひとつは観測によるエントロピー低下である。
観測者が系に知識をもたらすことによって情報が積み重ねられていった結果、現在の世界が存在すると考えれば、本質的に情報理論こそが量子力学の基礎を成していることがわかる。
しかしこの情報理論は諸刃の剣であり、つまり世界の安定性がなぜ保証されるのか不安になるので、当面の物理学の要請として量子力学から情報理論の側面を剥ぎ取ることが要求されるだろう。
例えば「画像は3色で保存されてるけど、それぞれ何色か知ってる?」と聞いたら
情報理論関係無くRGBを答える人は多いと思う(たまにこれすら答えられないプログラマーがいるが・・・)
ところが「JPEGって各画素に対して8bitなんだけどどうやって3色を割り振ってる?」って聞くと分からないプログラマーが多い
普段のプログラミングでJPEGを貼り付けるだけならこんなこと知らなくても問題無いんだが
ちょっと複雑なことをするときはこの手の知識が必要になってくる
同様に「人間の可聴周波数は?」とか「それをどうやってデジタルに保存してる?」とかも知らない人が多い
こういう知識を持ち合わせずに「音声認識結果が悪いのでハイレゾにしてみました」とか言ってきたりして頭が痛くなる
他にも情報量の概念を知らずに圧縮しようとしたり公開鍵のことを知らずにセキュリティに関する実装をしたりIPパケットを知らずにネットワーキングしようとしたり
基本的な知識を知らずにプログラマーになってる人間が多すぎて問題になってる
幹部なんかは「基本情報を持ってたらいいんだな!」「応用情報を取らせよう!」みたいな対策をやりがちなんだが
一夜漬けで終わらせる人がかなり多くて前述の質問に答えられない人もIPA資格は持ってたりする
普通に情報系の大学を出ていれば授業で単位を取得しているはずなんだが
大学はもっとザルで簡単に単位を取れてしまうので全くアテにならない
一番問題なのは、知識を知らなくてもプログラミングできてしまうので
下手に経験を積むと情報理論なんかの基礎を知らないまま「優秀プログラマー」として認知されてしまい
更に本人もその自覚を持ってしまってリーダー的な立ち位置になってしまう
例えば100年前(コンピューターもなかった頃)に、当時の通信技術や情報理論の応用から、現代のスマホのような情報端末を想像していた人がいる。
現実的にある条件から、現実的な論理の発展を経て未来にあるべきものを適格に予想する。
一方で、なんの現実的な事実にも基づかない、ただの妄想も「想像力」と呼ばれる。
例えば、現実にいくつも証拠がある「地球が球体である」ことや「地球の温暖化が気候変動を起こしていること」を、証拠を無視してなんとか自分の都合の良い想像で否定したいという奴らがいる。
これらを同じ「想像力」でくくるからややこしいことになっている、ということが世の中には多い。
量子観測とは、量子系の状態を測定することで、その状態を確定させることです。量子系の状態は、一般に複数の可能性の重ね合わせになっていますが、量子観測によってその重ね合わせが崩れて、一つの可能性に収束します。この現象を「波動関数の収縮」と呼びます。
情報理論的エントロピーとは、情報の不確かさや乱雑さを表す物理量です。エントロピーが高いほど、情報が不確かで乱雑であると言えます。量子系の状態に対しても、エントロピーを定義することができます。量子系のエントロピーは、その状態の重ね合わせの度合いによって決まります。重ね合わせの度合いが高いほど、エントロピーも高くなります。
したがって、量子観測を行うと、量子系の状態が重ね合わせから一つの可能性に収束するので、エントロピーが下がるということになります。これは、量子観測によって、量子系の状態に関する情報が得られることを意味します。量子観測は、情報の不確かさや乱雑さを減らすという観点から見ると、情報の圧縮や整理といった操作に相当します。
でもそれってお前の暗記知識だろ?
「情報理論的にニューラルネットを分析する」ってことを吟味したら多分短絡的にこの場だけでポンとすべて出てくるなんてことはないだろ
「大抵のDNNはencoder-decoderみたいに振る舞う」という文章は意味をなしてないので「情報理論」と関係あるかないかも何も言えないぞ。単語だけ暗記した中学生がエル・プサイ・コングルゥとか言ってるのと同じ。
情報理論と量子論の結びつきから現実がシミュレーションである可能性を考える人がいるとして、「そんなのはありえない!」という反応をする人もいる。この差はなんだ?
物理なんてそもそも直感じゃ理解できないわけだし、「ありえない!」は猿の本能に基づいてると思うんだよな。
自称科学通に限って、「科学=直感的に正しいと思うもの」だと無意識に仮定してる。
そんなクソ直感だけで、宇宙の始まりや宇宙の終焉や、この世の仕組みを本当に理解することにつながると?
ニック・ボストロムやマックス・テグマークは、確かに「ぶっ飛んだこと」を言わずにはいられない性格なので、その主張を疑う人もいるだろう。
だからといって、お前のクソ直感だけでは彼らの理論の間違いを証明することはできない。「多世界」「シミュレーション」といったものを証明・否定するエビデンスが存在しないのだ。
そしてそういったエビデンスが技術の発展によって発見されることもある。我々猿の直感でそんな未来を予想することなどできないだろう。
サイエンスとは自然科学、すなわち実験と観察による帰納と演繹、公理と論理による再現可能性だ。
そういう意味ではコンピュータのあれこれって人間が決めた規格でしかなくて、サイエンスと言われても甚だ疑問だ。
情報理論、統計学、論理回路、アルゴリズム(人工知能、計算理論、数値解析)
このあたりはもちろんサイエンスと言えるが
CSってそんな大仰なものじゃなくて、ちょっと時間を作れば誰にでも理解できる知識体系だよ。
計算量とかアルゴリズムとかの話だけじゃなくて、スレッドとプロセスとか、ヒープとスタックとか、そういう類の話だよ。
(通信路符号化とか圧縮符号化とかの情報理論はCSに含まないよ)
なので増田はすでにCSの素養はある程度身に着けていると思う。
高等数学のような、100人に1人しか理解できないような、難解な理論体系ではないのよ。
ただ、用語の響きが難しいように聞こえるだけ。
難しく聞こえるので「俺には絶対に理解できない」って思ってしまうけど、コンパイルのときにコードを置き換えているだけでしかない。
他にも、オブジェクト指向界隈の「継承より移譲」とかも、中身は拍子抜けするほどの簡単なアイデアである。
CSもそれと同じ。
切れたから続き
ひろかわたいちろう
竹に雀
山漬け
ひろみの命
スパシーボー
シャノンの定理
モケーレ ムベンベ
七人ミサキ
江戸の黒豹
ゾゾ プー
ぬぞぷり
正しい世界征服のあり方
ドロレス・ヘイズ
ロビン グッド フェロ
ピュラリス
オー・チンチン
ワンツーどん
東一色
ルルスの術
チームデミニ
毬藻の歌
SeeNa 攻略
ぶるまー 2000 攻略
ワクワク あの頃 ぶるまー 2000
毒 エウー
ommel cerumen trick
真実の人
ザ・ヨーム
よみもの専科
だめニャルラ
O, Sinn, der Sinn
エクピロシスの炎
おやじの海
ムサシ!BUGEI伝!!
FFだけど】FINAL FANTAZY I・II【ロマサガ】 3
茜街奇譚
オガム文字
ローグライクゲームのいい加減な
双頭鷲の紋章
真口の大神
レンヌ・ル・シャトーの謎
黄泉戸喫
グンニョキ
バルジつき
ハナアルキ
Snickersnee
その者の首を刎ねよ
星犬シリウス
スーパーレール
ウィザードリィ 得屋
スパイラルマタイ
ク・リトル・リトル 荒俣
横スクロール シューティング フック アーケード 引っ掛ける
3年で優勝の狙えるチーム
クヴァシル
ヤスウェア
宇宙終末十億年前
伝染性精神病
私のビートルズ
きくたけゲー
榎本 武揚
昴 七姉妹
一等輸送艦
滅・昇龍拳
スペースジェットモグラ
楠正成 菊水
地底王国 デロ
グレーの金魚
山と谷を越えて
テレンス ダービー
吸血エイリアン
良栄丸事件
Ki-83 速度
Ta152 高度
しなちく 割り箸
屋根裏を整理してたら古いパソコン(といっても2006年頃)が出てきたのでブラウザの検索履歴をサルベージしてみた。
当時自分が何にハマっていたのか思い出されていろいろ懐かしい…
パラ様 生え際
ホケマクイ
ブッチーン 灯花
ぶっこぉすぞー
るくしおん しびれるぜ、鋼の
ティプトリー・ショック
「デストロイがいいね」と君が言ったから六月二十四日はUFOの日
わたるが死んじゃう
琵琶湖タワー
猫いらず 口の周り 光る
尸条書
立方晶窒化炭素
ドーマン法
ひだまりスケッホ
空飛ぶ冷し中華
セーラー戦士が全員ブルマーだったら、アニメ史を変えていたと思うね
34歳児
実はまだ2階に
アリオク
緑はいらない子
そうです。あのコが僕の畏敬する天使様なのです
おかしとか食べる
T-34が倒せない
さあ牛だ
セノバイト
omegaの視界
ぽこにゃん
だぞなもし
倒福マーク
ボッキアウト
フムン
ユープケッチャ
目なき顔のジールバ
やったー+1 シヴィライゼーション
ルロス ロルス
玉音盤奪取
ハレとケ
もえたん 06話
路肩のピクニック
白楽電の詩
ガッシボカ
聖なんとか女学園
クートニアン
お脱ぎなさい
グンニョキ
強さ激しく変動
南斗聖拳108派一覧
みなぎる力がみなぎるぜ
力こそパワー
重い生理が来たみたい
4ひえた
ムーミンパパ海へいく
チャンパーノウン定数
見知らぬ国のデイトリッパー
紫暗号
いざり
比留間 京之介
この娘、最後死んじゃうんだよね
旧神なんていないよ
棒シムーン
S級だけどめどいんでB
オレモダビール
"オナホさん"
アントノフ 積載量
黄金の真昼
Let's Beginning to Look Alot Like Fishmen
けいせい出版
共生るんです
ガネッコ
莫迦め 死んだわ
スコープドッグ 装甲厚
かみそり半蔵地獄攻め
クンデラ 不滅
如意棒 重さ
ちびくろサンボ 枚数
俺のケツをなめろ
大胖女人
大司令症候群
gunyoki
グンニョキ
おしつおされつ
どうしてエレクチオンしないのよぉぉぉぉ
こぐにっしょん
虹作戦
燕山夜話
ドラ28
中国人の部屋
エロ イッカイヅツ
菊屋橋101号
システムショック
ゲバルト・ローザ
完全黙秘
唸るコカトリス亭
みずずちん
なんてこった 死の宣告
アンダーダーク
ロンゴ・ロンゴ
ゲオルギウス
毒薬仁
まじかるぴゅあソング
だいす☆くえすと
つめたく冷えた月
フンカーリート
Shang-Du
水エタノール噴射
願望機
舟に棲む
rom ヘッダ 削る
長靴いっぱい食べたいよ
陣形技 閃き
ハリマオ
ぺちんぺちん
カタリナ おそるべし
野月まひる
マライア 多摩
素敵医師
相沢 祐一 最強
みなみおねいさん
あまぞn
夢のクレヨン王国 SONGBOX
振武刀
クリントワン
ロイさーん
レムコレクション
カードゲーム テケリ・リ
グレゴール・ザザ虫
きみはホエホエむすめ
東方夢終劇
ファミソン8BIT
生きなさいキキ
dwarvish mattock
蟹工船 光線
パラシュート部隊 突然に
ゴクイリイミオオイ
アウト・オブ・眼中
モルディギアン
納骨堂の神
ヴェクナ
パラシュート部隊 突然に
情無用ファイア
末期 少女病
唸るコカトリス亭
アカディネの泉
ショスタコーヴィ
ジャック ケッチャム
シャノン 情報理論
ガロアの郡論
ルルスの術
ラヴォアジエ
宇津田さんの死
レムコレクション
佐保姫 信太の森
ころがる石のような俺の生き様
はしれぐずども
紫暗号
白い神兵
火のバプテスマ
清家理論
サールクラフト
lycanthropy
某研究者
アナ姫さま おげんきですか
オナホ 2番目
宇宙麻雀
電戦トリオ
乳ロマンサー
私は痛みだ
くやしい、でも ビルケナウ
グレゴール・ザザ虫
新藤幸司 CV
Chante キミの歌がとどいたら 先生
開路に時限のある リレー
Drizzt
ちんぽ生やして出直して来い
男根 恐ろしいまでに
コロラド撃ち
HEARTWORK
誠ぉっ そこにいるんでしょ
ずっとオレのターン
ぼくはぼくであること
おれがあいつで
アラバハキ
幻影都市
わたしこそ しんの ゆうしゃだ
クトゥル スペースジョッキー
フラッシャー付自転車
神よりも弱いただのオセロ
おがわみめい
水無神知宏
CARNIVAL 小説
じゃこつばばあ
生と死の境界 安置
うぉ、まぶしっ
ゼロで割る
ココロン
有尾人 フィリピン
子供達を責めないで
圧力計 連成計 BV
エドガー ダケェ
おびんずる
にこにこ商事
ひろ