  |
はてなキーワード: 情報理論とは
ITの人が「知識は陳腐化する！！！」とか喚いてるのを聞いてどんな世界かと思ってたが、何の事は無くて、そういう人たちの言う「技術」とか「知識」はすげえ薄っぺらい表層的なものを指してるってだけなんだよね。
線形代数は1000年は廃れないだろうし、シャノンの情報理論も100年は現役だろう。ダイクストラ法だとかグラフアルゴリズムが陳腐化するとか有り得るのか？？？
まあそうやってAPIだのフレームワークだのの使い方を「技術だ！！」とかいってモニョモニョしてくれる人たちがいっぱいいるお陰で俺みたいなのがプログラミングあんまり得意じゃなくても食えるんだけど。
ドットインストールなりrailsのチュートリアルなり、golangなりやって見るんだ。
そうやってブートストラップしていくとどう情報を掴んでいけば良いか分かるようになってくる。
とりあえず学部3年なら簡単なTODOリスト管理アプリを作れるぐらいでバイトも普通に見つかるだろう。
それが難しければ、パソコンのサポートなら出来るだろう。なんでも良いからやらせて貰え。
数学は最低、離散数学でブール代数はきちんと練習すること。あと集合。
ハード系だと
の辺りを意識的に取り組んで欲しい。
その他は、
あたりを読んで、分からないところを先生や詳しい同級生に聞く。
あと、5000万行ぐらいのテキストファイルで、マージソートをUNIXのコマンドでやってみるとかお勧め。
ただし、そうやっていく中で、もし「楽しい」と思えない時間が3ヶ月〜半年なり続くようであれば、
適性を求めて (例えば) 経済学部などに行くが良かろう。
エントロピーの概念自体は、熱力学に限った話でなく、万物がそうである、といった話でもあると思うんですが、違うでしょうか？
(それがどこまで正しいかどうかでなく、そういった話もある。と)
まず、「概念」には定義が必要ですね。元々の「エントロピー」は純粋に熱力学、平衡系において定義されました。
そのあと、統計力学を創ろうとする動きのなか、情報理論において似た概念が定義できそうだと分かり、「情報エントロピー」といういくつかの定義がうまれた訳ですが
もっとも非平衡系については別もんですし、先述したとおり「エントロピー増大」は平衡系の話なので経済に適用しても何の意味もないです。
大学教養レベルの解析学は少なくとも習得しておきましょう．線形代数・確率・数論にも理解があることが望ましいです．情報理論と制御理論を熱力学を中心とした物理学とあわせて活用できるようにしましょう．進化を中心として生物の各階層，分子・細胞・個体・生態，のそれぞれを概観し，システム生物学入門のようにより簡単な系につきモデリングを緻密にできるようにしましょう．
結局、なにがしたいか、なにが学びたいか、だろうな。
元増田も大元増田も、とりあえず言語を学んだ。てにをはと挨拶は分かった状態。それでどうするのか、とりあえず小説を書くのか、言語学を学んでみるか、ラノベを研究してみるのか。
SICPだと、プログラミングとは何ぞや？とメタな言語学的になるのかな。あと、アルゴリズムとか、より抽象的、数学的な方向へ向かうのか。
ブックマークコメントに多いのは、とりあえず作れってやつ。しかし、現状で作りたいものがあるなら、もう作っているはずで、特にないから困っているのだろう。
ジャンル的にはWebアプリかGUIアプリか。あと、サーバソフトウェアもある。
Webアプリだと、HTTPとかブラウザ側と、CGIとかapache等サーバ側とのインターフェースを知る必要がある。他にもデータベースマネージャーとSQLに手を出すとか、railsとかフレームワークに手を出すか。
GUIアプリだと、ライブラリやフレームワーク、OSとのインターフェースを知る必要がある。データベースを使っても良いし、ネットワークに手をだすならSOCKETとか。WindowsならWindowsの、XならKDEとかgnomeとかの作法があるし。
GUIアプリでもだけど、サーバソフトウェアならネットワークやプロトコルの他に、スレッドだとかある。
これらも、一から自分で始めてみるか、既存の、例えば自分が使ってるOSSに機能追加してみるとか。
あと、アセンブラって出てたけど、コンピューターの実際的な構造とか、OS内部、ドライバの作りなんかへ進む手もある。
元増田は標準ライブラリを使ったプログラミングとフレームワークの内部構造を把握すればよいんじゃないかな。
というわけで、よりフロントエンドなライブラリやフレームワークの方向か、バックエンドなシステムコールやOSへ向かうか、
より抽象的なアルゴリズムとか情報理論の方向か、実際的なネットワークやデータベースなどの周辺要素へ向かうか、
どういう方向に興味があるのか分からない事には。
IT業界に未経験で中途入社して1年弱の人間ですが、ネットワークとデータベースはサッパわかってません。
コンピュータの基本的なところ（論理回路から始まって云々カンヌン）やハードウェア周りもほぼわかってません。
普段の仕事は主にソフトウェアを作ることで、ネットワークorデータベース関連のソフトには手をつけてません。
そうは言っても知らないとヤバいなーとは思っていたので
http://www.amazon.co.jp/dp/4764902842/
http://www.amazon.co.jp/dp/4891003383/
これらをとりあえずポチりました。あと「ネットワークはなぜつながるのか」も持っていたはずなので読もうと思います。
情報理論では
http://www.amazon.co.jp/dp/0471241954/
がいいらしいんですが、高くて躊躇してます。
どのように勉強していったらいいでしょうか。
言語は主にC++(最初オブジェクト指向のオもわかってなかったので苦労しました)です。
CはC++に入る前にK＆Rとオーム社の上下巻の本を読んで一通り勉強しましたが、今ではオブジェクト指向じゃないとまともなコード書く自信ありません。
LINUXは使えますが、emacsのキーバインドは全然使いこなせないです。viとか使えないです。つまりその程度です。
二分探索とかキューとかスタックとかバイナリツリーとかリストとかソートの基本的なデータ構造とアルゴリズムは一応勉強しました。全て実装したことがあるわけではありませんが。
諸君 私はサイエンスが 好きだ
諸君 私はサイエンスが 大好きだ
帰納法が好きだ 演繹法が好きだ 思考実験が好きだ 実証実験が好きだ
代数学が好きだ 関数解析学が好きだ 集合論が好きだ 統計学が好きだ 情報理論が好きだ
Unixで Linuxで MatLabで Mathematicaで C++で Javaで 紙と鉛筆で 口頭で
全てのプラットフォームで行われる ありとあらゆる論証行為が 大好きだ
数列をならべた 並行スレッドの一斉実行が ファン音と共に他のプロセスを reniceるのが好きだ
ふと思いついて計算してみたモデルが 想定していた通りの結果をはじき出した時など 心がおどる
Athlonの64bit(フィア・ウンド・ゼヒツィヒ)でフェドラ７を使うのが好きだ
某M木先生さー、何でもかんでも「脳科学で説明出来ます」って擬似科学入ってるよねー、と言われた時は 我が意を得た様な気持ちだった
ラグランジュの未定乗数で ハミルトンの原理の拘束が表現されるのを知るのは 楽しい
リゾラッティの ミラーニューロンに関する基調講演を聞いた時など 感動すら覚えた
還元主義のfMRI万能論者達の発表が 質問攻めと共に叩きのめされる様などはもう たまらない
居並ぶフックス型微分方程式が 私の押したEnterキーとともに
金切り声を上げるCPUに あっという間に計算されるのも最高だ
哀れなM＄オフィスユーザー達が 雑な数式エディタで 健気にもフィッツヒュー・南雲モデルの方程式を書こうとしている時に
PCがフリーズして ドキュメントが過去５時間分のテキストごと木端微塵にされるのを見ると TeX使いは ちょっと優越感を覚える
露助の教授に「あなたの理論は間違ってる事が(ロシアで)２０年以上前に証明されていてねぇ」と指摘されるのが好きだ（ラボ内だったからな）
必死に守るはずだった仮説が反証され 実験の不備が指摘され 論文がリジェクトされるのは とてもとても 悲しいものだ
米国の物量（研究資金的な意味で）にものを言わせた研究所に 自分と同じ研究内容を先にPLoSに発表されるのだけは 勘弁だ
締切り（近々だと１月に１こ）に追いかけられ 太平洋標準時だからこっちの朝４時まで大丈夫！と徹夜するのは 体力的にそろそろ無理だ
君達は 一体 何を 望んでいる？
情け容赦のない 鬼の様なピアレビューを 望むか？
並列処理の限りを尽くし 三千世界のCPUを焼き尽くす 嵐の様なシミュレーションを 望むか？
「D論(クリーク)！！ D論(カフェイン)！！ D論(メンタルヘルス)！！」
よろしい
我々は満身の 力をこめて 今まさに スライドを指し示さんとする レーザーポインタだ
だが この暗い研究室の中で ３年もの間 堪え続けて来た 我々に
大論争を！！
一心不乱の大論争を！！
。。。。えー、
「男が出来る気がしない」と、 http://anond.hatelabo.jp/20081127063438 を書いた増田ですが、
どーせ釣りだろと言われた／予想以上にHELLSINGに反応してくれた人がいた／NIPSに持ってかなきゃ行けないスライドがいつまでたっても終わんない／ので、ついカッとなってやった。反省はしている。
情報科学がどうとか、情報工学がどうとかそういうのを論じている暇があったら、
梅垣 寿春, 塚田 真, 大矢 雅則, 『測度・積分・確率』
梅垣 寿春, 大矢 雅則, 『確率論的エントロピー―情報理論の函数解析的基礎 1』
梅垣 寿春, 大矢 雅則, 『量子論的エントロピー―情報理論の函数解析的基礎 2』
とか、しっかり読んで勉強しようぜ。
で、さらに原点になるようなShannonの論文読もうぜ。
っていうことですよね。
あと学問という話では？暗号理論を学問としてやるのなら数学は必須だろう。
あと情報科学でやってるのは情報伝送（情報理論・符号理論）だけでなく，離散数学，言語情報解析，数値解析，情報セキュリティ，数値シュミレーション，アルゴリズム，人工知能，情報解析，計算機言語，ビジュアル系，離散数学，生命情報，データベース，金融工学など多種多様なので一概には語れない。
画像認識の分野しかあんまよくわかってないが少なくともこの分野では，相関法，オプティカルフロー，エッジ検出，特徴点抽出，正弦波パラメータ推定，逆問題などがあるので微積確率統計応用解析信号処理は最低限必須。使える程度に数値解析などはわかる。データベースや言語解析の人たちだとマッピングなどがあるので幾何数学は必須。数値解析とかやる人たちは凸解析法とか真剣に考えてるよね。
学部のころはとりあえず代数幾何解析確率統計情報理論信号処理論制御論コンピューターアーキテクチャあたりは一通りやったよ。複素解析とかめんどくさかったなぁ。ルベーグ積分とか面白いよね。
あともっと詳しく知りたいなら情報工学なり情報科学，もしくは数理情報あたりでググってみればわかるんじゃないかね。
>情報理論は近似であって、
>実はなんらかの極限状況だと、
>エントロピーの性質とかが（？）おかしくなるとか
我々の眼にするほとんどの情報システムは自由度が極端に低いので、仰る意味における「極限状況」です。スパムメーラーの出力は統計的に偏っているため、スパムフィルターによって0バイトまで圧縮することができるのです。
ええと、言いたいことがまとまらないのでばらばら書きます。
ハードディスクやメモリ上の情報構造物が dense であるとか sparse であるとかいいますよね。当然何かその情報構造物について「密度」を考えているわけですが、その単位はよくわからないものです。気体の「体積」「1分子あたりの熱エネルギー」「モル数」はそれぞれ違う次元の数ですが、ディスク上の情報構造物の「占有領域」「最低/平均ブロックサイズ」「圧縮した場合のバイト数を表現するのに必要なレジスタ幅」はまったく意味が違うのに、いずれもバイト数で表されます。これは情報科学の根底にあるトラブルの原因ですが、いまは統計力学と情報理論の間に安易な橋渡しができないことだけを意識してください。
ただ、気体でも極端に自由度の低い系(絶対零度近くとか、強い磁場の下にあるとか)では体積は圧力にも温度にも比例しないでしょう。それと似たような話として、自由度の低い情報構造物は情報理論の適用外です。個々のビットの間の関係は恣意的であって、あまり統計的扱いに向かないからです。
古典力学の前提で、粒子間の引力も斥力も無視するとボルツマン統計、量子力学ならボーズ統計やフェルミ統計に従うという話ができますが、すべてのアプリケーションが書き出すビット列にそういう統計を考えることはできるでしょうか?
アプリケーションの各論を展開できるほど柔軟で包括的な数学を使えば、情報構造物のミクロの理論は好き勝手に展開できるでしょう。ただ、それはアルゴリズムの単なる記述ではありませんか?
情報理論は近似であって、
実はなんらかの極限状況だと、
エントロピーの性質とかが（？）おかしくなるとか。
ああ、増田のことかｗ
