  |
はてなキーワード: SQLとは
計算機科学は、情報の理論的基盤から実用的な応用まで、広範な領域をカバーする学問です。以下に、計算機科学の主要な分野と、特にネットワークに関連するトピックを体系的にまとめます。
プログラミングパラダイム: 手続き型、オブジェクト指向、関数型、論理型など。
プロセス管理: CPUのスケジューリングとマルチタスキング。
機械学習アルゴリズム: 教師あり学習、教師なし学習、強化学習。
深層学習: ニューラルネットワークによる高度なパターン認識。
ネットワークは、情報の共有と通信を可能にする計算機科学の核心的な分野です。
OSI参照モデル: ネットワーク通信を7つのレイヤーに分割し、それぞれの機能を定義。
プレゼンテーション層: データ形式の変換。
アプリケーション層: ユーザーアプリケーションが使用するプロトコル。
TCP/IPモデル: 現実のインターネットで使用される4層モデル。
リング型: 各ノードが一方向または双方向に隣接ノードと接続。
IP（Internet Protocol）: データのパケット化とアドレッシング。
TCP（Transmission Control Protocol）: 信頼性のある通信を提供。
UDP（User Datagram Protocol）: 信頼性よりも速度を重視した通信。
ルーター: 異なるネットワーク間のパケット転送とルーティング。
IDS/IPS（侵入検知/防止システム）: ネットワーク攻撃の検出と防御。
VPN（仮想プライベートネットワーク）: 安全なリモートアクセスを提供。
SDN（Software-Defined Networking）: ネットワークの柔軟な管理と制御。
IoTプロトコル: MQTT、CoAPなどの軽量プロトコル。
SNMP（Simple Network Management Protocol）: ネットワークデバイスの管理。
ネットワークトラフィック分析: パフォーマンスとセキュリティの最適化。
ネットワークオーケストレーション: 自動化された設定と管理。
AIによるトラフィック最適化: パフォーマンスの向上と障害予測。
マイクロセグメンテーション: ネットワーク内部の細かなアクセス制御。
『コンピュータネットワーク』 アンドリュー・S・タネンバウム著
『ネットワークはなぜつながるのか』 戸根勤著
Coursera: 「コンピュータネットワーク」、「ネットワークセキュリティ」コース
edX: 「Computer Networking」、「Cybersecurity Fundamentals」
IETF（Internet Engineering Task Force）: ietf.org
IEEE Communications Society: comsoc.org
W3C（World Wide Web Consortium）: w3.org
（SQLを渡して）「このクエリを高速化するとしたらどうしますか」
「とあるバックエンドの負荷テストを任されたとするとまず何をしますか」
「モバイルアプリで使える投票システムの開発を任されました。技術構成とおおまかな設計を考えてください。スピード重視のパターンと機能拡張重視のパターンで考えてください。」
「検索エンジンが大量のデータから高速に検索できている仕組みを簡単に説明してください」
（インタビュアーの得意分野のコードを渡して）「このコードは不具合があります。不具合を修正してください。」
クリックデータの集計において、毎回全データに対して集計SQLを実行すると時間がかかりすぎ、一方でバッチ処理で集計結果を保存すると、その後に発生したクリックをリアルタイムで反映できないという問題があります。この課題を解決するためには、以下の方法を検討すると効果的です。
---
---
---
### **3. データウェアハウスとマテリアライズドビューの利用**
---
---
### **5. キャッシュとインメモリデータグリッドの使用**
---
---
---
---
### **まとめと提案**
---
1. **要件の明確化**: リアルタイム性の程度、データ量、システムリソースなどを考慮して要件を定めます。
2. **プロトタイプの構築**: 小規模なデータでインクリメンタル集計やストリーミング処理のプロトタイプを作成し、性能を評価します。
3. **システムの実装**: 選定した方法とツールを用いて、実際のシステムを構築します。
4. **モニタリングと最適化**: システムのパフォーマンスをモニタリングし、必要に応じて最適化やスケールアップを行います。
---
---
ご質問の課題に対して、リアルタイム性とパフォーマンスを両立する方法として、インクリメンタル集計やストリーミング処理の導入を強くお勧めします。これにより、新しいクリックデータを即座に集計結果に反映しつつ、全データに対する集計処理の負荷を大幅に削減できます。
IT土方です。ゲーム開発を仕事としたことはないけど、だいたい同世代っぽいので反応します。
ゲームエンジンに相当する根っこの部分を実装するチャンスがなくなっちゃったって話、似た話題はITだと大体どの分野でもあるとは思いますね。
たとえば昔はCOBOLで自前でデータ操作してたけど今はデータベース（RDBMS）使うよね、とか。
携帯の新端末が出るたび何百万行っていうコード量のOS開発してたけど今はAndroidになっちゃったね、とか。
それを寂しいとか退屈とか感じる理屈はわかるけど、でも自分はそこにあまりネガティブな感情は無いんですよね。
こっちはこっちでプライド持ってやってるけど、とはいえ究極的には自分の作ってるソフトなんて全然つまんねえからね（ゲームと比べると）。
「生産性向上」って言葉にしたらみなさん鼻で笑いますけども、でもOracleやMySQLがやってることを自前で実装しろっていわれたら冗談じゃないわけですよ。
まあ実装はなんとかできるかもしれないけれども、その自前のトランザクション管理がバグって客先環境のデータ壊れちゃってみたいな運用まで考えるとね。。。
そのあたりの根っこの部分をまだ「買って終わり」になってないのは組み込み屋さんだと思う。車載OSとか。
理論上めちゃくちゃブラックなはずなんだけど、あまり話が聞こえてこないんだよね。どこも内製してて転職市場に流れないからなのかな？
自分が子供のころはPCとかマイコンって「ゲームを作ろう」から始まったけど（ベーマガ的な）、
今の子ってMincraftみたいなブロック組み合わせてLegoマインドストームみたいなロボット制御するのが初手だったりするから、生産性向上ヤバイ
うまくまとまらんけど、
ユーザー企業と言っても、総合商社とか、自動車系とか有名すぎるところはダメ。
不動産、サービス、メーカー。エンジニアを持たずにITの仕事の大半をコントラクターにやらせてるところがいい。
こういうところはたくさんある。当たれば上場企業にも入れる。
だいたい社内のIT部門がコントラクターの管理をしていて、IT部門の人ができるのはSQLぐらい。
コントラクターより社員エンジニアがやってくれたほうが安いし、信頼できる。
ということで、
「AWSみて。は?クラウド初めてなの?まあいいや。とりあえずググってやって」
「Pytyonできる?ちょっとできるんだね。クラスってなんだかわかるかい?よし、じゃあこのバッチ作って。」
「SQLかけるね?じゃあデータベース見てよ、最近なんか知らんけど止まるんだよ。え?どうやって見たらいいかって?
こんな感じでボンボン仕事くれる。上場企業に入れればホワイト確定。
採用されるわけねーだろって?
自分で学習してエンジニアになろうとしています。学習は完了しました。雇ってください」
と。
まあやる気ありそうだったし、希望給与も大したことなかった。上司と一緒にそいつを面接してこう言った。
「勉強するチャンスはあげます。こちらも教えます。でも仕事ができるようになるかどうかはあなた次第です。
仕事ができるようにならなかったら、あなたのやりたい仕事は回しませんよ?」
と言ったら。
で、面接通した。
(でも「バックグラウンドチェックだしたくない」と本人が行ったので辞退された。
うーん、前職で犯罪を犯した、とかでなければ雇いたかったが・・・
チェックで営業としての適性なんぞ見てもしょうがないし・・・)
ということで「フリーでやってますが限界なので正社員になりたいです」と受けまくればいいと思う。
ウエブディレクター、社内SE、何でもいい。ITに関われそうなら。
面接で「え、マジ?コード書けるの?じゃあこのポジションでもいいかな?」とかなるはず
言語とは、特定のルールに従って情報を伝えるためのシステムです。
CSSは、ウェブページのスタイルを定義するための特定のルールセットを持ち、それに従って情報を伝えます。したがって、CSSも言語の一種です。
CSSは汎用プログラミング言語（例：JavaScriptやPython）とは異なり、特定の目的（スタイルの定義）のために設計されています。
Turing Completeでない言語も言語として認識される例として、HTMLやSQLも挙げられます。
CSSも同様に、特定の目的を果たすためのスタイルシート言語です。
世界中のウェブ標準を推進するW3C（World Wide Web Consortium）は、CSSを正式な言語として認識し、仕様を策定しています。
たとえば ↓
https://www.launchexcel.com/what-jobs-use-excel/
https://www.fdmgroup.com/news-insights/advanced-excel-skills
ジャップランドで起こりがちなことはアメリカでは無いのかAIちゃんに尋ねてみたらこう言ってたよ
ワイ： 質問: 2024年において、アメリカの大企業および中小企業の間で、より一般的なデータ管理の方法はなんですか？ 検索して最新のトレンドを教えてください。 - 方法A:内部データベースからCSVファイルとしてデータをダウンロードし、Excelで修正してから、
ETLツール（例：Informatica PowerCenter、Talend Open Studio）、BIツール（例：Tableau Prep、Microsoft Power Query）、
または他のデータベース（例：OracleDB）などの他のシステムにインポートする。 - 方法B:Excelのステップをスキップし、内部データベースを他のシステムに直接接続する。 - 方法C:レガシーシステムや複雑なシステムには方法Aを使用し、その他のシステムには方法Bを使用する。状況やシステム要件に応じて使い分ける。 質問のポイント: - 大企業におけるExcelの使用:大企業はデータクリーニングのためにExcelを使用するのを完全にやめましたか？それとも、古いメインフレームシステム、ERPシステム、または特定の業務プロセスの問題のためにまだ使用されていますか？ - 方法A、B、Cのシナリオ:各方法の具体的なシナリオと製品名を教えてください。 - 2024年におけるCSVファイルのダウンロード:2024年現在、ETL/BIツールやクラウドベースのDWHを利用できないどころか、Oracle Gatewayなどの接続手段も利用できないデータベースの使用は完全になくなりましたか？
もしそのようなデータベースが2024年にもまだ存在する場合、直接的なデータ連携が困難なため、CSVファイルでのデータ抽出が唯一の方法となることがあります。
企業は膨大なコストがかかるために移行を延期していますか？それともすでに段階的に対応していますか？ - Excelを使い続ける理由: 内部データベースを他のシステムに直接接続した方がシンプルなのに、なぜ一部の企業はデータクリーニングのためにExcelを使い続けているのですか？
↓
2024年には、大企業の間でメソッドB（直接接続）へのシフトが顕著になっています。しかし、特定のシナリオに応じてメソッドC（ハイブリッドアプローチ）も採用されています。中小企業においても、直接接続の利便性と効率性が認識され、その採用が徐々に増加しています。しかし、リソースとコストの制約により、Excelを使用したデータクリーニングやハイブリッドアプローチが依然として一般的です。
使用状況: この方法は、中小企業、レガシーシステム、複雑なデータ構造を含むシナリオで依然として一般的です。Excelはその柔軟性と使いやすさから、データ操作のための多用途ツールとして広く使用されています。
シナリオ:
製品:
具体的なシナリオ:
使用状況: この方法は、大企業や技術に精通した中小企業の間でますます一般的になっています。直接接続を利用することで、データワークフローが効率化され、手動エラーが減少します。
シナリオ:
製品:
具体的なシナリオ:
使用状況: 多くの企業が、レガシーシステムや複雑なシステムにはメソッドAを、その他のシステムにはメソッドBを使用するハイブリッドアプローチを採用しています。この柔軟性により、既存の制約と近代化の努力をバランスさせることができます。
シナリオ:
製品:
具体的なシナリオ:
データ管理ツールの進歩にもかかわらず、Excelは大企業におけるデータクリーニングと操作のために広く使用されています。これは主に以下の理由によります：
ETL/BIツールやクラウドベースのDWHと直接統合できないシステムに対して、データをCSVファイルとしてダウンロードすることは依然として一般的です。企業は高コストと複雑さのために移行を遅らせることが多く、段階的に対処しています。
しかし、直接接続はより効率的で広く採用されており、長期的にはデータ管理におけるExcelへの依存が減少すると予想されます。
クラウドベースのデータ統合ソリューションの台頭により、データ収集、クリーニング、統合がAI/ML技術によって自動化され、手動作業が減少し、データの一貫性と精度が向上しています。AI/MLアルゴリズムは、異常検出、欠損値の補完、パターン認識などのタスクを効率的に処理し、データ品質を向上させます。リアルタイムデータ分析の利点が明らかになるにつれ、直接接続の採用が増加し、より迅速かつ正確なビジネス意思決定が可能になります。
データセキュリティ、コンプライアンス、およびデータガバナンスの重要性が増すにつれ、このトレンドは続くと予想されます。
おどれ、何得意げに語っとんじゃ！
弱小生保で100万件のデータ持っとるとか、多い言うんか少ない言うんか、どっちなんじゃ？
そんなもんちまちま見んでも、パッと見つかるわけないいう話じゃろ。ほいじゃけぇ、結局大したことねぇじゃん。
そんなん、当たり前じゃが。もっと賢くやれや、バカかおどれは。
目立ちたくてしょうがねぇんか。そりゃ見つかるに決まっとるわ。
そんなん、運が良かったんじゃろうが、もっと有意義なこと考えろや。
ほれから、DB見るのにハードル高い言うとるけど、おどれの弱小生保やけぇ緩いんじゃろうが。
SQLの履歴だって、確認せんと自由に見れるってか？そんなん管理が甘いだけじゃけぇ。
最後に一言言わしてもろうちゃるけど、そんな漫才みたいな話してる暇があったら、仕事に集中せえや！
ワイはもう、この話飽きたけぇ、終わりじゃボケ。
しったかが適当こいてもこうはならんだろってくらいはちゃめちゃ
最高
ハッシュ化してるから～とか言ってるけどあれは理想であって現実じゃないんよ
その手の業界で働いたらわかる
そうなってないところなんて山ほどある
特に企業相手だと一般ユーザーとは違うレベルで丁寧なサポートが必要になる
本番でそんなのいらんだろって思うレベルで全部ログを全部出してたりする
通信ログでサーバーとクライアントのやりとりを全部保持してたりするし中にはパスワードとかが入ってることだってある
そもそもハッシュ化せず生で保存していて、画面で今のパスワードが確認できる必要があるシステムだってある
以前見たものではログインできないの調査依頼に「DBにはabcというパスワードが保存されてましたがユーザーはABCというパスワードで試行してました」とかもあった
世の中そんなもんよ
安心せずに変えておいたほうがいい
ニコニコ自体はウェブ系のところである程度しっかりしてるのかなって思うこともあるけど、カドカワ関係してるし
