「ファイルシステム」を含む日記 RSS

はてなキーワード: ファイルシステムとは

2023-11-02

anond:20231102103303

OSマシンを一体で開発するのはいいんですけどそれなら開発環境ちゃんと一体で開発して

Xcodeかいゴミカスうんちをまともにファイルシステムキャッシュが扱えるちゃんとしたツールに作り直してくれませんかね

2023-10-26

Xcodeかいうごごみごみごみクズクズクズクズかすかすかすかすうんちうんちを出している会社製品プライベート絶対使いたくない

キャッシュファイルシステムもまともに扱えないビルドもロクにできないゴミ使用強制するな

2023-06-20

anond:20230617130920

だめじゃあ。

今またブルスクKERNEL DATA INPAGE ERROR だけど、結局のところSSDがビジーで応答を無くしたために

ページファイルが読めなくて・・というわけなんだろうなこれ。

しかSSDがビジーになる原因が特定できない。ここ最近、ずっとタスクマネージャーを画面の片隅に置いてにらめっこしているが

フリーズの間際に最後にチラ見できた限りでは System が少しディスクを使っていたが、これが重大な負荷をかけているとは思えない。

もう分からない。。。

そういえば、だいたいブルスクが出る時間Bing Wallpaper が壁紙を交換する時間が一致してる気がする。

以前は夕方壁紙が交換されてた気がするが、最近は確かにこのあたりの時間だ。

ずっと前から Bing Wallpaper が壁紙を交換するタイミングで、マウスが少しカクついてたりするのは気になってた。

壁紙の交換は、弱った SSD に対しては負荷の高い作業なんだろうか?

熱のせいで不正終了を繰り返した結果、ファイルシステムが傷んじゃって、壁紙交換程度でも無用な負荷がかかっちゃうのか。

どんなアプリでも、このよわよわ SSD をがっつり使おうとすると妙な負荷がかかる可能性はあるんだろうかね。

Dell Data Vault も、まあユーザー利益の見えづらいよく分からんアプリとは言え、ブルスク犯として糾弾するのはちょっと安直だったかな。

もうちょっとだけ知見を貯めた後で SSD換装するんじゃ。

追記:やっぱり、ちょっとPC放置してると Antimalware Service Executable がSSDをまさぐるんだけど

少しの間、マウスが応答しなかった。SSD が通常の負荷に対して弱くなってるんだろうなあ。

追記2:本日21日も朝からBSoD

転んでもタダでは起きたくないというか、SSDを交換する前に、何かこう完璧で究極の知見を得てから

「よし、次のSSD運用する時にはこれに気を付ければいいな!」みたいな何かが欲しいんだが。

難しい。

そんな絶賛ハードウェアトラブル中にもかかわらず、メモリを16G追加しちゃったwアホかーw

追記3:

ちなみに Bing Wallpaper は完全にシロ。壁紙更新する時間ログイン直後だが、BSoD になるのはその1時間以上後。

さてさて、ここ連日 UNEXPECTED STORE EXCEPTION か CRITICAL PROCESS DIED の BSoD が「毎日・朝に・1回だけ」発生。

今朝はようやく、SSDに大きな負荷がかかった直後、まだタスクマネージャーが応答する状態で、諸々と観察する事ができた。

しかタスクマネージャー確認した限りでは、何らかのプロセスSSDに負荷をかけているようには見えなかった。

タスクスケジューラーログをとってみたところ、BSoDの直前に動いていたタスクWindows Error Rporting/QueueReporting とのこと。

で、このタスク自身は無事終了。

タスクからして、エラー情報キューイングしてるのかな。まさかこの後、実際に送信する時にSSDに負荷がかかってる?

このタスクというかサービスを止めてみるとどうなるんだろう?

とはいえもちろん、普通SSDであれば難なくこなす作業であり、弱っている(と思われる)特別状態にあるSSDにだけ荷が重いんだろう。

たとえ何が起きているのかを正確に突き止めたとしても、価値ある情報にはならない気がしてきた。

週末はいよいよ新しいSSDに交換だ。

追記4:

やっぱり、Windows Error Reporting Service を止めたら、ここ最近毎日朝に発生していた BSoD今日は発生しなかった。

通常の状態であれば、Windows Error Reporting なんて大した負荷じゃない。

でもその作業中に、弱ったSSDのどこかのツボを突いちゃってるんだろうかな。これ以上の深入りは不要だろうか。

しかしそういえばちょっと昔、おそらく Windows Error Reporting が 30G 以上のファイル送信したらしく

プロバイダから警告が来た事があった。

それまでは長期出張のためにポケットWi-Fiレンタルしており、容量は実用上は十分だったが

それでも万一を考え「従量制課金接続」の設定をオンにし、通信容量を節約していた。

そのおかげかは分からないが、Windows Error Reporting も情報送信していなかったらしい。

そして家に帰り有線接続となった途端、Windows Error Reporting が大量の情報送信したらしい。

まりに溜まったエラー情報は、やっぱり何かしらの負荷になるはずだ。

Windows品質向上に協力するのは別にやぶさかではないんだが、どんだけのエラー情報が溜まっているのか

それをコントロールする事は出来るんだろうか?

ディスククリーンアップ」で出来るらしい。といっても3Mしか溜まっておらず、クリーンアップは短時間で終了。

追記5:

Windows Error Reporting Service は動かしていないが、それでも今日SSDに妙な負荷がかかったようで1分ほどフリーズBSoD には至らなかった。

タスクスケジューラーログ有効にしてあるが、少なくともその5分前までに走ったタスクは無い。

結局「SSDが弱っているから、何が起きても不思議じゃない」という幕引きになるのか?

追記6:

随分前にDiagnostic Policy Serviceのファイル操作で異様に長い時間がかかる事を突き止めていた。もちろん、根本原因はこの傷んだSSDのせい。

なので、このサービスもずっと停めてある。

おそらくこのおかげで、30秒くらいフリーズの後にBSoDが出る事は無くなった。

しか今日(7/10)もやはり UNEXPECTED STORE STATEBSoD が発生。今は(午前中である事は変わりないが)ほぼ予兆無く突然発生する印象だ。

そのため、何か起きそうな時にリソースモニターで状況を見てみたり、スリープを試みたりする余裕が無い。

もうちょっと何かこう、面白いものが見られないかなーと思うんだけどなあ。

2023-05-23

SanDiskポータブルSSDExtreme V2」および「Extreme Pro V2」を使用しているユーザーからSSDデータが突然消え、場合によってはSSDのものが利用不可能になるという不具合が報告されています

https://gigazine.net/news/20230522-sandisk-ssd-mount-error/

2台の2TB Extreme Proのドライブが半分ほど埋まった段階で読み取りと書き込みエラーが多発し、SSD接続を解除して再度マウントすると、ファイルシステムを含めてドライブが完全に消去されてしまったそうです。

2023-04-26

TBSニュースサイトヤバない?(追記)

はてぶの上位にちょいちょい載ってるTBS系のニュースサイト、newsdig.tbs.co.jpについて。

https://b.hatena.ne.jp/site/newsdig.tbs.co.jp/


何がヤバいかって、くっそ巨大なCookie(LocalStorageとかも含むのか知らんけど)をしこたま保存してんのよ。

気付いた時点では640MB占有してた。別に巡回チェックしてるわけでもなく、話題に挙がってたら見てみることもある程度のアクセス頻度なのだが。

Chromeユーザーアドレスバーに↓コピペして確認してみてくれ。

chrome://settings/content/all?searchSubpage=tbs.co.jp&search=cookie


試しにCookie消去してから、ただ開いただけでサイト上で何の遷移もしてないのに279MBも保存された。


次点ではpresident.jpが553MB消費してた。(こっちも話題に挙がってたら見てみることもある程度。)

(その次にはGoogleが数百MBオーダーで消費してたけど、これはGoogleドライブのオフラインキャッシュとか考えれば妥当。他に数百MBオーダーで消費してるサイトは無かった。)


多くのサイトは数バイトKBオーダーなのに、こいつら何保存してんのか不気味すぎる。


(追記)

各自環境消費量を教えてくれた方々や有意義コメントを下さった方々ありがとうございます

始めにお断りしておくべきだったかもしれませんが、自分ソフトウェア系ではありますが、Webエンジニアではありません。認識が浅かったり、古かったり、そもそも間違ってる可能性もあります

CookieじゃなくてCacheStorageやんけと突っ込みもいただいていますが、「LocalStorageとかも含むのか知らんけど」と書いておいた意図は(どのような技術要素かはどうでもよくて)ユーザー端末に保存されるデータボリュームについての話を意図していますChromeCookie絡みの設定画面での表示なのでこのような書き方をしましたが、解り難かったのならごめんなさいね冗長ながらも認識齟齬を招かないように平易な表現で書くと、「ユーザの明示的な承諾なくユーザー端末に保存されるデータデカイんだが」って話です。


で、各自環境で「ユーザの明示的な承諾なくユーザー端末に保存されるデータ」が数GBオーダーにも及ぶという事例が少なからず報告されて、自分環境だけではない事象だということが判りました。

さらtbspresident以外にもいくつかのサイトが同様に肥大化していることも知れました。


結果的にはid:hinaloeさんの解説が解りやすかったです。ありがとうございます

https://blog.hinaloe.net/2023/04/27/chrome-too-large-cache-storage/

CacheStorageがChromeの表示と、実際のディスク消費量と一致していないことが原因である理解しました。

追試してみたところ私の環境ではChrome開発者ツールでの表示が74MBで実際のWindowsファイルシステム上は33.9MB消費されました。

実際のストレージの消費は表示値の半分程度ということになり、id:hinaloeさんの1.4GBに対して5MBのように実際の約0.3%という結果とは大きく乖離がありますので、各環境で大きく違いそうな気がします。

気になる方は↓を各自確認いただくとよいかと思います

%USERPROFILE%\AppData\Local\Google\Chrome\User Data\Default\Service Worker\CacheStorage

配下のどのディレクトリ対象サイトのものなのか一意に特定する情報が無さそうなので、Chrome開発者ツールApplicationタブの左上の方にあるService Workersを選択すると、右側にReceived YYYY/M/D HH:MM:SSみたいな表記が有るので当該時刻に変更されたタイムスタンプを持つディレクトリ特定するような感じになるかと思います


ついでに開発者ツールを触っていて気付いたベースで書いておくと、

といった感じで、ユーザが見たものキャッシュしているのではなくて、先読みしてるような挙動に思えます

ロード時間短縮でUX改善を狙ったものかもしれませんが、個人的にはそれを1か月も保持し続けるのは過剰な感じがしますが世の中的にはどうなんでしょうね?

あと、スマホ場合挙動どうなってんすかね?


(追記2)

hinaloe氏の投稿で紹介されているStackOverflowの投稿やそのリンク先のChromiumバグレポートのやり取りまで目を通してみると、特に理由説明なく平均7MBがパディングされると書かれた投稿があります

https://stackoverflow.com/questions/39109789/what-limitations-apply-to-opaque-responses

https://bugs.chromium.org/p/chromium/issues/detail?id=796060


該当するソースコードは↓のようです。

https://source.chromium.org/chromium/chromium/src/+/main:content/browser/cache_storage/cache_storage_cache.cc

この中で、ComputeRandomResponsePadding()という関数を呼び出しておりその実体は↓のようです。

https://source.chromium.org/chromium/chromium/src/+/refs/heads/main:storage/common/quota/padding_key.cc;drc=332f92aab4a32607f7813ac1a824f6ff0d86c369;l=47


この関数符号無し64bit整数乱数(つまり、0~18446744073709551615のいずれか)を14431 * 1024 = 14777344で割った剰余(つまり、0~14777343≒約14MiB)を返却します。

これがパディング値として採用されることになりますが、乱数正規分布している前提で、平均すると(最大値14MiBの半分で)約7MBになるよねってことだと思われます


故にChromeの設定画面から確認できるCookie等(LocalStorageとかCacheStorageとか諸々含む)のサイズは、概算してCacheStorageに存在するファイル数×平均7MBが過大計上されていることになりそうです。

これでChromeの設定画面から確認できるサイズと、実際のファイルシステム上で消費されているサイズの違いは合理的説明できますが、TBS等の特定サイトだけデカみえ理由説明にはならないのです。

まり、以下のような可能性がありそうです。

  1. Chromeの設定画面から確認できるサイズほど巨大ではないが(他のサイト比較して)相対的デカイ?
  2. ComputeRandomResponsePadding()の結果が顕著にデカくなる乱数が生成される個別要因がある?
  3. それ以外

なんなんすかね?

2023-02-19

anond:20230218213748

ファイルシステムが破損したパーティションを含むストレージをまるまるddrescueした時に、イメージマウントもリペアもできず対処策もロクにヒットしなくて四苦八苦したのは、そういう考えのユーザーが「簡単問題なんだから記録なんか残さなくてもええやろ」とスルーしたせいだったと見える

2023-02-18

LinuxUSBドライブを使うなってことか?

デフォルト対応しているファイルシステムext4あるいはext3、あとは今やレガシー過ぎるFAT32くらい
というディストリビューションが未だに存在するのは勘弁して欲しい。

USBメモリを介してWindowsmacデータをやり取りできないんで、面倒なことこの上ない。

あれか、クラウド経由かscpで取りに来いってか?そんな事できない環境いっぱいあるわけで(特にサーバ用途だと)。

それだけのためにデスクトップLinuxを用意するのも絶対にありえないし。

こういう細かいところの使い勝手が悪いせいでLinuxって損してると思うわ。

2023-01-26

ある種の詭弁を言うならばファイルシステムデータベース一種

とある弁護士データベース等を使ってないみたいな言い訳をしているようなので。

詭弁表現したのは今日データベース表現されると一般的にはリレーショナルデータベースシステム階層データベースシステムを指すが、データベースという語義を原意的に広く解釈するとNT File SystemやApple File System、Extended File Systemなどのファイルシステムデータベースシステム一種として捉えることが可能ではある。

可能ではあるとするのは前述の通り、今日情報技術者等の一般的認識ではMySQLMariaDBNoSQLなどのデータベースシステム解釈され、ファイルシステムデータベースシステムは別概念として捉えることが常識的判断であり感性なのだ

ただ、現代社会データベースシステムを一切利用せずに取引するのはおおよそ不可能であることはデータベースシステムを熟知している者であればあるほど痛感するものであり、詭弁として挙げた通りにデータベースシステムという語義を途方もなく広く解釈するとファイルシステムデータベースシステムなので、高度な汎用計算機たるコンピュータスマートフォン活用してしまうと我々、そして件の弁護士データベースシステムを利用していると言わざる得ないのだ。

ちなみにEメールクライアントマルチメディアソフトiTunesなどへデータの送受信や読み書きするだけでデータベースと相当されるものが生成される。Appleなどは情報技術者界隈でデータベースシステム一新したがることへ悪い意味での定評があり、一般的ユーザーであってもiTunesライブラリが壊れるなどと言った経験があるだろう。

筆者は法律専門家ではないためシステム自動的に生成するデータベースユーザー故意に作ったデータベースではないためユーザーデータベース等を利用していないとする主張が妥当なのかどうなのか判定できない。

付け加えるなら筆者の学んだことや経験などを考慮すると、他者からファイルシステムデータベースシステム一種と主張されれば、100歩譲って言わんとすることは理解できるもの違和感が拭えなくファイルシステムデータベースシステムは違うだろと言い返したくなる。そういう意味詭弁なのだ

2022-12-04

日本語IT用語の後進性

中国系会社エンジニアとして働いている。

気がついたことがあって、中国語ではかなり専門的なIT用語漢字で彼ら独自訳語を作って使っている

インストール:安装 AWS S3とかaliyun OSSバケット:桶 とか、

方や我が国IT用語英語日本語の音素で無理やり発音したもの(いわゆるカタカナ英語)を借用しているため意味不明呪文になってしまっている。

別に用語として定着して意味が通じればそれでいいじゃないかと思うかもしれないけど、意味不明呪文をそのまま使わないといけないから原義へアクセスすることが不可能になっている。

例えばinstall が in + stall で IT文脈で使われる前は「家畜を囲いの中に入れたり機械を据え付けること」を指していて、それがソフトウェア構成ファイルを決められたファイルシステムの中の決められた場所に入れてコンピューター上で使えるようにすることを意味するようになった。

インストールインストロールと言い間違えるおっさんネタになったりすることがこのことの弊害を端的によく表していると思う。

中国語熟語の何割かは日本明治時代に、西洋概念翻訳するために作った熟語と言われるが、

IT用語に関しては今後中国製熟語を輸入する時代が来るかもしれない。

2022-12-01

コンピューターサイエンスって何だよ?

最近コンピューターサイエンスプログラマー必要か否かみたいな話が上がっているが、そもそもコンピューターサイエンスって何だよ。どこまでの範囲をさしてんの?

って思ってググってみたらちゃん定義されてた。

ググって出てきた情報を整理しただけなので詳しい人、補足・訂正よろしく


情報

CS2013

https://www.acm.org/binaries/content/assets/education/cs2013_web_final.pdf

CS2013はACM/IEEE-CSによるカリキュラム標準。

ACM(計算機協会)はコンピュータ分野全般国際学会、IEEE-CSIEEE(米国電気電子学会)の中にあるテクニカルソサエティ


J07-CS

https://www.ipsj.or.jp/12kyoiku/J07/20090407/J07_Report-200902/4/J07-CS_report-20090120.pdf

J07-CS一般社団法人情報処理学会がCC2001CSベースアレンジを加えたカリキュラム標準。今はCS2013を反映したJ17-CSがあるらしいけどその辺は良く分からん

IPA共通キャリアスキルフレームワークとの対応表もあり。

https://www.ipa.go.jp/files/000024060.pdf


知識体系

J07ーCSから抜粋CS2013と比較するとナレッジエリアがあったり無かったり。

KAナレッジエリアKUナレッジユニットアユニット最低履修時間
DS離散構造DS1関数, 関係, 集合6
DS離散構造DS2論理6
DS離散構造DS3グラフ4
DS離散構造DS4証明技法8
DS離散構造DS5数え上げと離散確率の基礎7
DS離散構造DS6オートマトン正規表現6
DS離散構造DS7計算論概論4
DS離散構造DS8計算
PFプログラミングの基礎PF1プログラミング基本的構成要素9
PFプログラミングの基礎PF2アルゴリズム問題解決6
PFプログラミングの基礎PF3基本データ構造14
PFプログラミングの基礎PF4再起5
PFプログラミングの基礎PF5イベント駆動プログラミング4
ALアルゴリズムの基礎AL1アルゴリズムの解析の基礎4
ALアルゴリズムの基礎AL2アルゴリズム設計手法8
ALアルゴリズムの基礎AL3基本アルゴリズム8
ALアルゴリズムの基礎AL4アルゴリズムの高度な解析
ALアルゴリズムの基礎AL5高度なアルゴリズム設計
ALアルゴリズムの基礎AL6計算クラスPとNP
ALアルゴリズムの基礎AL7暗号アルゴリズム
ALアルゴリズムの基礎AL8幾何アルゴリズム
ALアルゴリズムの基礎AL9データ分析アルゴリズム
ALアルゴリズムの基礎AL10並列・分散アルゴリズム
ARアーキテクチャ構成AR1論理回路と論理システム6
ARアーキテクチャ構成AR2データマシンレベルでの表現2
ARアーキテクチャ構成AR3アセンブリレベルマシン構成7
ARアーキテクチャ構成AR4メモリシステム構成アーキテクチャ5
ARアーキテクチャ構成AR5インタフェース通信3
ARアーキテクチャ構成AR6機能構成7
ARアーキテクチャ構成AR7並列処理と様々なアーキテクチャ2
ARアーキテクチャ構成AR8性能の向上
ARアーキテクチャ構成AR9ネットワーク分散システムのためのアーキテクチャ
OSオペレーティングシステムOS1オペレーティングシステム概要1
OSオペレーティングシステムOS2利用者から見たオペレーティングシステム1
OSオペレーティングシステムOS3オペレーティングシステム原理1
OSオペレーティングシステムOS4プロセス構造スケジューリング3
OSオペレーティングシステムOS5並行性4
OSオペレーティングシステムOS6メモリ管理4
OSオペレーティングシステムOS7入出力デバイス管理と入出力
OSオペレーティングシステムOS8ファイルシステム2
OSオペレーティングシステムOS9認証アクセス制御1
OSオペレーティングシステムOS10セキュリティと高信頼化
OSオペレーティングシステムOS11リアルタイムシステム組込みシステム
OSオペレーティングシステムOS12並列分散処理のためのオペレーティングシステム機能
OSオペレーティングシステムOS13オペレーティングシステム構成
OSオペレーティングシステムOS14システム性能評価
NCネットワークコンピューティングNC1ネットワークコンピューティング入門2
NCネットワークコンピューティングNC2通信ネットワーク接続7
NCネットワークコンピューティングNC3ネットワークセキュリティ2
NCネットワークコンピューティングNC4クライアントサーバコンピューティングの例としてのウェブ3
NCネットワークコンピューティングNC5分散アプリケーションの構築
NCネットワークコンピューティングNC6ネットワーク管理
NCネットワークコンピューティングNC7ワイヤレスおよびモバイルコンピューティング
NCネットワークコンピューティングNC8マルチメディア情報配信システム
PLプログラミング言語PL1プログラミング言語概要2
PLプログラミング言語PL2仮想計算機1
PLプログラミング言語PL3言語翻訳入門2
PLプログラミング言語PL4宣言と型3
PLプログラミング言語PL5抽象化メカニズム3
PLプログラミング言語PL6オブジェクト指向言語6
PLプログラミング言語PL7関数言語
PLプログラミング言語PL8論理言語
PLプログラミング言語PL9スクリプト言語
PLプログラミング言語PL10言語翻訳システム
PLプログラミング言語PL11システム
PLプログラミング言語PL12ブログラミング言語意味論
PLプログラミング言語PL13プログラミング言語設計
HCヒューマンコンピュータインタラクションHC1ヒューマンコンピュータインタラクションの基礎6
HCヒューマンコンピュータインタラクションHC2簡単グラフィカルユーザインタフェースの構築2
HCヒューマンコンピュータインタラクションHC3人間中心のソフトウェア評価
HCヒューマンコンピュータインタラクションHC4人間中心のソフトウェア開発
HCヒューマンコンピュータインタラクションHC5グラフィカルユーザインタフェース設計
HCヒューマンコンピュータインタラクションHC6グラフィカルユーザインタフェースプログラミング
HCヒューマンコンピュータインタラクションHC7マルチメディアシステムのHCI 的側面
HCヒューマンコンピュータインタラクションHC8協同作業コミュニケーションのHCL的側面
MRマルチメディア表現MRI情報ディジタル表現2
MRマルチメディア表現MR2文字コード1
MRマルチメディア表現MR3標本化。 量子化圧縮原理アルゴリズム
MRマルチメディア表現MR4マルチメディア機器
MRマルチメディア表現MR5オーサリング
GVグラフィックスとビジュアルコンピューティングGV1グラフィックスにおける基礎技術2
GVグラフィックスとビジュアルコンピューティングGV2グラフィック・システム1
GVグラフィックスとビジュアルコンピューティングGV32次元画像の生成と加工
GVグラフィックスとビジュアルコンピューティングGV4モデリング
GVグラフィックスとビジュアルコンピューティングGV5レンダリング
GVグラフィックスとビジュアルコンピューティングGV6コンピュータアニメーション
GVグラフィックスとビジュアルコンピューティングGV7視覚
GVグラフィックスとビジュアルコンピューティングGV8仮想現実(VR)
GVグラフィックスとビジュアルコンピューティングGV9コンピュータビジョン
ISインテリジェントシステムIS1インテリジェントシステムの基本的問題3
ISインテリジェントシステムIS2探索および制約充足2
ISインテリジェントシステムIS3知識表現および推論
ISインテリジェントシステムIS4高度な探索
ISインテリジェントシステムIS5高度な知識表現と推論
ISインテリジェントシステムIS6エージェント
ISインテリジェントシステムIS7自然言語処理
ISインテリジェントシステムIS8機械学習ニューラルネット
ISインテリジェントシステムIS9プランニングシステム
ISインテリジェントシステムIS10ロボット工学
IM情報管理IMI情報モデルシステム2
IM情報管理IM2データベースシステム2
IM情報管理IM3データモデリング4
IM情報管理IM4関係データベース3
IM情報管理IM5データベース問合わせ3
IM情報管理IM6関係データベース設計データ操作
IM情報管理IM7トランザクション処理
IM情報管理IM8分散データベース
IM情報管理IM9データベース物理設計
IM情報管理IM10データマイニング
IM情報管理IM11情報格納と情報検索
IM情報管理IM12ハイパーテキストハイパーメディア
IM情報管理IM13マルチメディアデータベース
SP社会的視点情報倫理SP1コンピ

2022-11-30

ボクの使ったCS(ジジイの思い出話) anond:20221129085814

まぁ、下っ端プログラマには要らないだろうけど、いわゆるシステムエンジニアとかアーキテクトとか言われるレベル仕事するには、なるべく知っとかないといけないよね。

オレの場合は、大学はかろうじて理系一角だったけど、学問的にコンピュータサイエンスを学んだことはなくて、某IT会社でなかば業務上必要に迫られ、なかば趣味的な興味本位もありで、ちょっとずつ勉強した。

で、もう20年くらい前だし、すでに廃止されてる(と思う)ので、守秘義務違反とかの面倒なことにならなそうだと想定してぶっちゃけると、大手携帯会社ショップで各店舗独自プロモーション打ったりするためのWebシステムの開発に関わったことがある。

顧客の(および自分とこの)エライ人なんかにシステム設計根拠(この方式が最善なのか?もっと安く早くやれる方法はないのか?などなど)を常に問いかけられ、説明説得しなきゃならない。そこでコンピュータサイエンスに基づいて理路整然と話をすると、ちゃんと信頼してもらえるし、納得してカネ払ってもらえるw

そこで使ったのが、以下のような各種理論だ:



などなど... 自分史上最高に残業させられたこ仕事やってた年の年収は、900万円台おしくも1000万には届かなかったねぇw

 --追記--

コンピュータサイエンスがらみの思い出でもう一個面白い(とオレが思う)ネタがあるので、ついでに書いとこうw

これは、上で書いた携帯会社システムよりだいぶ前のことになるが、とあるグループウェアの開発に関わってたときメールFAXに向けて出力するドライバを書いたことがある。昔のことなのでオープンソースあんまり普及してないし、タダでお手軽に使えるライブラリが見つからなかったので、「車輪の再発明」っぽいけど自分でハフマン符号化によるデータ圧縮アルゴリズム勉強して作ったのだ。

Win32APIとか呼び出して、ビットマップテキストを描画させたとこからドットをちまちま数えて、白のドットがいくつ続いてたらこコード、黒がいくつ続いてたらあのコード...って可変長のビットパターンをつなぎ合わせてファイルに書き出す...みたいな。これが理論通りにうまいこと動作して、FAXから文書が出てきた時はとっても楽しかったw

2022-07-23

anond:20220722005048

OSというと、基本的ファイルシステムGUIないしCLIインターフェースネットワーク通信(はまだなくてもいいか?)、その下にあるハードウェア制御などが機能としては一般的ものになると思うけど、少なくとも今そこまで出来ているとは考えにくいな。

この辺見る限り、スマートコントラクトについては合っていそうだけど。

https://ethereum.org/ja/developers/docs/smart-contracts/

イーサリアムアドレスにあるということなので、これをメモリアドレスと見なしているのだと思うが、現在定義ではOSは上でハードウェア制御と書いたように基本的には単体の物理マシン上にインストールされるもの(仮想マシン場合ハードウェアを下のハイパーバイザがエミュレートしたりバイパスしたりするはず)なので、分散システムであるブロックチェーンとは相性が悪いんじゃないかな。

少なくとも、イーサリアムスマートコントラクト自分マシン上に持ってくるために、OSの下にネットワーク通信が出来る「何か」が存在する必要があるのでは?現在これはOSが担う機能なのだけど。

言ってることはなんとなく分からないでもないけど、少なくとも現時点で広く認知されている「OS」になるとはあまり思えないな。

新しい何かが生まれ可能性はあるのかもしれない、とは思うけど。

2022-07-18

UNIX 哲学」についていくつか

名著「UNIXという考え方 - UNIX哲学」は本当に名著なのか? 〜 著者のガンカーズは何者なのかとことん調べてみた - Qiita

この記事はよく調べてあるなぁと思う反面,事実関係の間違いも多く当時の空気感など欠けていると思う部分がいくつかある。事実関係に関しては追い切れないので参考文献を挙げるにとどめておくが,空気感のほうはいくつか書いておく。なお当該記事の「当時と今では状況が全然違うんだから安易に『UNIX 哲学』とかいうな」という主旨には大賛成である

参考文献

初期の UNIX歴史について興味がある向きには次の書籍お薦めする。

Peter H. Salus『A Quarter Century of UNIX』(1994, Addison-Wesley Publishing)

和訳の『UNIXの1/4世紀』(Peter H. Salus, QUIPU LLC 訳, 2000, アスキー) は絶版のうえ訳も微妙なので薦めづらいが,原書The Unix Heritage Society (tuhs) で PDF が無償公開されているので,英語が苦にならないのなら読んでみるといい。

また同じく tuhs で無償公開されている Don Libes and Sandy Ressler『Life with UNIX』(1989, Prentice Hall)を読めば80年代終りの UNIX の状況(XENIX についてもしっかり言及されている)や利用者目線での雰囲気もある程度判るだろう。

哲学

記事で一番気になるのが「哲学」という語の捉え方。この言葉の強さに引きずられているように読める。でもこれ,当時は設計基本的な考え方くらいの意味でわりとよく使われていた言葉なんだよね。たとえば米 BYTE 誌のアーカイブを “philosophy” で全文検索するとこんな感じ。

https://archive.org/details/byte-magazine?query=philosophy&sin=TXT&sort=date

ほぼ毎号のように出現していたのが判るだろう。

もっとも猫も杓子も「哲学」を振りかざしていたわけではないし,UNIX開発者たちが「哲学」の語を好んで使っていたのも間違いないように思う。傍証の一つが AT&T定期刊行物『The Bell System Technical Journal』の1978年7, 8月号だ。元記事言及されているマキルロイの Forword の初出がこれで,ネットのアーカイブから PDF が入手できる。

この号は二部構成になっていて第一部が Atlanta Fiber System に関する論文12本(全172ページ),第二部が UNIX に関する(Preface や Foreword を含む)論文22本(全416ページ)となっている。さて前述の PDFOCR されているので “philosophy” で全文検索してみると8箇所見つかる。これが見事に全部 UNIX論文なのだ。もちろん論文性質もページ数も違うからこれだけで確定的なことはいえないが「日常的に使っていたんだろうなぁ」という推測は成り立つだろう。じつはマキルロイ哲学とされている部分は “Style” であり “philosophy” の語は一切使われていないというのもちょっと面白いUNIX開発者たちがなぜ「哲学」という語を好んだか正確なところは判らないが,それまでにない新しい考え方に基づいた OS を開発しているという意識があれば,そういう言葉を選ぶのが自然時代だったことは間違いない。

UNIX認知され拡がっていく過程で「哲学」も知られるようになっていった。自分が好むものの良さを他人にも識ってもらいたい,あわよくば他人もそれを好むようになって欲しいという布教活動は今も昔を変らないわけで「哲学」はその便利なツールとなったわけだ。元記事ではガンカースの著作を「外部の人間が後から打ち立てた哲学」と表現しているが,そんなたいしたものではない。マキルロイ論文に影響を受けた布教のためのああい説教は到るところにあった。たとえば前掲の『Life with UNIX』にもしっかり Philosophy の項がある。また日本最初期の UNIX 解説本のひとつである村井純井上尚司・砂原秀樹『プロフェッショナル UNIX』(1986,アスキー)には冒頭次のような一節がある。

オペレーティングシステムは,コンピュータを使うものにとっての環境形成する基盤であるから,そのうえで生活する者の個性尊重し,より良い環境へと作り上げて行く課程を支援するような素材を提供するソフトウェアでなければならない。この主張こそが,UNIXオペレーティングシステムとしての個性ではないだろうか。

 

    プロフェッショナル UNIX村井純井上尚司・砂原秀樹,1986,アスキー)p 3.

「より良い環境へと作り上げて行く課程を支援するような素材を提供するソフトウェア」とはテキストを入出力フォーマットとする単機能コマンド群のことで,これらをパイプでつなげたりシェルスクリプトでまとめたりすることで「そのうえで生活する者の個性尊重し」た「より良い環境へと作り上げて行く」ということだ。こういった説教はありふれたものであった。たんにそれを「哲学」の語を用いて書籍にまとめたのが,たまたまガンカースだったというだけのことである

そしてじつは UNIX場合布教活動とはべつに「哲学」を広めなければならない切実な理由があった。これを説明するのは非常に面倒くさい。当時と今ではあまりにも環境が違うのだが,その違いが判らないと切実さが伝わらないからだ。マア頑張ってみよう。

UNIX の利用環境

UNIXPDP というミニコンピュータミニコン)上に開発された。このミニコンを使うためには専用の部屋に行く必要がある。その部屋は,もちろん場所によって違うわけだが,マアおおよそ学校教室くらいの大きさだ。長机が何列か並んでおり,そのうえにはブラウン管ディスプレイキーボードを備えた機器が等間隔に置かれている。壁際にはプリンタが何台かあるだろう。通っていた学校コンピュータ室などと呼ばれる部屋があったならそれを思い浮かべればだいたい合ってる。ただし置かれている機器コンピュータではなくコンピュータ接続するための端末装置ターミナル)だ。端末装置キーボードで打った文字コンピュータに送られコンピュータが表示した文字がそのディスプレイに表示される。現在 UnixOSCLI を使うときターミナルとか xterm という名のアプリケーションを用いるがこれらは端末装置エミュレータで,もともとは実体のある装置だったわけだ。

さてコンピュータ室にたいていは隣接するかたちでマシンルームなどと呼ばれる六畳くらいの部屋がある。窓ガラスで仕切られたこの部屋には箪笥洗濯機くらいの大きさの装置が何台か置かれている。これがコンピュータ本体だ。もっとコンピュータが何台もあるわけではない。この箪笥CPU でそっちの洗濯機ハードディスク,あの机に置かれているタイプライタ管理コンソールといった具合に何台かある装置全部で一台のコンピュータになる。どこが〝ミニ〟だと突っ込みたくなるかもしれないが「六畳で収まるなんて,なんてミニ!」という時代お話だ。

端末装置それぞれからUSB のご先祖様の)RS-232 という規格のアオダイショウみたいなケーブルが伸び,マシンルームに置かれたターミナルマルチプレクサと呼ばれるスーツケースに台数分のアオダイショウが刺さってコンピュータとの通信を行う。コンピュータと多数の端末装置を含めたこれら全体をサイトと呼び,root 権限を持って管理業務を行う人をシステム管理者あるいはスーパーユーザと呼んだ。

結構上手に説明できたと思うのだが雰囲気は伝わっただろうか。ここで重要なのは一台のコンピュータを数十人が一斉に使っていたという事実だ。洗濯機とかアオダイショウとかは,マアどうでもいい。

自由不安定OS

当時の UNIX評価一言で表すと〝自由不安定OS〟となる。メーカお仕着せではなく自分好みの「より良い環境」を作りあげる自由さらに他のメインフレームミニコンOS に比べると一般ユーザ権限でできることが圧倒的に多かった。そしてその代償が不安定さ。今では考えられないが UNIX のその不安定さゆえにプロOS ではないと考える向きは多かったし「でも UNIX ってすぐ落ちるじゃん」というのは UNIX アンチ定番ディスりだった。UNIX の落とし方,みたいな情報がなんとなく廻ってきたものだ。

こういった雰囲気を鮮やかに伝えてくれるのが,高野豊『root から / へのメッセージ』(1991,アスキー)だ。当時アスキーが発行していた雑誌UNIX MAGAZINE』に連載されていた氏のエッセイ1986年11月から1988年10月掲載分までをまとめた書籍である。著者の高野氏は勤務先の松下電器1980年ごろから UNIX サイトスーパーユーザを務めており,日本では最古参の一人である。この本の中で高野氏は繰返し UNIX自由さと不安定さに言及している。すこし長くなるが,その中の一つを引用しよう。

CPU は,システムにとって重要な共有資源であるが,この CPU実質的に停めてしまうことが UNIXはいとも簡単にできる。たとえば,cc コマンド10個くらい同時に走らせてみたらよい。VAX-11/780 といえども,同時に実行できるコンパイルはせいぜい3つか4つである。それ以上実行することも当然可能ではあるが,他に与える影響が無視できなくなる。つまり,てきめんに viカーソルが動かなくなる。あるいは,すこし大きめなディレクトリ上での ls コマンドの出力が表示されるまでに煙草を1本吸い終えてしまったり,タイムアウトログインが撥ねつけられたりといったバカげた現象が起きだすのである。こういった状態になると,UNIX破壊されたに等しい。真夜中,独りで VAX を占有して使っているのなら何をやろうとかまわない。しかし,20人30人と多数の人間が使っているとき勝手をやられると非常に困るのである当人仕事が遅れるのは自業自得だとしても,そのとばっちりで他のエディタまで止まってしまうと,もはやどの仕事も進行しなくなる。

ディスクについても同様なことがいえる。UNIX では,ファイルシステムを使いはたすまで大きなファイル自由に作ることができる。したがって,自分プロセスがいったいどのくらいの容量のファイルを作り出すのか見当もつけられないようなアマチュアが使うと悲惨なことになる。ディスクを使いはたすと,コンソールタイプライターにエラーメッセージが出力されるが,夜中にそれが発生して,コンソールタイプライターが一晩中エラーメッセージを打ち続け,朝マシンルームに行ってみると紙を一箱打ち尽くしてしまい,ピーピーと悲しげな声を上げて人を呼んでいた光景を私は何度も見てきた。こうなると,それをしでかした本人のプロセスは当然のこととしても,同じディスクで走っている他のプロセスも先に進めなくなってしまう。すこしでも負荷を夜間にまわそうとする善意は逆転してしまい,わずかでも仕事を先に進めようとする意図完璧に打ち砕かれてしまうのである

 

    root から / へのメッセージ高野豊,1991,アスキー)pp16-17.

そして,こうした不安定さが「哲学」を必要としたのだ。自分が利用しているサイトに「cc コマンド10個くらい同時に走らせ」たり「自分プロセスがいったいどのくらいの容量のファイルを作り出すのか見当もつけられないようなアマチュア」がいるとその累は自分にも及んでしまう。だからサイト利用者全員に UNIX設計基本的な考え方を理解してもらうことが,自分のために必要だった。UNIX伝道がより苛烈だった理由ひとつがここにあるのだ。

ミニコン UNIX終焉

ミニコン上で誕生した UNIX は 4.3BSD(1986)で最高潮を迎える。注意したいのはミニコン時代UNIX は Research UNIXCSRG BSD みたいな区別をせずにまとめて UNIX として扱われていたことだ。実際『プロフェッショナル UNIX』も『root から〜』も UNIX記述されてはいるが実際には BSD を扱っている。べつに当時の人が無知だったわけではない。なにしろ BSD を利用するためにはまず AT&T から UNIXライセンスを購入し,そのうえでカリフォルニア大学バークレー校(UCB)から BSD を入手しなければならなかったからその関係は当然広く知られていた。ベル研発明された UNIX を外部の人たちも含めみんなで改良し,それら全体が UNIX であるという考え方が自然だっただけである。『Life with UNIX』のような英語の文献によく登場する “Berkeley UNIX” という言い回しが当時の気分をよく表している。UNIX vs BSD みたいな捉え方は法廷闘争を経た90年代以降の感覚だ。

もっともそういう70年代風味の牧歌的風景ミニコン世界限定の話であった。BSDのものミニコンのものしかなかったが,そのコードを受け継いだ BSDUnixAT&T推し進める System V などがワークステーション市場舞台80年代中盤から激しく覇権を争うようになる。いわゆる Unix 戦争で,PCUnix であるマイクロソフトXENIX も当然参戦した。ミニコン世界牧歌的だったのは,ぶっちゃけていえば先のない技術だったからだ。ただ Unix 戦争あくまでも標準という聖杯を争う戦いであり,AT&TBSDUnixSun Microsystems が共同で System V Release 4.0 (SVR4) を作りあげたように後の法廷闘争とは趣が違う。

こうしたミニコン UNIX からワークステーション Unix への転変は Unixのもの文化にも変化をもたらした。まず激しい競争Unix の高機能化を加速した。商品として判りやす惹句が「あれもできます,これもできますなのは誰もが知っている。もちろん安定性を増すために quota のような利用者自由制限する機能も含まれていた。またワークステーション Unix現在UnixOS と同様同時に一人が使うものであり前述の布教必要性は大幅に減じた。達人たちのみの楽園から万人に開かれた道具に変ったのだ。こういった変化を体感したければ『root から〜』と水越賢治『スーパーユーザの日々』(1993,オーム社)を読み比べてみるといい。『スーパーユーザの日々』はワークステーション Unixシステム管理入門書だ。この本ではたんに知識を羅列するかわりに架空ソフトウェアハウス(開発会社)を舞台新卒社員が先輩社員からシステム管理を学ぶという体裁をとっており,そのおかげで架空の話とはいえ90年代前半の雰囲気が堪能できる。出版年でいえば『root から〜』と二年しか違わない『スーパーユーザの日々』の落差は “dog year” と称された当時の激烈な変化まで体感できるだろう。

UNIX 哲学背骨

当時はよくいわれたのに今やほとんど聞かれなくなったものがある。マキルロイ論文結論部分に書かれたそれは,1973年出版されたイギリス経済学者エルンストシューマッハー著作題名で,中学生英語力があれば十分に理解できる平明な一文だ。

Small is beautiful.

マキルロイは『人月神話』を引いて一定留保をつけてはいものの,これが UNIX 哲学背骨であることに違いはない。機能をありったけ詰め込もうとして失敗した “kitchen-in-a-sink” な MULTI•csアンチテーゼである UNI•x にとって,これ以上のスローガンがあるだろうか?

ひるがえって現在UnixOS をみれば,ブクブクと肥え太ったシステムコール,全容を俯瞰するだけでも一苦労するライブラリインターフェイス,一生使うことのないオプションスイッチまみれのコマンド群。UNIX仮想敵とした OSのものだ。そのことについてとくになにも思わない。ハードウェアは長足の進歩を遂げ,コンピュータの応用範囲は途方もなく拡がった。UNIX が変らなければたんに打ち棄てられ,歴史書を飾る一項目になっただけだ。ただ現在UNIX 哲学」を語るならそうした背景は理解していなければならないし,どれだけ繊細な注意を払ったところで〝つまみ食い〟になってしまうことは自覚すべきだ。

2022-05-23

いきなりメイクを押し付けられる理不尽

sudo make install

しないと動作しないとかしねと思います😫

よくわからんところに設定ファイル作ったり、

ファイルシステムを汚すな!😔

2022-03-26

停電で壊れるのはハードというよりソフトな印象

ファイルシステムがぶっこわれるというか

2022-01-09

反面教師のひとり

偏差値55くらいの大学学部卒論みたいな内容だなw

ニュースサイトで調べました的な。

なにひとつ構築や設計したことなさそう。

文章といい、技術知識といい、調査不足といい、洞察のなさといい、本当にひどい。

この枠で若い有能なライターに書かせてあげればどれだけ社会貢献になるか・・・

老人がコネポジションにとどまると、まさに他人社会迷惑をかけてしまうという一例だなあ。

たぶん宗教ネットワークコネだとは思う。

 もしかしたら、WindowsPCからローカルという考え方を排除しようとしているのかもしれない。かつてアプリは必ずローカルにあった。ファイルローカルにあった。だからネットワーク接続していないPCでもそれなりに便利に使うことができた。

 今、インターネット接続していないPCというのはほぼ考えられない。あれもできないこれもできないという環境の中でいつもの作業をこなすの不可能に近い。極端な話、ローカルに何もなくてもブラウザがあればなんとかなる。かくしてWindows OSは、ファイルシステムを捨て、ファイルを捨て、アプリを捨てるつもりなんだろう。Windows 11は、その兆しとなるOSだ。

 今はまだ、ゲームリッチ表現や、長大撮影済み動画素材の編集などで、ローカルパワーが求められてはいるが、それが永遠に続くことはなさそうだ。

 それでもローカルパワーは必要だ。大量のデータトラフィックをさばき、それを目の前のユーザーストレスを最小限にするよう瞬時にレンダリングして表示する。データストリームの処理はエッジで引き受けないとクラウド側のリソース破綻する。

https://pc.watch.impress.co.jp/docs/column/config/1379224.html

2022-01-03

ミラーリングバックアップではない

京都大学でも意外とITの深いところまでは掘り下げないのね

スーパーコンピュータシステムファイル消失のお詫び

2021年12月28日火曜日掲載

京都大学学術情報メディアセンター

センター岡部 寿男

2021年12月14日 17時32分 から 2021年12月16日 12時43分にかけて,スーパーコンピュータシステムストレージバックアップするプログラム(日本ヒューレット・パッカード合同会社製)の不具合により,スーパーコンピュータシステムの大容量ストレージ(/LARGE0) の一部データ意図せず削除する事故が発生しました.

皆さまに大変なご迷惑をおかけすることになり,深くお詫び申し上げます.

今後,再びこのような事態の生じることのないよう再発防止に取り組む所存ですので,ご理解いただきますよう,どうぞよろしくお願いいたします.

ファイル消失の影響範囲

対象ファイルシステム:/LARGE0

ファイル削除期間:2021年12月14日 17時32分 ~ 2021年12月16日 12時43分

消失対象ファイル:2021年12月3日 17時32分以降,更新がなかったファイル

消失ファイル容量:約 77TB

消失ファイル数:約 3400万ファイル

・影響グループ数:14グループ (うち,4グループバックアップによる復元不可)

障害情報:【スパコンストレージデータ消失について

http://www.iimc.kyoto-u.ac.jp/ja/whatsnew/trouble/detail/211216056978.html

ファイル消失の原因

スーパーコンピュータシステムの納入会社である日本ヒューレット・パッカード合同会社によるバックアッププログラム機能改修において,不用意なプログラム修正とその適用手順に問題があったことで,本来不要になった過去バックアップログファイルを削除する処理が,/LARGE0 ディレクトリ配下ファイル群を削除してしまう処理として誤動作しました.

日本ヒューレット・パッカード合同会社から提出された報告書掲載します.

Lustreファイルシステムファイル消失について (日本ヒューレット・パッカード合同会社)

今後の取り組み

現在バックアップ処理を停止しておりますが,プログラム問題改善し,確実に再発しない対策をした上で1月末までにはバックアップを再開する予定です.

ファイル消失後にバックアップが実行されてしまった領域ファイル復元ができない状況となったこから,将来的にはこれまでのミラーリングによるバックアップだけでなく,1世代分の増分バックアップを残す等の機能強化を検討いたします.機能面だけでなく,再発防止に向けた運用管理についても改善に取り組みます.

一方で,機器故障災害等によるファイル消失可能性も含めて完全な対策は困難であるため,利用者の皆様におかれましても,重要ファイルについては別システムへのバックアップをお願い致します.

2021-12-30

仮想化時代NAS 選び - やっぱり iSCSI は早い。


仮想システムを構築するにあたり、CIFS しか使えない NASバックアップ用に選定してきた SI 屋さんが居たので、CIFS と iSCSI のどちらが早いのか、試してみました。



テストに使う NAS は QNAP の Turbo NAS TS110

http://www.tekwind.co.jp/products/entry_6719.php

です。もう6年以上愛用して、カビが生えてもおかしく無い程に古いし, Marvell 800Mhz という低スペックな Qnap NASです。 100Mbps 時代のモノです。

昨年、HDDがお亡くなりになったので、3Tb の HDD に交換しました。ファームウェアはこんなに古い機械でも、QNAP シリーズの最新バージョンが利用できます

iSCSI は、今あまり見なくなりましたが SCSI ケーブル規格や、SASケーブル接続ハードディスクを、一般的IPネットワークで規格で仮想化したものです。

マウントするホストシステム側は iSCSI initiator, ディスクストレージ機能提供する側を iSCSI Target と呼びます

ホストからマウントするしない」はイニシエータ側のソフトウェア的な操作で行います。これは便利な機能で、ディスク故障などで、一時的物理的に取り外さなければいけない場合でも、ホストから操作だけで実際のケーブル結線の脱着を行う必要がないので、今時での SAS の外付けディスクドライブの様に、ホストシャットダウンして電源を切り、結線を外して修理、交換する、という必要がないので、ディスクデバイスの修理をホストの電源を止めないで実施できると言う、実に便利な事ができます

という事で、仮想環境では実に使いやすストレージデバイスなのです。

マウントするホストから見ると単純に SCSI/SASハードディスクに過ぎません。iSCSIストレージマウントしてからは、通常の増設ディスクの様にフォーマットして、ホスト側で使う一般的な XFS, ext4, NTFS などのフォーマットフォーマットする必要があります

LinuxiSCSI ターゲットからは、内部にターゲットとして使う「巨大なファイル」が、どん! とあるだけです。この巨大ファイルを、イニシエータ側に仮想ディスクイメージとして提供しています。当然シンプル仮想イメージなので、ファイルのものバックアップコピーすれば、ストレージイメージのものバックアップができます

※ qnap NAS場合iSCSI イメージは、 /share/HDx_DATA/.@iscsi.img の下にドンと作られるようです。

[Solved]How to mount iSCSI file?

https://forum.qnap.com/viewtopic.php?f=180&t=25322

[/share/HDA_DATA/.@iscsi.img] # pwd

/share/HDA_DATA/.@iscsi.img

[/share/HDA_DATA/.@iscsi.img] #

[/share/HDA_DATA/.@iscsi.img] # ls -l

-rw------- 1 admin administ 6442450944 Nov 12 2017 iSCSI-2015ace1-5a078d66.000

-rw------- 1 admin administ 1073741824 Jun 24 09:52 iSCSI-lun4-5d0de534.000

-rw------- 1 admin administ 107374182400 Nov 4 2015 iSCSI-nss01-56399e1a.000

-rw------- 1 admin administ 5368709120 Nov 11 2017 iSCSI-nss2015-5a06cf6d.000

-rw------- 1 admin administ 21474836480 Jun 22 17:11 iSCSI-test-56b3ce90.000

-rw------- 1 admin administ 5368709120 Jun 22 17:11 iSCSI-test-56b3ce90.001

[/share/HDA_DATA/.@iscsi.img] #

※ とても重要

CIFS/NFSファイル共有NAS と違い、iSCSIマウントして一つのターゲット制御できるのは、一つのホスト、一つのイニシエータだけです。複数ホストからイニシエータでマウントする(できちゃいます)と、ファイル排他制御は行われないので、ファイルシステム自体の不整合が起こります

まりファイル共有という目的には向いていない、という事です。あくまでも iSCSI ターゲットネットワーク上の仮想ディスクです。

もっとも、一つのホストからマウントしてファイルを保存して、いったんオフラインにして、ターゲットを別なホストからマウントする、という事はできます。また、ターゲットは一つの iSCSI デバイス複数作れるので、1台の iSCSI 装置複数ターゲット実装して、複数ホストから別々のターゲットイメージマウントする事は問題ありません。

極端な話、ホストハイパーバイザーは USB メモリSANブートさせて、後はマウントした iSCSI仮想イメージ上で、仮想マシンを動かす、HDDレスハイパーバイザー運用もできます

物理的な転送速度は、ネットワークの速度とディスクデバイスの性能に依存します。当然 10Gb baseネットワークカードHUB、高規格なケーブルを使えば、論理的な性能は 10Gbps です。大抵は NAS の性能がそこまで出ないのですけどね。ヨドバシカメラあたりで売っている 4,000 円程度の 1G HUB でも、そこそこの性能が出てしまます

距離は、IPがつながればどこでもなので、ホストコンピュータとメインのストレージを自社のサーバールームに置き、イニシエータを動かし、バックアップ用の iSCSI ターゲットデータセンターに置く、なんてこともできます

【送料無料】QNAP TS-431P2(ホワイトNAS 4ベイモデル クアッドコア CPULAN 2ポート搭載 (TS431P2)

価格:56,145円

(2019/7/27 12:05時点)

感想(0件)

  • LUN -

iSCSI の耳慣れない言葉に LUN (論理ユニット番号 : Logical Unit Number)というのがあります

昔の SCSI は、 SCSI バスアダプタに7番のIDを振り、残りの 0 ~ 6 のディスクCD, Tape などに ID を振り分ける物理的な3ビットディップスイッチやジャンパ端子が付いていました。これが SCSI アドレスです。

まり初期のSCSI 規格では8つ分。

これが実に難物でした。特に複数SCSI バスアダプタカードをデュプレクス設定する場合割り込み番号も別々にするので、手が滑ってジャンパピンを飛ばして床を這いまわって探したり、難解なディップスイッチを前に数日悩んだものです。

まりつのSCSIバスには 0~7の合計8台(うち大抵7番はSCSI バスカード)の物理ユニットデバイスがつながって別々に見えたという仕組みだったわけです。

ところが SCSI バスを使った Raid コントローラが出てくると、ディスクの鈴なりが、一つの物理デバイスに見えてしまうわけです。これを「論理的仮想番号」に分割して、システムからは、単一の鈴なり Raid ディスク複数論理番号に分割したわけですね。

これが LUN というヤツです。

iSCSI 機器ターゲットも、内部のソフトウェア的に複数論理デバイスに分割して、複数ホストコンピュータから複数物理デバイスのように見せかけるわけです。

別々な LUN は一つ、あるいは複数iSCSI 機器によって、複数ホストに別々のディスクデバイスとして見せかけるンです。

まぁ、いい加減な説明なので、他所で調べてください。

https://en.wikipedia.org/wiki/Logical_unit_number

Qnap NAS場合iSCSI ターゲットウィザード形式簡単作成できますEXT4 ファイルシステム上で、オンラインでも簡単サイズの拡大ができるので、 Windows の Storage Server のように NTFSVHD 形式ではないので、そこそこ性能が出ますが、いかんせん古さと遅さは否めません。

Qnap NASiSCSI ターゲットの設定は、偉そうな Linuxサイトに書いてある程、面倒なことはありません。ストレージマネージャから iSCSI タブにあるウィザードに従って iSCSI ターゲット名に任意名前を付けると IQN にその文字列が追加されるだけです。わざわざ vi エディタに「正確に」綴りを間違えずに設定する必要もありません。ここでは Chap 認証は付けませんでした。

仮想時代NAS 選び - やっぱり iSCSI は早い。_a0056607_16405779.jpg

機械は古いのですが、逆に言うと、「古くて遅い」ため、サーバーNASとの接続プロトコルの性能差が、如実に現れる事になります

QNAP TVS-951X 10GBASE-T/NBASE-Tポート内蔵

10GbE接続対応 NAS

Windows10 の MicrosoftiSCSI イニシエータは「コントロールパネル」>「システムセキュリティ」>「管理ツール」の中にあるので、ここで、設定済の iSCSIターゲットを」 「検索」して選んで「接続します。Chap 認証を付けておいた場合ターゲットで設定したパスワード必要でしょう。

仮想時代NAS 選び - やっぱり iSCSI は早い。_a0056607_16412132.jpg

新規作成して、接続した後は、フォーマットされていないため、ディスクマネージャからフォーマットして使います。ちなみに、フォーマットして利用した iSCSI ターゲット仮想ディスクは、他のマシンマウントすることもできます。つまりHDDを取り外して、他のPCに繋げる事と同じことですね。

PR

ちなみに opeSUSE で使うにはこんな感じになりました。

open SUSE Leap 15.1 で iSCSI NASを使ってハマった

https://islandcnt.exblog.jp/239328437/

  • CIFS の性能を見てみる -

一番イラつくのは、巨大なファイル転送でしょう。という事で 3G 程ある SUSE LinuxインストールDVDISO ファイルを CIFS でコピーしてみます

仮想時代NAS 選び - やっぱり iSCSI は早い。_a0056607_16414334.jpg

3分11秒かかりました。1Gビットネットワーク12~3% 程度の帯域を使って通信しています。明らかに古いNAS の性能が足を引っ張っているようです。

スループットは 150Mbps 程度で全体の最大15%程度でしょうか。

仮想時代NAS 選び - やっぱり iSCSI は早い。_a0056607_16415832.jpg

次に iSCSI マウントしたディスクコピーしてみます

仮想時代NAS 選び - やっぱり iSCSI は早い。_a0056607_16422170.jpg

初速は出るのですが、その後は、ボロイ TS-110 の性能がモロに出ます。それでも 20 MB/s から 25 MB/s 程度は出ています

仮想時代NAS 選び - やっぱり iSCSI は早い。_a0056607_16423835.jpg

2分25秒でした。 大体20%程度のスループットです。





--

数字に弱い私の脳みそですが、 iSCSI は CIFS より 1.5倍くらい早い、という事が言えます

Zabbix で QNAP TS-110 の I/O を見てみると、前半の CIFS アクセスより後半の iSCSI アクセスの山が高い事がよくわかります

仮想時代NAS 選び - やっぱり iSCSI は早い。_a0056607_16425860.jpg

CIFS を使ったリモートディスクマウントは、他のPCからアクセスができる、というメリットがありますが、iSCSI単一ホストからアクセスしかできません。<--- これ重要.... -- もっとも、ターゲットストレージ複数作って複数サーバーから異なるデータ領域アクセスはできますが -- バックアップ用途や、サーバー増設ストレージとして考えれば、良い選択であると言えます

もっとも、iSCSI デバイスのものは、ターゲット単位で別々なホストから接続できますしかし同じターゲットで別々のホストからイニシエータから繋ぐと、とても笑いごとにならない事態になるので、普通やりません。

ハイパーバイザー同士で一つのターゲットを共有してライブマイグレーションしたことはあります

こうした性能のわずかな違いが、仮想システムハイエンド領域で違いとなって出てきます。なお Qnap でも openiSCSI でも Windows Storage Server でも取った領域そのままのサイズのでかいファイル作成されるようです。

国産 NAS の「ハイエンド」と称する「LANxxxx」などのモデルでは Windows Storage Server を使って NTFS フォーマットしていますWindows Storage Server は見た目 Windows サーバーのものなのですが、ところどころちゃんデチューンされているようで、SOHOけが限度です。

こういった国産 NAS メーカー製品カタログでは、「ハイエンド」は Windows Storage Server を搭載して、低価格NASUnix 系のシステムで「低価格」を謳っていますが、そもそも、上位モデルは、CPUメモリの性能が高いものが使われています。性能が違うのは当たり前なのですが、あまり性能が出ないだろうと思います

Windows Storage Server じゃなくて、ちゃんとした Windows Server と CAL 買えよな、という事なのですね。

このあたりは独自OSNAS としてチューニングした Qnap や Synology, asuster などの iSCSI 機能付きの NAS を中規模ネットワークのミドルレンジNAS として利用したほうが良いと思います

仮想環境でのネットワークタッチストレージ(NAS)は、本回線(構内LAN)とは切り離し、ストレージ専用のネットワークとして独立して運用させるのが基本です。サーバーNAS間で凄まじい通信が発生します。サーバーNICが2ポート以上のものが推奨されます

  •  誤解していけないのは --

iSCSIあくまでもネットワーク上のストレージのみの機能提供するものであり、ファイル共有の手段ではない、という事です。

NAS をCIFSで使うと NAS が持つ独自アクセス権限を設定しなければなりません。セキュリティも当然 NAS 独自機能で設定します。

iSCSIあくまでも「外付け SCSI デバイス」のネットワーク版なので、マウントする側のOSのものファイルシステムセキュリティ機能アクセス制限ホスト側の機能をそのまま利用できますセキュリティ的には、マウントする際のパスワード制限しかないので、独自ストレージネットワーク内に配置すべきで、ユーザが使う構内ネットワークに配置すべきではありません。

2021-08-30

壊れたNASから金を使ってデータを復旧させた。

安いNASlinuxで動いてる。

分解してSATAケーブルやお立ち台で繋いでもデータは見れない。

USB Linuxとかで繋げば見れるが正直めんどくさい。

ググるとDiskInternals Linux Readerが出てきた。

WindowsからLinuxデータが見れるらしい。

ダウンロードして起動するとエクスプローラーのような画面が出てきて、NASファイルシステムが出てきたが、肝心のデータがあるパーティションはXFSなので、金を払わないと写せない。

PayPalで32.95$

USB Linuxを作って起動する手間と値段を比較する。

4000円弱ですぐに外付けHDDにコピれるなら安い。

メールで来たシリアル入力して、無事取りためた写真の復旧が出来た。

2021-07-15

つのファイルに長々とプログラミングコードを書いてもいい

VSCodeとLanguageServerProtocolによって、人類は多様なプログラミング言語に対して安価でお手軽なIDE機能を手に入れた。

このような富豪的プログラミング環境において、「一つのファイルは最大400行!」がオールドファッションセオリーと化したことは明らかである

よってそれを規則とすることには一切の合理性がない。

そも、IDEとは何か。

IDEとは人と機械との融合である

人類は脳領域テキストファイル拡張することに成功したが、その頂きは未だ遠い。

ただ思い出す、と、テキストファイル群中から期待する箇所を装置に出力する、の間の容赦ない時間スケールの隔絶。

IDEはこの隔絶を埋めることができる。

思い出したい、と念じると同時に人はgdキーを叩き、定義ジャンプする。

この時、人がジャンプしているのはファイルシステムのインデックスではない。

時間だ。

時間を跳躍したのだ。

たとえそれが雀の涙ほどの時間であっても、IDEタイムマシンなのだ

すなわち人類は一つの未来に到達した。

人類タイムマシンと融合した未来に到達した。

マイクロソフト万歳

2021-06-17

anond:20210617181453

ついでに言えば、そういうアルゴリズムファイルシステムデータベースインデックスなどで使われているから、コンピュータサイエンスをきちんと学んだ人なら絶対に知っている

まり、基礎を学んだ上でWebプログラミングもできるのか、付け焼き刃でフレームワークの使い方だけ覚えたのか判定できる問題でもある

そういう意味でも知らないのは恥ずかしい(笑)

2021-04-09

脳の記憶の仕組み

いま「ロッキー・ザ・ファイナル」見てて、(ポーリー役者名前なんだっけ…ポセイドンアドベンチャーの…エアーウルフの……


アーネスト・ボーグナインだ!全然思い出せなかったのに、突然一気に思い出して、かつそれが正解だって分かるのも、どうゆう仕組みなのかな。ファイルシステムのi-nodeみたいに忘却は、単語へのリンクだけ消して残りは再利用時に上書き。上書きされてないなら、その単語へのリンクは総なめすれば見つけられる、かな。


と思って確認したら、ロッキー役者パート・モーリーだった。

2021-03-24

anond:20210323153614

・感じるのは自由

あなた身体あなた管理しているものなので、感じたり思ったり内部でなにかをするのは問題ないです

「感じる自由は、ある」


・感じたことを言うのはその言葉が届く範囲内での自由

その音声が拡散されてだれかに届いたりだれかの声がとどいたりすることを前提に管理されている方の自由です

あなた自由ではありません

黙れと言われたら黙るべきで、話していいといわれたら話してもよいはずです

たぶん管理側は~とかこういうルールが明記されているからおそらく~というのは~の部分が「あなた自由」によるものなのでそれはいけません

ちゃん管理側に許可をもらって権利を得てから自由行使しましょう


面倒で難しいのは、これがウィンドウズのファイルシステムみたいに上位から継承があったりなかったり、途中で権限を持つものが変わっていたり

自由権利範囲や内容が変わっていたりすることです

すなおに直近の管理者に許可を得ればいいだけではない場合もあるので

注意をすべきで気にかけて自由とはなにかを問うときはその最上から近くの現場までの経緯や相対的位置関係性を把握することにつとめるべきでしょう

土地管理者が無茶をしていいとはいっても日本国憲法違反していたら、それは自由にならないことだってあるのです

2021-01-21

BraveにIPFSの追加

簡単に言うとP2PWebサイトを立ち上げる、あるいは利用する際に関わるプロトコルらしい。

中央サーバ存在しないことが利点だが、その代わりにコンテンツ保証というか担保がない。

このためIPFSの解説にはインセンティブを発生させるためにFilecoinが用意されているとしている。

が、普通に考えても不要になったコンテンツ分散ファイルシステムから消える運命で、

個人的にはこれだけで世界中インターネット運営されることに懐疑的

例えばWikipediaがあるい需要を終えてほとんどの人がアクセスしなくなったとして

(ここではWikipedia財団資金の話は不問として)

いわゆるシードに当たる存在がいなくなった時点でWikipediaは消え去ってしまう。

これ、解釈としては間違ってるんだろうか?

あくまでも負荷集中を分散させる技術として使う方向性になるのでは?

ログイン ユーザー登録
ようこそ ゲスト さん