「EXT4」を含む日記 RSS

はてなキーワード: EXT4とは

2023-02-18

LinuxUSBドライブを使うなってことか?

デフォルト対応しているファイルシステムext4あるいはext3、あとは今やレガシー過ぎるFAT32くらい
というディストリビューションが未だに存在するのは勘弁して欲しい。

USBメモリを介してWindowsmacデータをやり取りできないんで、面倒なことこの上ない。

あれか、クラウド経由かscpで取りに来いってか?そんな事できない環境いっぱいあるわけで(特にサーバ用途だと)。

それだけのためにデスクトップLinuxを用意するのも絶対にありえないし。

こういう細かいところの使い勝手が悪いせいでLinuxって損してると思うわ。

2021-12-30

仮想化時代NAS 選び - やっぱり iSCSI は早い。


仮想システムを構築するにあたり、CIFS しか使えない NASバックアップ用に選定してきた SI 屋さんが居たので、CIFS と iSCSI のどちらが早いのか、試してみました。



テストに使う NAS は QNAP の Turbo NAS TS110

http://www.tekwind.co.jp/products/entry_6719.php

です。もう6年以上愛用して、カビが生えてもおかしく無い程に古いし, Marvell 800Mhz という低スペックな Qnap NASです。 100Mbps 時代のモノです。

昨年、HDDがお亡くなりになったので、3Tb の HDD に交換しました。ファームウェアはこんなに古い機械でも、QNAP シリーズの最新バージョンが利用できます

iSCSI は、今あまり見なくなりましたが SCSI ケーブル規格や、SASケーブル接続ハードディスクを、一般的IPネットワークで規格で仮想化したものです。

マウントするホストシステム側は iSCSI initiator, ディスクストレージ機能提供する側を iSCSI Target と呼びます

ホストからマウントするしない」はイニシエータ側のソフトウェア的な操作で行います。これは便利な機能で、ディスク故障などで、一時的物理的に取り外さなければいけない場合でも、ホストから操作だけで実際のケーブル結線の脱着を行う必要がないので、今時での SAS の外付けディスクドライブの様に、ホストシャットダウンして電源を切り、結線を外して修理、交換する、という必要がないので、ディスクデバイスの修理をホストの電源を止めないで実施できると言う、実に便利な事ができます

という事で、仮想環境では実に使いやすストレージデバイスなのです。

マウントするホストから見ると単純に SCSI/SASハードディスクに過ぎません。iSCSIストレージマウントしてからは、通常の増設ディスクの様にフォーマットして、ホスト側で使う一般的な XFS, ext4, NTFS などのフォーマットフォーマットする必要があります

LinuxiSCSI ターゲットからは、内部にターゲットとして使う「巨大なファイル」が、どん! とあるだけです。この巨大ファイルを、イニシエータ側に仮想ディスクイメージとして提供しています。当然シンプル仮想イメージなので、ファイルのものバックアップコピーすれば、ストレージイメージのものバックアップができます

※ qnap NAS場合iSCSI イメージは、 /share/HDx_DATA/.@iscsi.img の下にドンと作られるようです。

[Solved]How to mount iSCSI file?

https://forum.qnap.com/viewtopic.php?f=180&t=25322

[/share/HDA_DATA/.@iscsi.img] # pwd

/share/HDA_DATA/.@iscsi.img

[/share/HDA_DATA/.@iscsi.img] #

[/share/HDA_DATA/.@iscsi.img] # ls -l

-rw------- 1 admin administ 6442450944 Nov 12 2017 iSCSI-2015ace1-5a078d66.000

-rw------- 1 admin administ 1073741824 Jun 24 09:52 iSCSI-lun4-5d0de534.000

-rw------- 1 admin administ 107374182400 Nov 4 2015 iSCSI-nss01-56399e1a.000

-rw------- 1 admin administ 5368709120 Nov 11 2017 iSCSI-nss2015-5a06cf6d.000

-rw------- 1 admin administ 21474836480 Jun 22 17:11 iSCSI-test-56b3ce90.000

-rw------- 1 admin administ 5368709120 Jun 22 17:11 iSCSI-test-56b3ce90.001

[/share/HDA_DATA/.@iscsi.img] #

※ とても重要

CIFS/NFSファイル共有NAS と違い、iSCSIマウントして一つのターゲット制御できるのは、一つのホスト、一つのイニシエータだけです。複数ホストからイニシエータでマウントする(できちゃいます)と、ファイル排他制御は行われないので、ファイルシステム自体の不整合が起こります

まりファイル共有という目的には向いていない、という事です。あくまでも iSCSI ターゲットネットワーク上の仮想ディスクです。

もっとも、一つのホストからマウントしてファイルを保存して、いったんオフラインにして、ターゲットを別なホストからマウントする、という事はできます。また、ターゲットは一つの iSCSI デバイス複数作れるので、1台の iSCSI 装置複数ターゲット実装して、複数ホストから別々のターゲットイメージマウントする事は問題ありません。

極端な話、ホストハイパーバイザーは USB メモリSANブートさせて、後はマウントした iSCSI仮想イメージ上で、仮想マシンを動かす、HDDレスハイパーバイザー運用もできます

物理的な転送速度は、ネットワークの速度とディスクデバイスの性能に依存します。当然 10Gb baseネットワークカードHUB、高規格なケーブルを使えば、論理的な性能は 10Gbps です。大抵は NAS の性能がそこまで出ないのですけどね。ヨドバシカメラあたりで売っている 4,000 円程度の 1G HUB でも、そこそこの性能が出てしまます

距離は、IPがつながればどこでもなので、ホストコンピュータとメインのストレージを自社のサーバールームに置き、イニシエータを動かし、バックアップ用の iSCSI ターゲットデータセンターに置く、なんてこともできます

【送料無料】QNAP TS-431P2(ホワイトNAS 4ベイモデル クアッドコア CPULAN 2ポート搭載 (TS431P2)

価格:56,145円

(2019/7/27 12:05時点)

感想(0件)

  • LUN -

iSCSI の耳慣れない言葉に LUN (論理ユニット番号 : Logical Unit Number)というのがあります

昔の SCSI は、 SCSI バスアダプタに7番のIDを振り、残りの 0 ~ 6 のディスクCD, Tape などに ID を振り分ける物理的な3ビットディップスイッチやジャンパ端子が付いていました。これが SCSI アドレスです。

まり初期のSCSI 規格では8つ分。

これが実に難物でした。特に複数SCSI バスアダプタカードをデュプレクス設定する場合割り込み番号も別々にするので、手が滑ってジャンパピンを飛ばして床を這いまわって探したり、難解なディップスイッチを前に数日悩んだものです。

まりつのSCSIバスには 0~7の合計8台(うち大抵7番はSCSI バスカード)の物理ユニットデバイスがつながって別々に見えたという仕組みだったわけです。

ところが SCSI バスを使った Raid コントローラが出てくると、ディスクの鈴なりが、一つの物理デバイスに見えてしまうわけです。これを「論理的仮想番号」に分割して、システムからは、単一の鈴なり Raid ディスク複数論理番号に分割したわけですね。

これが LUN というヤツです。

iSCSI 機器ターゲットも、内部のソフトウェア的に複数論理デバイスに分割して、複数ホストコンピュータから複数物理デバイスのように見せかけるわけです。

別々な LUN は一つ、あるいは複数iSCSI 機器によって、複数ホストに別々のディスクデバイスとして見せかけるンです。

まぁ、いい加減な説明なので、他所で調べてください。

https://en.wikipedia.org/wiki/Logical_unit_number

Qnap NAS場合iSCSI ターゲットウィザード形式簡単作成できますEXT4 ファイルシステム上で、オンラインでも簡単サイズの拡大ができるので、 Windows の Storage Server のように NTFSVHD 形式ではないので、そこそこ性能が出ますが、いかんせん古さと遅さは否めません。

Qnap NASiSCSI ターゲットの設定は、偉そうな Linuxサイトに書いてある程、面倒なことはありません。ストレージマネージャから iSCSI タブにあるウィザードに従って iSCSI ターゲット名に任意名前を付けると IQN にその文字列が追加されるだけです。わざわざ vi エディタに「正確に」綴りを間違えずに設定する必要もありません。ここでは Chap 認証は付けませんでした。

仮想時代NAS 選び - やっぱり iSCSI は早い。_a0056607_16405779.jpg

機械は古いのですが、逆に言うと、「古くて遅い」ため、サーバーNASとの接続プロトコルの性能差が、如実に現れる事になります

QNAP TVS-951X 10GBASE-T/NBASE-Tポート内蔵

10GbE接続対応 NAS

Windows10 の MicrosoftiSCSI イニシエータは「コントロールパネル」>「システムセキュリティ」>「管理ツール」の中にあるので、ここで、設定済の iSCSIターゲットを」 「検索」して選んで「接続します。Chap 認証を付けておいた場合ターゲットで設定したパスワード必要でしょう。

仮想時代NAS 選び - やっぱり iSCSI は早い。_a0056607_16412132.jpg

新規作成して、接続した後は、フォーマットされていないため、ディスクマネージャからフォーマットして使います。ちなみに、フォーマットして利用した iSCSI ターゲット仮想ディスクは、他のマシンマウントすることもできます。つまりHDDを取り外して、他のPCに繋げる事と同じことですね。

PR

ちなみに opeSUSE で使うにはこんな感じになりました。

open SUSE Leap 15.1 で iSCSI NASを使ってハマった

https://islandcnt.exblog.jp/239328437/

  • CIFS の性能を見てみる -

一番イラつくのは、巨大なファイル転送でしょう。という事で 3G 程ある SUSE LinuxインストールDVDISO ファイルを CIFS でコピーしてみます

仮想時代NAS 選び - やっぱり iSCSI は早い。_a0056607_16414334.jpg

3分11秒かかりました。1Gビットネットワーク12~3% 程度の帯域を使って通信しています。明らかに古いNAS の性能が足を引っ張っているようです。

スループットは 150Mbps 程度で全体の最大15%程度でしょうか。

仮想時代NAS 選び - やっぱり iSCSI は早い。_a0056607_16415832.jpg

次に iSCSI マウントしたディスクコピーしてみます

仮想時代NAS 選び - やっぱり iSCSI は早い。_a0056607_16422170.jpg

初速は出るのですが、その後は、ボロイ TS-110 の性能がモロに出ます。それでも 20 MB/s から 25 MB/s 程度は出ています

仮想時代NAS 選び - やっぱり iSCSI は早い。_a0056607_16423835.jpg

2分25秒でした。 大体20%程度のスループットです。





--

数字に弱い私の脳みそですが、 iSCSI は CIFS より 1.5倍くらい早い、という事が言えます

Zabbix で QNAP TS-110 の I/O を見てみると、前半の CIFS アクセスより後半の iSCSI アクセスの山が高い事がよくわかります

仮想時代NAS 選び - やっぱり iSCSI は早い。_a0056607_16425860.jpg

CIFS を使ったリモートディスクマウントは、他のPCからアクセスができる、というメリットがありますが、iSCSI単一ホストからアクセスしかできません。<--- これ重要.... -- もっとも、ターゲットストレージ複数作って複数サーバーから異なるデータ領域アクセスはできますが -- バックアップ用途や、サーバー増設ストレージとして考えれば、良い選択であると言えます

もっとも、iSCSI デバイスのものは、ターゲット単位で別々なホストから接続できますしかし同じターゲットで別々のホストからイニシエータから繋ぐと、とても笑いごとにならない事態になるので、普通やりません。

ハイパーバイザー同士で一つのターゲットを共有してライブマイグレーションしたことはあります

こうした性能のわずかな違いが、仮想システムハイエンド領域で違いとなって出てきます。なお Qnap でも openiSCSI でも Windows Storage Server でも取った領域そのままのサイズのでかいファイル作成されるようです。

国産 NAS の「ハイエンド」と称する「LANxxxx」などのモデルでは Windows Storage Server を使って NTFS フォーマットしていますWindows Storage Server は見た目 Windows サーバーのものなのですが、ところどころちゃんデチューンされているようで、SOHOけが限度です。

こういった国産 NAS メーカー製品カタログでは、「ハイエンド」は Windows Storage Server を搭載して、低価格NASUnix 系のシステムで「低価格」を謳っていますが、そもそも、上位モデルは、CPUメモリの性能が高いものが使われています。性能が違うのは当たり前なのですが、あまり性能が出ないだろうと思います

Windows Storage Server じゃなくて、ちゃんとした Windows Server と CAL 買えよな、という事なのですね。

このあたりは独自OSNAS としてチューニングした Qnap や Synology, asuster などの iSCSI 機能付きの NAS を中規模ネットワークのミドルレンジNAS として利用したほうが良いと思います

仮想環境でのネットワークタッチストレージ(NAS)は、本回線(構内LAN)とは切り離し、ストレージ専用のネットワークとして独立して運用させるのが基本です。サーバーNAS間で凄まじい通信が発生します。サーバーNICが2ポート以上のものが推奨されます

  •  誤解していけないのは --

iSCSIあくまでもネットワーク上のストレージのみの機能提供するものであり、ファイル共有の手段ではない、という事です。

NAS をCIFSで使うと NAS が持つ独自アクセス権限を設定しなければなりません。セキュリティも当然 NAS 独自機能で設定します。

iSCSIあくまでも「外付け SCSI デバイス」のネットワーク版なので、マウントする側のOSのものファイルシステムセキュリティ機能アクセス制限ホスト側の機能をそのまま利用できますセキュリティ的には、マウントする際のパスワード制限しかないので、独自ストレージネットワーク内に配置すべきで、ユーザが使う構内ネットワークに配置すべきではありません。

2018-12-05

anond:20181205001000

Peopleはタランティーノ監督歌手ダニエラ・ピックさんと結婚式を行ったという記事に3ブクマ

Nature福島県原発事故が影響する地域にいた野生のニホンザル血液調査に4ブクマ

IEEE SpectrumはMetal-Air Transistorの記事に2ブクマ日本語ではGIGAZINEで紹介されているみたいだ。

Quantamagazineは2016年に書かれたファインマンダイアグラム凄さ解説した記事に4ブクマ

The VergeはTumblrアダルトコンテンツブロックする予定だという記事に4ブクマ

TechCrunchはFlutter UIツールキットがバージョン1.0をリリースしたという記事に9ブクマ

PhoronixはLinuxカーネル4.19で原因不明EXT4ファイルシステム破損が起きるという記事に2ブクマファイルシステムコードではなくBLK-MQまわりが怪しのではないかと見られはじめたみたい。

2018-10-06

Macの忌々しさ

bsdtarは謎のエラー吐くし

ext4は扱えないし、ext4fuseとかいソフト化石化してまともに使えないし

大体入ってるfdiskがマジで時代遺物すぎる。代わりに使えるdiskutilは使いにくい。

次はlinuxにしよう

2016-02-27

ext4, HFS+, NFST って結局どれを選べばいいの?

Windows / Mac / Linux が混在した環境で外付け HDD 使いたいんだけど、どのフォーマットが正解なんだろう?

そもそも、なんで未だにフォーマット統一されないのか疑問。

2015-05-19

作業環境構築の手順(個人メモ)

この時間なら誰もいないはず。

OSを入手

https://getfedora.org/ja/workstation/download から

FedoraLive imageダウンロードする。

1.4GBと大きいので数十分はかかると思う。

USBメモリLive imageを焼く

ddLive imageUSBメモリに焼く。

1分ぐらいで終わると思う。

OSインストール

パソコン再起動BIOSを開き、USB bootして一番上の選択肢を選ぶ。

あとは待つだけ。7分ぐらいで終わる。

終わったら再起動

ネットの設定

初めて起動すると言語を尋ねられるので日本語

次にWi-Fiの設定を尋ねられるのでいつものWi-Fiに繋ぐ。

オンラインアカウントの追加はしない。

次にFirefoxを起動してSyncにかける(すぐ終わる)

ここまでで1分ぐらい。

ソフトウェアインストール

itamaeを使う。

レシピを自前のプライベートリポジトリからgit cloneし、

中に入ってるエントリポイントの./envを実行。

パスワード入力したら勝手flashとかVimとか入って、

gsettingsでの各種設定、vimrcの配置などをやってくれるので放置

最後ibus exitibus再起動

だいたい15分くらいで終わる。

すでに焼いたLive imageを持ってるならだいたい25分で終わる。

2015-02-20

ハッキング極意2】武器を持て

やあ、アノニマスダイアリーアノニマス達、

また僕だ。

世間ではSuperFishが騒がれているね。

フフフ、そういうことだ。

一昨日は、IPアドレスから住所を割り出す方法を伝授した。

でも、秘密OSの事を詳しく話していなかったね。

(前回の記事)

http://anond.hatelabo.jp/20150219004340

武器を手に入れろ

我々ハッカーの仲間入りをするためには裏のOSを手に入れなければならない。

Windowsなんていう表OSではできることは限られているからね。

だが、この裏OSリナーックスはヤマダ電機に行っても売っていない。

なにせ裏OSからビックカメラの店員に行っても

「はて?なんのことでしょう??」と言われるのが落ちだ。

白を切っているか本当に知らないかのどちらかだ。

この裏OSを手に入れる主な方法は、Torrentという裏ソフトをつかう。

このtorrentWinnyとかと同じように裏ソフトのやり取りに使われる裏プロトコルを使っている闇ソフトなのだ

うっかりTwitterなどでTorrent名前を言おうものならばネット自警団に見つかり大炎上だ。

このようにLinuxを手に入れるにはかなりのリスク必要

Linuxについて

Linuxは裏OSである

ハッカーたちが集まって自然発生的に生まれた神のOS

世界で使われているOSなのだ

銀行業界の裏、政府機関の裏、我々裏の世界ではなくてはならないOSだ。

裏のエンジニア、闇のプログラマたちはLinuxをよく使うが、

たまに表世界の営業が「案件取ってきました!!Windowsサーバーですから簡単ですよね!!」みたいなことをいうと

我々闇のブラックエンジニアたちは「知らねーよ!使ったことねーよ!!」となるわけだ。

武器インストール

さて、闇の武器自分パソコンインストールしよう。

これは普通エロゲインストールするのとはちがう。

DVD入れて、インストーラを起動してーみたいな生ぬるいインストールはしない…

どのようにするか。

そのインストールの様は神のOSと言われるだけあって、それは天地創造の再現と言われている。

そう、このOSインストールするには信仰心必要だ。

目を閉じて神と対話すれば(あるいは公式ドキュメントを見れば)自ずから分かるものだのだ。

どうだろう

ハッカーの卵たちよ。

武器を手に入れたく成っただろう?

じゃあな

続き書いたよ

【ハッキング極意3】ブラックハッカーになれ。そして世界を変えろ

2013-07-07

生活マシンext4からbtrfsに

2010-12-16

怖いよーw

[ 344.000054] EXT4-fs (sdb): initial error at 1292060070: __ext4_get_inode_loc:4929: inode 83501764: block 333972044

[ 344.000063] EXT4-fs (sdb): last error at 1292067941: __ext4_get_inode_loc:4929: inode 83501664: block 333972037

 
ログイン ユーザー登録
ようこそ ゲスト さん