ファイルシステム総合スレ その17 [転載禁止]©2ch.net
■ このスレッドは過去ログ倉庫に格納されています
● リンク全部は、確認していないので、リンク切れがあれば、ご容赦ください。 UFSのsoftupdate実装はなんて完璧なんだ
速いしデータ保護も完璧で
まさに完璧だ 家電の録画機に搭載されてるHDDのファイルシステムってなんなの？独自？ ZFSの本買おうと思ってアマ覗いたら異常に値上がっててワロタ 調べたものの、答えがみつからなかったので質問します。
GlusterFSのreplicated volumeで、不均等なBrickは使えるのでしょうか？
最も小さいBlickにひっぱられる？
分散された結果いずれかのBrickがいっぱいになったら終わり？
そして、Brickはまとめられている数を単位として増減するということは、Brick単位でreplicateしたりstripeしたりしてるということでしょうか。
例えば2leg replicateにおいて、ファイルaはBrick AとBに、ファイルbはBrick AとCにというように柔軟に配置するわけではなく。 zfsで間違って消したファイルをsnapshotからcpでコピーしてるんだけど
リンクを張り替えるだけで良さそうだけどデータを丸々コピーしてる
もっといい方法があるのか仕様なのかなんかありますか？ 非同期IOの効果を測定してみた結果、
btrfsだと有効に働くが、ext4だとかえって速度が落ちる結果になった
btrfsとext4の速度差はディスクが違うのであまり参考にしないで下さい
btrfsは遅いと言われているけど非同期IOを積極的に使っていけば
ext4より早いファイルシステムかもしれない
btrfs 同期IO
time aiocp -d -b 8K -f O_SYNC -f O_CREAT srcfile dstfile
0.01s user 1.32s system 3% cpu 35.696 total
btrfs 非同期IO
time aiocp -d -b 8K -f O_SYNC -f O_DIRECT -f O_CREAT srcfile dstfile
0.01s user 1.43s system 4% cpu 29.792 total
ext4 同期IO
time aiocp -d -b 8K -f O_SYNC -f O_CREAT srcfile dstfile
0.02s user 0.63s system 1% cpu 36.446 total
ext4 非同期IO
time aiocp -d -b 8K -f O_SYNC -f O_DIRECT -f O_CREAT srcfile dstfile
0.01s user 0.54s system 1% cpu 41.034 total >>14の自己レス。
* replicationで組になっているBlickはどれかがいっぱいになると挙動がおかしくなる
* そうでないBlickならどれかがいっぱいになると書き込めなくなる。均等に配分しようとするのでほぼ一番小さいBlickに引っ張られる
サーバーではないのでlsyncdの方向で検討中。 ZFSで最初単一ディスクだけのプールを作り、後でディスクを追加して
最初の1台目のディスク内のデータを潰さずにmirrorやraidzなどに移行することってできるんですか？ できない。
一旦作ったRAIDやMirrorの構成は壊せない。
逆にRAIDやMirror構成の個々のディスクのサイズを
交換して大きくすると、全体のサイズを大きく
できる。
例えば1Tのディスク2本でMirrorを作り、順番に
ディスク2Tに交換すれば、2TのMirrorディスクに
できる。 ああ、やっぱりか。既存の構成を膨らます話はすぐ見つかったけど、組み替える話はないなと思って。
thanks. いやmirrorやstripeはできるんじゃ
変えられないのはraidzだけ 昨日ちょうどzfsについて調べてましたが、ミラーにはできるような話だったような。
というか、プールでなくボリューム単位でできた気がするので、ボリューム作ってコピーすればRAID-Zもできそう。 >>22
引越しを限られたHDD内でしたかったんだけど、raidzを構築するvolumeも同時に設けてコピーするって事ですよね。
容量的に無理っぽい orz
素直にHDD買ってきますわ、データ潰したらしょうがないですしね。追加情報ありがとうございます。 >>23
zpoolでなくzfs setでできた気がするというお話。
>>24
そういうこと。
ミラーに以降する場合でも最低でデータの3倍の空間が必要ですね。
既に25TBになっている私の経験からくるアドバイス。
「構成変更・拡張は逼迫する前にやれ」 >>26
美容整形批判板
URL貼るときはページのタイトルや説明を添えるべき
不明なリンクは誰も踏みたがらない
あとここはLinux板のファイルシステムスレ >>26
おめーは何がやりたいだよ
このくそやろう
糞死糞乳でも飲んでろくそやろう ext2/ext3/ntfs のどれかで、極力ディスクの先頭の方の空きセクタを使わせるマウントオプションて無い？
フラグメント化は厭わず、とにかく同じセクタを再利用するようにしたい。
仮想ディスクに対して使いたくて、新しい領域へ書き込んで実容量が増えるのを避けるようにしたい。 今ZFSを真面目に学ぼうと思ったら、OSは何がいいかな
本家に近いOpenIndianaはなかなか更新されなくて先行きが不安な気がするから、FreeBSD? オープンソースだとLinuxが一番進んでなかったっけ？FUSEじゃないほう OpenSolaris系以外ならFreeBSDが一番実績はあるだろ >>32
ちょっと試しに使うなら、VirutalboxのゲストOSにCentOSを入れて、
VirutalboxのストレージをOS用、RAID用、キャッシュ用、ログ用に
分けてZFS on Linux動かしてみる。ORACLEのサイトにある日本語訳
された、ZFSの資料を読みつつ、機能を試すのはこれで問題ありません。
実サーバで試したくなったら、使わなくなったUSBメモリを4、5本用意
して、USB-HUBでRAIDディスクの実験をすると面白いです。かなり
速度が遅いですが、ディスク障害、復旧の試験ができます。 ZFS on Linux遅すぎる。
3TBrsyncして、7時間で300GBは許せるとしても、
そのあと3時間で40GBはないわ。
メモリは4GB。メモリ豊富でないと無理っぽい。 >36
ファイル数が多い場合とか、１つのファイルのサイズが
巨大な場合（例えば仮想のディスクイメージ）のrsyncの
バックアップは時間がかかります。
ZFSのスナップショットを使ったバックアップや、DRBDの
ようなディスクごと同期する方法を検討したほうが良いと
思います。
私はNotePCにZFSを入れてVMのイメージを管理していますが、
日々のバックアップは数分で終わっています。 >>37
32GB積むのはしんどいなぁ。
将来的にはするでしょうけれど。
マスター側は32GBありますけれど、スレーブ側は4GB。
>>39
ファイル数は1,000,000,000くらい？
一番大きいファイルは523GB。
マスターはBtrfsだし、EncFS使っているのでGlusterFSなんかも使えません。
EncFSはrootでアクセスできないし。
また、シャットダウンするのでDRDBのようなHAストレージも使えない。
100TBのシステムでrsnapshotしてるよ、という話を聞いたので
rsync+atにしたんですけどね。
というよりも、それしか方法がなかったのですけれど。 ZFSからbtrfsに作り変えたら、出だしから18倍以上速い。
（ただしZFSではmax-compress,btrfsはlzoに変更）
ZFS on Linuxいまいちかも…Qiitaでもそんな話ありますね。
Btrfsは不安定なZFSの劣化コピーみたいに言われることが多いけれど、
少なくともLinuxの実装においてはBtrfsのほうが優れているように感じますし、
いくらかの機能（例えばフレキシブルなデバイスの追加ではZFSを凌ぐものになっていますね。
BtrfsにSend/Recieveがあることを知ってびっくり。
これはEncFSやめちゃったらだいぶ楽になるかも。
（今のままだとEncFSごとコピーされても、EncFSが壊れると一緒に死ぬ）
さらにSquashfsがappendできることも知りました。これ便利。
removeできたら、更新はしないけれどmvはされるものに適用できていいのにな… 貧弱なシステムでzfs遅いとか言ってるんじゃないんだろうな まごうことなき貧弱なシステムですよ！
貧弱なシステムで快適に動くのもひとつのメリット ZFSメモリ食い杉ワラタ
一般家庭用途でははなく業務サーバ用やな 最近のジャーナリングファイルシステムはリソースが贅沢にあることを前提とした設計
数十秒溜めてからフラッシュしたり、lzo圧縮したり
リソース無いマシンは大人しく古いファイルシステム使っとけと思う わざわざ合わないことに使って文句言うのって、Linux使うの向いてないね 特にこだわらずext4使ってるけどbtrfsの方が良いんですか？ btrfsはもう正式版出てるのにwikipediaの記事が更新してないから未だに未完成だと思われてそう 実際の運用でext4よりbtrfsの方が良いところ
・パッケージやシステムアップデートをかけたら動かなくなった！って時にロールバックしてなかったことに出来ること
・lzo透過圧縮で書き込みが速くなってさらにディスクサイズも節約できるなんて素晴らしい Ｃ２Ｄだけどbtrfs使う価値ある？
重視するのは障害時のサルベージが容易かどうか
後重すぎるのも勘弁 鯖用は1年位前からbtrfsにしたけど、スナップショット便利だな
もはやスナップショットできないFSは使う気にならん
家用もbtrfsにしてるけどバックアップしないからextでも困らん btrfsは安定しているという評判をまったく聞かないので使わない
ギークでなくエンジニアが1年くらい使って問題ないというようになれば使う
実績あるZFSの難点がメモリくらだから普通にメモリマシマシしてZFSにしたほうがいいね 富士通かどっかが実運用でBtrfs使ってなかったっけ 自宅ファイルサーバがメモリ4Gで、ディスク1TB、SSD32GBの構成ですが、
スナップショットを使うためだけにZFS化してます。
圧縮と重複排除を使わなければ、4GBメモリーでもエラーなく動いてます。 SUSEには正式に採用されたね
>>53
ext4だろうけど
そんなの最終手段だから普通は必要ない運用をすべきと思うけど >>56
Netgearとかの民生用NASでも普通に使われている。 >>53
スナップショットを考えたら使う価値はある
ext4と比べるとマルチプロセス、マルチスレッドでの書き込みはbtrfsの方が性能が良い
1プロセスでの書き込みなら一般的にはext4の方が速い
5400RPMとかの遅いディスクを使ってるならlzoでの透過圧縮が使えるbtrfsが1プロセスでも速いかもしれない btrfsの4ディスク12TBの2レッグミラーで1年くらい使っています。
btrfsが原因で壊れたのは一度だけ。これはLuksに起因するトラブルよりもずっと少ないです。
その時はfsckしてからマウントしたらマウントできて、修復にかけて復帰。
btrfsのおかげで救われもしたことになります。
途中では3つのディスクが500GB LVM+2.5TB Btrfsという状態から4つの3TB Btrfsに組み替えてさえいます。
現在はbtrfsで2ノード8ディスクで合計25TB。
btrfsはとても便利だし、十分に安定していると思います。1つずつ、しかも不均等なディスクを追加できるのが魅力。
リバランスできるにもかかわらずストライピングできるのでディスク数が増えるほど速くなるのも魅力。
ディスク1つならスナップショットとsend/recieveを魅力と感じるならあり、スナップショットだけならLVMという選択肢もあり。 >>62
古い情報だと不均等なディスクは最小容量が上限とあった気がしたが改善したんだな
しかしZFSがRAID5,6とRAIDZ1,2があるのにbtrfsはRAID0,1しかないのが見劣りする
あとbtrfsはディスクIOが遅いと聞いた >>63
この間4GBメモリのサーバーではZFSの18-100倍以上btrfsが高速でした。
不均等なディスクについては私が調べた限りでは言及なく、勝手にできるものだと思っています。
調べるのがちょっとむずかしいワードという気もしました。他の部分でひっかかってしまうから。
ただ、3台でミラーできるので多分できそう。使用量もリバランス時は均等ですが、均等に増えているわけではないので。
あとRAID5/6ありますよ！
https://btrfs.wiki.kernel.org/index.php/RAID56
ただし、絶対まだ使わないほうが良い状態ですが。 >>64
ZFSは環境差が激しいのでXFSかExt4との比較でReadWriteともに同等かそれ以上の速度がでますか？
メモリ要求がZFSほど厳しくなさそうなのは魅力ですが安定性と速度には代えられないので >>65
他のファイルシステムが優位になるほど気にするほどの使い方してる？
btrfsについて
これが普通の状態での他ファイルシステムとの比較
http://www.phoronix.com/scan.php?page=article&;item=linux-3.19-ssd-fs&num=1
これがlzo圧縮有効で速くなるパターンのデータ
http://www.phoronix.com/scan.php?page=article&;item=linux_314_btrfs&num=1 >>66
VM複数動かすので超重要
その比較btrfsのシーケンシャルくっそ遅いんですけどLZO圧縮したらせめて同じくらいの速度にはなるんですかね >>58
そう思うだろ？ノーパソ+SSDだからジャーナル要らないぜ最速〜
な運用してたらＳＹＳＲＱ効かずに固まって３日間の作業がふいになったわ LZ4爆速だぜ〜
# dd if=/dev/zero of=tes.dd bs=1024M count=10
10+0 records in
10+0 records out
10737418240 bytes transferred in 25.940913 secs (413918283 bytes/sec) >>65
うちはストレージをまとめる必要がない環境下では単純にXFSなので比べにくいのですが、
リニアLVM+XFSよりは4ストライプのbtrfsのほうが高速だと思います。
というか、デスクトップはメモリいっぱい積んでるのでストレージ速度はほとんどの場合気にならないし、
サーバーはある程度時間かかってもZFSの時のようなことがない限りほどほど同期できていればいい、
という感覚なのであまり気にしていません。
シングルストレージで速度がほしいならReiserFS。
私のラップトップの/はReiserFS。/homeはXFS。
btrfsもverifyしなければ速いそうですよ。意味ないと思いますが。
LVMを入れるならbtrfsにしても速度的には対して変わらないはず。LVM+btrfsはおすすめしません。
というか、一番わからなくなる原として、うちはdm-cryptやEncFSを介しているので、そっちのほうがずっと遅いから。 >>72
うちは5，6台まとめてRAIDZ2の予定です
現在VM1台につき5400rpmのHDD1台を割り当ててますが遅い遅い
メモリは十分に用意する予定なのでZFSを選択しました
実際入れてみて問題があったりbtrfsの実績がたまってきたら再度比較検討するつもりです
落ち着いたらレポでもしようかというとこですが2chがもう終わりのようなのでたぶんできないのが悔やまれます >>67
複数の仮想マシンから一つのディスクにアクセスするようなデータパターンだとbtrfsのcowやマルチプロセスに強い設計が効いてくるんで他のファイルシステムと比べても速くなるかもしれない >>73
open2ch悪くないですよ。
本当にメモリが潤沢にあれば大概の高レベルIOはcache/bufferで終わってしまうので
ファイルシステムの速度はあまり関係ない感じに。
それこそGlusterFSでも構わないくらい。
ただし、直接叩くRDBMSなんかはストレージ速度が応答速度になってしまうので、
そこに不安があればNoSQLとかVoltDBとかを採用して対応。こちらも潤沢なメモリ前提。 zfsでl2arcをSSDで追加すればライトが速くなると思ってたんだけど
l2arcってリードでしか使われないから速くならないんだよね？
同期書き込みはzilで速くなるけど非同期書き込みはRAMを増やすしか速くできないの？ 既存ファイルが使ってない余ってるクラスタに押し込んでるだけだからね こんにちは。ファイルシステムについて質問させてください。
同一ディレクトリ内で500KiB程度の写真を千枚程度管理しているのですが、フォルダを開いた際の待ち時間が長い（5秒以上）です。今はXFSを利用しています。
XFSよりファイル一覧の読み込みが高速なファイルシステムはありますか？
ファイルシステム初学者なので至らない点があればご指摘ください。 >>79
「フォルダを開く」ってのは GUI での話?
どういう環境かよくわからんけど
ファイルシステムの問題っていうか
サムネイル作るのとかに時間がかかってんじゃないの。 >>79
ファイルシステムよりファイラーの問題だね。 >>80-81
はい、GUI（Nautilus）です。
やはりファイラーの問題でしたか。ありがとうございます。
サムネイル生成はランダムリードだと思うのですが、これはXFSでは低速なのでしょうか？ >>82
XFSはまぁまぁ速いですよ。Nautilus使っていないので挙動がわかりませんが、
Ristrettoなんか大量の画像があるディレクトリはサムネイル生成でフリーズして猛烈に遅い。
HDDならReiser4が速い（お勧めはしない）、フラッシュストレージならF2FSが速いです。 XFSはでかいストレージ用でランダムはイマイチだろ >>84
「いまいち」の程度にもよりますが、
ttp://hesonogoma.com/linux/FileSystemBenchmarkResults-02.html
ttp://qiita.com/sion_cojp/items/bef955bba3dbf9d603f8
あたりを見ると、最速ではないけれどバランスがとれていて「まぁまぁ速い、かな」という印象でした。
ここには出てないような、遅いファイルシステムは多いですし…という意味で書きました。
少なくとも、XFSのせいで遅くて遅くて、というのはないように思います。 xfsはlogbufsオプション付けないと遅かったけど、今はデフォルトでいけるのかな? 細かいファイル大量にあるなら人殺しが作ったReiserでええやん WS作ったメモ
CPU3.0GHz １６Core
MEM１２８GB
7200rpmHDDｘ６＋キャッシュ用SSDでRAIDZ2
・デスクトップVMいくつか動かしてる
・CPU負荷は感じない
・DEDUPが1.2-1.3 しか効かなくてリスク高い割に役に立ってない
・圧縮が1.5-1.6でそっちのが効果高かった
・計１TBのVMにDEDUP有効でもホストメモリ70GBしか使わない（VM分含む）
・RAIDで高速化された感がない（AES５１２ボリュームに可変ディスク置いて80-150MB/s）
・窓VMでHDDベンチしたらzilのおかげかランダムIOだけSSD性能
・メモリ使いきってないのでl2arcの効果不明
・スナップショットが最後の分しか直接ロールバックできなくて微妙な使いにくさ 訂正
HDDベンチサイズ小さければSATA3以上の速度でるようになった
キャッシュ有無で速度変わらずSSD意味なかった SSD上のl2arcとzilの有無で比較してみたんだけど使われてる気配ないんだよね
いま負荷かかってるんで少しスコア下がってるけどSSDなしでだいたいこのくらい
-----------------------------------------------------------------------
CrystalDiskMark 3.0.3 x64 (C) 2007-2013 hiyohiyo
Crystal Dew World : http://crystalmark.info/
-----------------------------------------------------------------------
* MB/s = 1,000,000 byte/s [SATA/300 = 300,000,000 byte/s]
Sequential Read : 569.597 MB/s
Sequential Write : 627.577 MB/s
Random Read 512KB : 375.552 MB/s
Random Write 512KB : 172.797 MB/s
Random Read 4KB (QD=1) : 5.073 MB/s [ 1238.5 IOPS]
Random Write 4KB (QD=1) : 7.419 MB/s [ 1811.3 IOPS]
Random Read 4KB (QD=32) : 30.379 MB/s [ 7416.7 IOPS]
Random Write 4KB (QD=32) : 30.017 MB/s [ 7328.4 IOPS]
Test : 50 MB [C: 34.7% (44.5/128.0 GB)] (x1)
Date : 2015/04/18 20:32:27
OS : Windows 7 Ultimate SP1 [6.1 Build 7601] (x64)
SSDでランダムアクセス速くなってくれるものと思ってたんだがピクリともしない
試しにZIL強制してみたりもしたがひどいスコアになっただけだった
さらにデータサイズが500MB以上になると単体のHDD以下のスコアに下がる
50MBならシーケンシャルライトがM.2すら超えて1GB/sでることもあるんだが実際ファイルコピーしてみると100MB/sもいかなくてわけわかめ
テストデータはランダムなのでスコアが間違ってるわけではないはずだがそれとも予想を超えて圧縮と重複排除の性能が高いのか
今思ったがもしかしたら可変ディスクだからかもしれない
一応キャッシュに乗ってればWin7の起動時間は20秒でSSD並みだがソフトが爆速というわけではない
せっかくSSD用意したのに話が違うっすよ
ちなCentOS7ホスト L2ARCが使われないって言ってるけどリードにしか使われないとかそんな基本的なこともわかってないんじゃないか リードに使われてるように見える？
そんな基本的なことはわかってるよ だから代わりにZIL使わせても性能でないって書いたろ
ZILで50MB/sも出なかったらL2ARC検証するまでもなくSSDの意味ないだろ SSDによる性能向上の話をしてるんだが
L2ARCしか話せないなら無理しなくていいよ >>94に答えられないなら誰も話せないから書かなくていいよ ■ このスレッドは過去ログ倉庫に格納されています
