ファイルシステム総合スレ その17 [転載禁止]©2ch.net
レス数が1000を超えています。これ以上書き込みはできません。
ext4に透過圧縮があれば十分なんだがなあ
以前は/usr以下をsquashfsしてaufs被せる荒業が使えたんだがsystemdが起動に必要なファイル置きやがるからだめになったし 圧縮機能だけでzfs-fuseを使っていたんだけど、（CentOS 6）
さっきダウンしていた。マウント先ディレクトリにアクセスできなくなっていた。
service zfs-fuse restart を時間を置いて二度行なったら、復帰した。
/var/log/message を確認したら、エラーが記録されていた。
segfault at 70 ip xxxxxxx sp yyyyyyy error 4 in libpthread-2.12.so[zzzzzz]
もう怖くて、zfs-fuse使えない。
重複機能はとっくに諦めていたけど、圧縮機能も諦めて、
もうzfs-fuse使わない。ext4のまま使うことにする。
圧縮効果は1.6倍だったのでもったいないけど、安全の方が大事。 >>953自己レス
メールのINBOXフォルダとして使っていたので、
大量に入ってくるメールの取扱でバグったのかなあ。 評判の悪いfuseなんぞわざわざ使ってる方に問題がある
ZoL使え >>955
ZFS on Linux ググってみたけど、標準の機能でないために躊躇します。
yum update みたいに、カーネルごとアップデートされるようになったら使いたいなあ。 fuseのzfsも標準の機能じゃないしｗ
てかOracleもFSFもLinux界隈もPC衰退期の現状にライセンスが合ってない
もうソースに手入れた人が把握できなくて身動き取れないだけかも知れんけど >>956
ZOLが標準に組み込まれないのはライセンスの問題
FUSEはZOLまでの繋ぎで今はメンテもされていない 事実上、まともな透過圧縮は起動に使うには面倒なZOLだけか
透過圧縮って、パフォーマンス低下させない様にって細工が面倒なのはわかるんだけど
ext4で特定の圧縮アルゴリズムで標準化みたいな動き、出ないもんかな >>960
btrfsってもう詰んだんでしょ。
>>958
永久にカーネルに組み込まれないってことでしょうか。
それともオリンピックまでになんとかなる話？
なんとかしてほしい。ド素人にも使えるようにしてほしい。
ZFS on Linuxなんてつかったら、多分、カーネルアップデートしたりしたときに、
データにアクセス不能にしてしまいそうでこわい。
凍結的に使いつづけるのならよいのかも知れないけど。 red hatが作るXFSベースのfsに透過圧縮付いたりしたら良いのにね 正直、圧縮はbtrfsだのzfsだのでなく、ストレージに提供させる機能とした方がよさそうだが >>961
特定のFSに限らんだろうが暗号化ディスクをマウントしたままカーネルアップデートするとディスク構成壊れて起動不能というのはある >>965
ブロックレイヤーでってことか？
メタやジャーナルまで圧縮することになるし
FS側で圧縮した方が良さそうじゃない？
俺は使ってないファイルとか圧縮効果の高いファイルだけ圧縮して欲しいわ 起動時のえっらい小さなローダーがパスワード入力とか求めた上で
暗号化解除やら、場合によっては圧縮の解凍しながらとか、相当難しいからね
FreeBSDでも/boot/だけは圧縮とかすらできない様に、あちこちにブロック入ってる
（抜け道があったりで完全じゃないけど（それ言い出したら何でもできるけど）） >>967
ちょいと考えてみたけど、ブロックレベルでってのは、特にSSDで無理があるな
透過圧縮の類って、実際の圧縮は確か16KB単位とかでやってる筈
頻度表を扱うアルゴリズムを使うってなった時点で、最悪値で無条件に
256×出現回数の表現に必要なビット数 の頻度の情報が必要になるから
4KB単位での圧縮なんて（テキストファイル限定とかでもなきゃ）先ず意味がない >>967
>>969
内蔵HDDとかというよりかは、FCとかiSCSIとかで接続するような外部ストレージね
OSからは4kbのブロックとして見えるけど、実態はストレージによりそう見せられている
仮想的なブロックの、更に下位のレイヤーでの圧縮や展開
ストレージ内蔵のASICや専用アクセラレータが圧縮や展開をするようなモノ Windowsの世界では、透過圧縮、重複排除は安定的に実現できているのかな？ > NTFS
smbaclientでくっつけるとか。 >>969
同じ意見だわ
余談だけど、圧縮で書き込み量減らしてSSDの寿命を延ばすとか試みはあったそうで
効果は不明
>>970
bio下位ならブロックレイヤーだね
ASICとかハード実装ならインライン圧縮になる
平均IOサイズ考えると圧縮効果低くなるからなあ
ポスト、セミポストならデータマージして圧縮効果上げられるけど、今度はファイル読み込み時の伸長コストに無駄が出るしなあ
iSCSIならネットワークに出すデータ量減らせると考えればFSで圧縮するのが良いと思うぞ >>961
家のCentOSでなんとなしにカーネルじゃないけどアップデートしたら、OSが壊れた。
というか起動に使ってたUSBメモリが完全死亡。
新しいUSBメモリにOSに入れ直して前と同じ環境にするだけで済むだろうと思ったけど、5,6年前に組んだマシンで、当時何をどうやったかの記憶も記録も全くなくなってたｗ
ただのファイルバックアップ用マシンだったけど、元のファイルサーバーに不調が出て一新しようとしてる作業中だったから血の気が引いた。 >>970
ファイルシステム回りを眺めて（読んだとは言ってない）思ったけど、
圧縮で空いた分のブロックとか認識して追従するファイルシステムとかめっちゃ複雑そう
zfsみたいに上で全部管理しないとすぐ限界が来るに1ペソ https://news.mynavi.jp/article/20170804-a056/
Red Hatはすでに実装し利用している技術を精査し、
当面はXFSとLVM2を機能拡張していくことでZFSと同様の機能を実現していく計画としている。
この取り組みは「Stratis」プロジェクトと呼ばれており、
2018年には最初のリリースを見込んでいる。 >>971
Windowsで重複排除はReFSからじゃないかったかな
評判は知らないけど >>974
ext4で暗号化が実装されてるのに圧縮がされてないのはその辺だろうね >>976
逆。
今の所、NTFSでしか使えない。
オフラインなのもあって、まぁ、普通に使えてる。 SUSEは当分xfsとbtrfsでいくんじゃないの Ext4でも標準でジャーナリングシステムをつかっているのだと知りました。
それなら、xfsをわざわざ選択する意義ってなんなのでしょうか。
xfsか、枯れたExt4を使うか迷っています。 >>982
XFSはファイル一つ一つのサイズがデカい場合に良い性能を発揮するらしいので、
普段使いはext4でいいんじゃないだろうか。
> 枯れたExt4
ext4って枯れてるか？絶賛開発中だと思うのだけど。 枯れてるかどうかはわからんけど
xfsのほうがはるこに歴史はあるが >>982です。
>>983-984
ext4ってまだ開発中だったんですか。すっかり枯れたものだと思いこんでました。
それどこか、xfsの方が歴史が長かったなんて。
CentOS 7ではxfsが標準になっているので、逆転現象ですね。
IMAPサーバの構築でメールファイルの管理だけをしたいなら、
使い慣れたCentOS 6で、ext4を使う方がいいかなあと思ってきました。 ext4にしとけ
extundeleteできるのは便利やぞ >>986
xfsは復活できないそうですね。
メモリも食うらしいので、
はい。もう少し、CentOS6でいきます。 SSDのような記録形式は、劣化してくるとコンデンサでいうリフレッシュみたいなことをしないと
あまり頻繁にアクセスしないデータはいつの間にか電荷？の自然消失で壊れると聞いたんですが
ZFSのスクラブはリフレッシュの代わりになりますか？ そんなことしても気休めにしかならないからバックアップ取ったほうがいいぞ >>988
バックアップしたのを丸々リストアするのが一番負担の負担が少ない
細かいファイルを１個１個同じSSD内で完全にコピー→上書き移動とかしてると
ディレクトリのエントリ（ファイルの一覧）への書き込み回数がとんでもない事になる ありです
やっぱりきちんとバックアップも取っておいた方が良いですか
定期的にddでディスクを丸ごとHDDに保存してみようと思います zfsとかReFSみたいなのなら劣化には有効なんだけど、従来のFSじゃ無理
だからデータ化け対策にMSまでもがわざわざ今頃になってReFSとかし始めてる訳で
3DMLCTLCのエラー訂正がどうなるかわからんけど、少なくとも寿命が来たUSBメモリに
ソフトウェアRAID組んでext4辺りで適当なでかいzipとか放り込んでしばらく放っておいた後、
（フラッシュの類の寿命って読み書きできないじゃなくて、
データを保持できる時間が短くなる、だから待つのが重要）
データレベルでのエラーが検出できないから、エラーが起きたり起きなかったりする
ソフトウェアRAIDだけじゃなくて、ハードウェアRAIDも同じ
あれは律儀に両方の物理ドライブから読み込んで、両方のセクタの内容を比較とかしてない
（ハードウェアRAID0+1だと、先ず間違いなく片方からしか読んでないし、
普通のミラーリングでも定期的に読み出す物理ドライブを切り替えて寿命を延ばそうとしてる）
Win10の記憶域プールの類も同じで、プールから作った論理ドライブにNTFS切ると同じ問題が起きる
RAIDはヘッドとかモータとかコントローラが死んだ時には止まらず動き続けてくれたり、
片方のデータで助けてくれたりはしてくれるけど、ECCかファイルシステムのどっちかが
データの正当性を検証し続けてくれない環境だと、運用中のデータ化けには無力（特にSSD） HDD も SSD も同じことだが、
RAID で DISK故障を発見したとき、 他の DISK のデータが一部消えてたという事態は避けなければいけない。
そのために、全データを 定期的に read することが重要。アクセスすることによって 訂正可能な範囲の劣化は修整される。
ダメならダメでデータが消えたことが発見できて RAID 使ってたら 修正も可能。
コピーオンライトなFSは、GC もあるし、そういう機能を持ってると思うけれども、詳細は知らない。 鯖向けのSSDでも、暗号化の類の保護はあっても、正当性の保証って意味での保護は滅多にない筈
（ちょっと考えればわかる）だからSLCとかで物理的な耐久で耐えようとしてるっしょ
で、わざわざ電源断の保護とか謳ってたりするとこからわかると思うけど、
一般的なSSDの多くは書き込み中に電源落とすと、内部での イレース→書き込み で、
イレース直後に力尽きた時はセクタの内容がオール０とかになる
物理的な書き込みの順番を守ってないジャーナリングだと、
下手するとディレクトリエントリぶっ壊れて、ディレクトリ内のファイルの一部か全部ロストする
鯖向けの3Dは知らん 複数SSD + ZFS + 定期scrub でいい？ SSDは記憶場所の再配置も自動でやっているのでscrubなんて無価値だよ このスレッドは１０００を超えました。
新しいスレッドを立ててください。
life time: 1076日 0時間 45分 40秒 5ちゃんねるの運営はプレミアム会員の皆さまに支えられています。
運営にご協力お願いいたします。
───────────────────
《プレミアム会員の主な特典》
★ 5ちゃんねる専用ブラウザからの広告除去
★ 5ちゃんねるの過去ログを取得
★ 書き込み規制の緩和
───────────────────
会員登録には個人情報は一切必要ありません。
月300円から匿名でご購入いただけます。
▼ プレミアム会員登録はこちら ▼
https://premium.5ch.net/
▼ 浪人ログインはこちら ▼
https://login.5ch.net/login.php レス数が1000を超えています。これ以上書き込みはできません。
