ファイルシステム総合スレ その18
■ このスレッドは過去ログ倉庫に格納されています
、i`ヽ ,r‐'ァ `ヽ:: ::´ ヽ ヽ , -‐--、 / / ヽ \ I:::::::I_ _ / / ┌──────────── ヽ ヽ i,(;;;ノI、;;;)l ,,/ , ' < レイザーエスエフゥゥゥ! ヽ ` ー 、.,,ゝ´ヮ`,ノュ_, - ' r' └──────────── ` 、_ /::: `山'::::: / ヽ:::::::::::|::::::::"",r‐' 〉::::::::|::::::::::¨/ /;;;;;;;/;;;;;;;;;;/ /;;;;;;;/:::::::::::《 <;;;;;;;《:::::::::::::ヽ )) / ヽI,r''"""^~ヽ / ,/ ヽ ヽ ライザーエフエスだよHG >>920 今は使ってないが 壊れかけのHDDでEXT3よりも頑張ってくれた思い出 https://inmatelocator.cdcr.ca.gov/Details.aspx?ID=G31008 Hans Reiserは2020年5月に仮釈放の申請ができるようになるらしい(仮釈放が認められるとは限らない) ラップトップでスナップショット使おうとするとやっぱりbtrfsしかないんだろうか LVMも使ってみたけどスナップショット取ると遅すぎて使い物にならなかった ZoLのほうが良かったりするのかな ZFSってファイルサーバーに使うもんだって勝手に認識してるわ 一般的なデスクトップに使うのってどうなのかね 軽さと安全性はトレードオフ 速さが必要ならext2でも使ってなさいってこった >>297 ワークステーションならまだしもラップトップじゃ力不足だろうね zfs遅い速いって不毛な議論されてるけど、zfsはボリュームの構成で激しくちがうからなんとも言えないだろう zfsでシングルボリューム、シングルプールだと力なんか必要ないだろう データ壊れるより遅くても耐障害性があるほうがいい、、 ext/xfs/reiser/jsf色々使ったけど懲りた ZFSは使って楽しいけどね。覚えるコマンドも 少ないし。 >>305 何使ってるの? btrfsに関しては普段はいいけどいざ問題が起きてメンテナンスしたりするとすげーバギーで常用は辛いって感想 とりあえずlvm+ext4に逃げてる zfsは使ったことない >>307 メインはfreebsd+zfs linuxならext4,xfs macはapfs winはNTFS 使いたいOSが押してるやつだな 使ってるけど自動でデプロイされたから中身よく知らない とりあえずbtrfsが遅い まあxfsやext4はlvm使うことが多いからそうなるとbtrfsとそんなに違わなくなるのかもしれないが https://www.phoronix.com/scan.php?page=article& ;item=linux-50-filesystems&num=1 zfsは構成がどうのとか関係なくメタデータ操作系が全般的に遅いから homeやspool的なものとかデスクトップマシンとかでは使いたくない 鯖には用途に合わせてxfsとZoL デスクトップにはbtrfs使ってる btrfsはもう少し速くなってくれたら言うことないんだけどなあ zfs勢はbtrfsをpoor man's zfsとか揶揄するけどエンタープライズしか考えていないようなのをノートパソコンで使えたもんじゃないよな >>173 zfsは、高価なハードウェアを使わない より安価なソフトで解決する プアマンズRAIDだしね。 >>317 今どきはCPUが性能余してるからソフトウェアRAIDの方が速いと思う 停電とかの事を考えるとそう単純な話じゃなくなる バッテリとか大容量キャパシタ積んだコントローラなら突然の停電でも 書き込んだなら書き込んだ、書き込まれてないなら書き込まれてないの 保証がある程度できるけど、 ソフト側で逐次各記憶装置に書き込み命令とか送り込んでると一貫性がなくなる win10以降の記憶域プールはその辺の対策はしてるみたいだけどめっちゃ遅い IsPowerProtectedをTrueにすれば早くなるけどその辺の対策がされなくなるしな 所詮ソフトウェアRAIDだからっつーて、 単純にパリティ分散とかミラーリングとかすればいいっちゅーもんでもない RAIDZで雷の日でも精神ダメージが入らなくなったのは嬉しかったな バッテリ付きRAID ごめん途中送信した バッテリ付きRAID高いから手が出せなかったって言いたかった 小規模・個人レベルならどっちでも良いよ データ保証はアプリとファイルシステムが担うべき DCクラスでハードRAIDはナンセンス ファイルシステムが物理層の構造に依存するとか非現実的だろう 物理というかブロック層はbarrier/fua/flushに従うだけやろ?データとしての一貫性は上位のソフトウェアにしか分からんから>>322 は当たり前の事を言ってるぞ そういえばWindowsはファイルシステムの下位にフィルターが入るとかでWSLがやたらIO遅いとかネタになってたな WSLが遅いのはNTFSの上でfuseみたいなの動かしてるからじゃないか >>324 データの保証ってチェックサムレベルだったら勘違いしてるぞ 停電とかで一部のHDDにだけ書き込みが実行されて他に書き込まれなかった時、 単純に分散するだけじゃハードの恒久的な障害かそうじゃないかがわからなくなる そのフラグなりジャーナリングなりまでをもファイルシステムがやれって事でしょ? zfsみたいなチェックサムとは訳が違う >>327 raid5/6のwrite hole問題の話か あれはストレージノードの冗長構成とっていて頻繁なディスク同期のできない企業向けシステムが気にする問題やろ?停電や強制電源オフを頻繁にする人なら気にしたほうがいいが win10の記憶域プールはファイルシステムより下で ハード起因なのか停電とかなのかを判別してる その機能の有効無効のフラグがIsPowerProtected bcachefsが今年中に使えるようになるんじゃないかね 結構期待してる 今年使えるようになったばかりのfsなんて怖くて使えない Linuxのメインラインに取り込まれるのが今年になるだろうってだけで何年も前から使えるけどな Linux上のZFSがLinux 5.0でひっかかる https://www.phoronix.com/scan.php?page=news_item& ;px=ZFS-On-Linux-5.0-Problem jfsって使ってる人どれくらい残ってるんだろう これに新しいReiserfsにRedhatが新しく作ると言われてる奴が加わると思うと、胸が熱くなる UX4800で主流だったvxfsってどうなったんだろ olacleのzfsアプライアンスのボリュームをwindows10からsmbアクセスしたとき、大文字小文字の違いしかないファイルペアがあると、それらが8文字の長さの別のファイル名に見えるのはどういう機能なのでしょうか。 NFSでCentOSでマウントして、"hello.txt"と"Hello.txt"を作成すると、Windowsでは HE~B3GZT.TXT HE~C3GZT.TXT という2つのファイルに見えます。 >>345 Windowsはケースセンシティブじゃないから… ext4で大文字小文字の区別をしないモードが開発されているらしい ケースセンシティブでなきゃ死ぬ環境にも問題がありそうな気がする 昔、別の板でだけど FAT32の外付けディスクにWin2000で大文字小文字だけの違うファイルを作って それをWin98で読んだらどうなるかってのの話題があったな FATの特性(エントリべた書き)もあるだろうけど dirで表示されるファイルとエディタで開くファイルが違うとか、 移動させようとすると別な方が移動されるけど残った方が読めるようになるとか いろいろ挙動不審だったらしい >>345 FS側じゃなくてsambaのname manglingじゃねえの Windowsで使えない文字とかもSamba経由だとそうなる md-raid 6上の6TBのbtrfsボリュームが怪しくなった > BTRFS error (device sdb): parent transid verify failed on 222893 34353920 wanted 631557 found 632032 そして消せないサブボリュームがある # ls -l /mnt/BtrfsTank ls: /mnt/BtrfsTank/encoding にアクセスできません: 入力/出力エラーです 合計 0 drwxrwsr-x. 1 root video 636 3月 10 13:13 datastorage d?????????? ? ? ? ? ? encoding この?の並びが激しく気持ち悪くて不気味だ、このencoding内のデータはどうでもいいってか何も入ってなかった気がする 今の所読めないデータはないし読み書き含め他の部分は問題なく動いて見えるが、btrfs-select-superやbtrfs check --repairやってもダメなので データ退避してから作り直すしかない スナップショット撮っては消ししまくりにしてはよく頑張ってくれたと思う データ退避処理の進捗をみながらRedHatがbtrfs投げ捨ててからの動きとか見てるけど btrfs on md-raidでいいのかZFS on Linuxに移行すべきかなかなか良いスタンダードが確立してないよねぇ btrfsはトラブるたんびにモグラ叩き、の繰り返しだったろうに何故に実運用しようとするのか video encodingかw エンコ厨のアニヲタは氏ねばいいよw btrfsのスナップショットは作る分にはいいけど… もうNILFS2は誰も見てくれないのかなあ。 結構好きで/homeに使っているのだけれど。。。 >361 Logファイルシステムなんでファイル操作ごとにチェックポイントができるから保存されている限り任意の時点のファイルシステムの状態が復元できるんで、 あ、消しちゃったとか、間違えて書き換えちゃった時にすぐ取り返せる。 ルートで対象のチェックポイントをスナップショットに変更してマウントする作業する必要があるけど。。。 ファイルシステム止めずにスナップショットが得られるので他の作業しながらコンシステンシー気にせずにバックアップが取れる。 書き込み量とストレージのサイズによるけどデフォで1時間で設定で24時間位は遡れるようにしているので割と気軽にファイル操作している。 とは言っても実際にファイル取り返さないといけないケースは1年に数回程度だけど。 このディスクのファイルシステム何かわかる人いませんか・・・・・・FreeBSDのUFSではマウントできず・・・・・・。 GPT fdisk (gdisk) version 0.8.10 Partition table scan: MBR: protective BSD: not present APM: not present GPT: present Found valid GPT with protective MBR; using GPT. Disk /dev/sdf: 3907029168 sectors, 1.8 TiB Logical sector size: 512 bytes Disk identifier (GUID): 5D5F6FE4-4185-11E4-AE7C-20C6EB48C57A Partition table holds up to 128 entries First usable sector is 88, last usable sector is 3907029134 Partitions will be aligned on 8-sector boundaries Total free space is 5071 sectors (2.5 MiB) Number Start (sector) End (sector) Size Code Name 1 88 4194391 2.0 GiB FFFF 2 4194392 3907011775 1.8 TiB FFFF 3 3907011776 3907024063 6.0 MiB FFFF パーテション1をddで吸い出してfileしてみたら↓ # file backup-disk-image-sdf1.img backup-disk-image-sdf1.img: Unix Fast File system [v2] (big-endian) last mounted on /tmp/mnt/ustorage3, last written at Mon Mar 11 10:13:02 2019, clean flag 0, readonly flag 0, number of blocks 524288, number of data blocks 520071, number of cylinder groups 4, block size 32768, fragment size 4096, average file size 16384, average number of files in dir 64, pending blocks to free 0, pending inodes to free 0, system-wide uuid 0, minimum percentage of free blocks 8, TIME optimization あ、ディスク自体はパナのVIERAに外付けHDDとして接続してたTV録画HDDです。 HDD自体はsmartやら、ddやらの読出し結果からは異常はないっぽくて、 どうも中のファイルシステムがおかしくなってるっぽいなんとか復旧したく。 各パーテション、CodeがFFFFでファイルシステムが何かわかりません。 fileの結果からは、/tmp/mntとなってるので、UNIX系の何かだとは思うんですが・・・・ レコーダで初期化したHDDは独自のファイルシステムになってるもんじゃないの? そうでないと録画データの引っこ抜きとかが容易になるわけで。 > Unix Fast File system [v2] (big-endian) これが「UFS2」にしか見えなくて、 まずこれをやって https://www.google.com/search?q=ufs2+%E3%83%AC%E3%82%B3%E3%83%BC%E3%83%80%E3%83%BC 次にこれをやってみて https://www.google.com/search?q=ufs2+%E3%83%AC%E3%82%B3%E3%83%BC%E3%83%80%E3%83%BC+viera なんとなく >>365 そんなことしてたら、コストに見合わない 安定性やバグ取りにサポートまで必要なことに手を出すほど、メーカーはヒマじゃない せいぜい多少の細工をして外部から読みにくくすることがあるかも程度 ありがとうございます。独自ファイルシステムだとコスト的にあわなさそうというのは同意見です。 TV側のOSkernelレベルからカスタムする必要がありそうですし。 吸い出したddをもとに、現状、以下をやってます。 ・別HDDへのddでの丸コピでどうにかならないか → HDD個体識別はGUIDでやってるだろうという推測ベースで激遅コピー中。HDD異常ではなさそうなので望み薄。 ・ddとったイメージをいろんなOSでマウントして中身をみてみる → USF2対応のFreeBSDでマウントしてみたけど、なぜかデバイスファイルのリンクがきれててNG。 GUIDとか、gpt上のファイルシステムaAラベルとかを振りなおしてもだめでした。 ddイメージのfileの結果はUSF2だけど、gptのcode上はUSF2を示すA503ではなく、 FFFFで、リザーブbニいうか、末番なのが果てしなく怪しい。 ・マウントせずにファイルを見れるツールを使ってファイルだけ吸い出してみる → 大量の分割ファイル(mp3、mlv?)。あとSQliteとかいうDBMS関連と思われるファイル(dbx、sqlite、txt) 某社みたいにmpegファイルとして直で保存してなくて、DBMS内に格納していそうな予感。 DB論理破壊なら絶望的・・・・・。そもそも構造もよくわからんし・・・・。 現状からすると、UNIX系をベースにファイルシステム、保存方法の両方に細工がされてそうに見えます。 DB解析はあきらめて、ちょっとファイルシステムが壊れてるだけです!の方向で継続してま・・・・・ 東芝のTVにしとけばよかったなぁ・・・・ てきとうにやってたら━(゚∀゚)━DB構造見えてきたー https://imgur.com/pg50Nq7 このDBはプリセットっぽいけど一応データを見ておこう・・・・・・ ????TVよりはるか昔のなにやら不穏な文字列がががが・・・・・・ パナに怒られても嫌なのであれなところは黒塗りで・・・・・・・・ https://imgur.com/ZtSb9BI ということで全力でDBデータ吸い出し中。 TV録画HDDまるごとddイメージ用の2TB、 TV録画HDDのパーテションごとddイメージ2用のTB、 パーテションごとddイメージの一応swabイメージ用の2TB、 DB吸い出し用の2TB。空き容量ガー。 今日はもうddでHDDコピーしながらDB吸い出し仕掛けて寝ることにしま・・・・ もし同じような境遇でデータ救えた人がいればアドバイスいただきたく・・・ 録画データ壊れてて読み込んだ時点で死んでるとかじゃなければDB修復したら元のTVで見れるでしょ はい。結局マウントかけずにフアイルを読み出すツールだと、情報が断片的にしか読めずDB復旧にはいたりませんでした!あと、ddの完コピディスクも予定通りダメなとこまでコピーされてだめ!南無! 結局、gpartのFFFFコードの小細工を突破して、正攻法でマウントして読み込んでffckなりするしかなさそうですが、これはうちのスキルではむりんご。 【速報】削除後、起動しているだけでデータが復元できなくなるという性質がLinuxのファイルシステムに存在することが判明 https://cloud.watch.impress.co.jp/topics/dds1904/ >Windowsでは、1回削除してもファイルシステム上にはフォルダ構成が残っているのですが、 >Linuxに関しては、削除後はしばらくそのままにしているだけでどんどん消えていきます。 >起動しているだけでデータが消えるという性質がLinuxのファイルシステムにはあります。 >>375 Linuxでは削除したデータの復活が難しいって話でしょ? データが勝手に消えるという意味ではないぞ ファイルシステムの仕様の話でバグでもなんでもないよな それにファイルシステム上から完全に削除したファイルの復元なんてWindowsにしろLinuxにしろ保証なんてしてないし ext4との比較かな そんな性質あるのか?ssdの場合か? >>377 一般的には、そうだよね。 記事の内容は、視点がフツーじゃない。 >> 363 LGのTVの録画に使っていたディスクが壊れて調べたらLGのモデルでは次のようなことがあるらしい。 https://www.avforums.com/threads/recording-on-lg-smart-tv-lm760t.1697353/ ひとことでいうと、録画ファイルのメインデータは JFSの第一パーティション。 メタデータ(リストとかかな?) はext3の第二パーティションに書き込む。 パーティションタイプはa2という独自のものを利用している(!) 新しいディスクはLG TVにフォーマットさせてたが、 TVが初期化した以前の2TBのWDディスクは fdisk -l でみるとパーティションのバウンダリがセクターの始まりにないという。 そこでlinux の上で gparted で jfsのパーティションと最後に50MBほどのext3のパーティションを つくり、そのあとfdiskの t コマンドで パーティションタイプをa2 に書き換えて、 上のAVForumの投稿にあるように無事つなげた。 (最初まちがってa1を書き込んだらUSB機器に問題があるといって認識せず。 正しくa2にしたら接続したが、「初期化」しますかと聞いてきた。 パーティションから作りかえることはしないだろうとOKして使えるようになった。) 古いディスクは ddrescueで読みだそうとしているが、3日かかるとか出ていてあきらめ状況。 小さいext3部分は強制的にext3としてマウントできた。jfsの方はだめだった。 消費者としては録画ハードディスクをつなげることができるTVでは - S.M.A.R.T.の情報を表示して欲しい(ディスクが壊れる場合の80%くらいはS.M.A.R.T.で予測できるのではないかな。 あとの20%はいきなりこわれるから、気休めだが。)、 - Windowsマシンなどでバックアップコピーを簡単にできる方法を提供してほしい とつくづく思った。 (TVの内部キーで暗号化している部分があると思うので、他では再生できないバックアップなんだけども。) メーカーが独自ファイルシステムなんて作る余裕はないという考えには同意。 LGはパーティションタイプを変えることで obfuscateしているんだけども上記のAVFORUMの投稿者はどうやって知ったんだろう? ファイルのヘッダ見るだけでファイルタイプがわかるように、 その人もパーティションのヘッダを見てファイルシステムがわかるんしゃないかな。 ファイルシステムにシグネチャとかあるのか知らんけど。 無かったら mount -t auto なんて出来ないぞ NixOS Takes Action After 1.2GB/s ZFS Encryption Speed Drops To 200MB/s With Linux 5.0+ https://www.phoronix.com/scan.php?page=news_item& ;px=NixOS-Linux-5.0-ZFS-FPU-Drop ZoLもうダメそうだな AES-NIが使えなくなってそこまで遅くなってるんだろう 暗号化をAESからchacha20に切り替えたらかなり改善されると思う >>387 ChaChaもChaChaでSSE/AVX使えないのはつらいぞ ■ このスレッドは過去ログ倉庫に格納されています
read.cgi ver 07.5.1 2024/04/28 Walang Kapalit ★ | Donguri System Team 5ちゃんねる