X
トップページ⇒Linux
987コメント305KB

ファイルシステム総合スレ その19

0001login:Penguin
垢版 |
2020/06/13(土) 14:45:47.76ID:Qx8FdC0t
● 前スレ
ファイルシステム総合スレ その18
https://mao.5ch.net/test/read.cgi/linux/1514472651/l50

● 関連スレ
ジャーナリングファイルシステム
https://mevius.5ch.net/test/read.cgi/unix/979408065/l50

OpenSolaris/Illumos (OpenIndiana, etc.) 6
https://mevius.5ch.net/test/read.cgi/unix/1337411922/l50

FS関連スレ
https://medaka.5ch.net/test/read.cgi/os/1137387538/l50
過去スレ, 関連リンクは >>2-10 あたりで.
0126login:Penguin
垢版 |
2021/01/15(金) 20:06:19.09ID:wSNn+C+R
アイコンは16年の歴史があるからな!!!




アイコン16歳(´・ω・｀)
0127login:Penguin
垢版 |
2021/01/15(金) 20:08:04.13ID:vAyutpx0
>>124
起動ディスクをUSB メモリをzfsでソフトウェアraid1にするといいぞー
安心感が違う。
0129login:Penguin
垢版 |
2021/01/16(土) 07:45:35.62ID:edFVkFUY
zip内のでもクラッシュするてヤバくね
ドザなんてビギナーだらけだし
対策放置してる間は格好の的
0130login:Penguin
垢版 |
2021/01/16(土) 10:26:48.99ID:Vzy6ynJv
下手をするとウェブブラウザで踏んだリンクがfile://C:/とかでもダメだったりしてな
試してみる勇気はない
0131login:Penguin
垢版 |
2021/01/17(日) 06:39:37.83ID:F/wGP8VN
>>125
嫌な奴への復讐に使えるやないかｗ
0132login:Penguin
垢版 |
2021/01/17(日) 16:59:00.56ID:Sk6MR5jr
>>124
その終盤にある主張に半分同意
NTFSは一見ファイルが無事なようで中身が壊れるサイレント損傷が多い
フリーズすると直前の10〜20秒に更新されたファイルが高確率で壊れた
安全に更新するためにバックアップを作ってから更新するソフトでもバックアップごと壊れる
0133login:Penguin
垢版 |
2021/01/17(日) 21:43:31.55ID:X/j5Pza0
今のSSD/HDDはメディア自体がECC(誤り訂正符号)で書き込むから
データやメタデータへのチェックサムは不要だと思う
メディアのECCで足りない場合はRAID-5やRAID-6にしてスクラブで
定期的に修正すればいい

と言いたいところだが、個人だとRAID-5/6組めないからねぇ

SMART でコレクタブルエラーやアンコレクタブルエラーが頻発して
ない状態でのサイレントな損傷はメモリかマザボの不良かFSのバグか

最近知ったのだがAMDのCPUだとサーバじゃなくてもECCメモリ使える
らしいので入れてみたい
0134login:Penguin
垢版 |
2021/01/17(日) 22:07:32.83ID:YYKfpRUY
>>133
SSDとかECCモリモリですよね。(じゃないと耐えられない)

raid5や6はパリティが壊れるとサイレントクラッシュするのですよ。
(zfs のraidzは大丈夫。あとはbtrfsも含めてサイレントクラッシュする。)

Ryzen CPU(グラフィック内蔵のAPUはPROシリーズのみ)はECCに対応してるが、マザーが対応してないとムリ。ECCメモリ使えるけどECC機能が使えない感じ。
またECC対応してても、訂正した時にOS通知されるかはまた別問題。
なかなか苦労します。

DDR3メモリ以降、row hammerの危険に晒されてるのでECCはあった方がいい。もしくはDDR5(標準で32bit毎にECC)まで我慢。
0135login:Penguin
垢版 |
2021/01/17(日) 23:09:17.14ID:X/j5Pza0
>>134
> raid5や6はパリティが壊れるとサイレントクラッシュするのですよ。

意味わからん
RAID-5でストライプが２つ、RAID-6なら３つ同時に壊れない限り
クラッシュしないでしょ？

そもそもサイレントクラッシュ(I/O Error を返さない)するのはパリティ
計算して正常だった場合で、相当な確率になるはずでは？

そうじゃなきゃハードウェアRAID製品のスクラブ機能は一体何をしている？
(それとも md/lvm の RAID-5 はリード時にメディアエラーじゃない限り
パリティを読んでないってこと？)
0136login:Penguin
垢版 |
2021/01/17(日) 23:50:50.72ID:YYKfpRUY
>>135
壊れたパリティを元に、正常なデータをハードウェアraidなりソフトウェアraidが壊しちゃうのよ。
パリティが真の設計だからね。
0137login:Penguin
垢版 |
2021/01/18(月) 00:03:16.56ID:Vu8dGznQ
それもあるし、パリティは、「消失したデータ」を復元することはできても、
一体どれが誤ってるのかわからない状況だと、どれが誤りかを識別して訂正はできないと思う（何かがおかしいということが分かるに過ぎない）
サイレントクラッシュって書き込み途中での電源断で起きるということだからパリティが壊れることもデータが壊れることもあるわけで
0138login:Penguin
垢版 |
2021/01/18(月) 01:13:27.67ID:1g4OJJqS
>>137
> サイレントクラッシュって書き込み途中での電源断で起きるということだから

内容は間違ってないが、悪いけどそれは話のすり替えだ
話がそれ過ぎたし、この話題はもうやめますね
0140login:Penguin
垢版 |
2021/01/18(月) 16:43:02.31ID:dazYikCn
何でアイコンの表示とファイルシステムが結びついてんだ
0141login:Penguin
垢版 |
2021/01/19(火) 06:53:23.26ID:kYmffXAa
ZFSとかのミラーリングで片系のパリティだけ損傷した場合はどうなるの？
0143login:Penguin
垢版 |
2021/01/19(火) 10:34:09.51ID:upb7F6zS
結局NTFSってFAT32を無理矢理拡張したようなもんでしょ？
そうでなければバックグラウンドサービスで常時断片化を解消しようとする筈がない

少なくとも大事なデータをしまっておく気にはなれないよね
0144login:Penguin
垢版 |
2021/01/19(火) 10:46:26.30ID:4vT3g5Ot
「Linuxのファイルシステムは断片化しない！」と吠えてた奴がいたな
0146login:Penguin
垢版 |
2021/01/19(火) 12:27:42.15ID:Fc+0MPzG
「Linuxはウイルスに感染しない！」よりはマシだからセーフ
0147login:Penguin
垢版 |
2021/01/19(火) 12:44:15.91ID:/3d5Dr9+
アプリによってファイルの上書きが、メモリ上のものを既存ファイルに追記のケースと、別名保存完了後に既存ファイルを消してリネームのケースがあって、断片化に影響してる気がするけど、あってる？
0148login:Penguin
垢版 |
2021/01/19(火) 14:10:36.49ID:s0futnPp
合ってないと思う
本当に追記モードで書ける場合ってごく僅かだと思うし
0149login:Penguin
垢版 |
2021/01/19(火) 14:12:40.28ID:7UmUKAt0
Linux のファイルシステムが断片化しにくいというのはなぜだっけ
EXT ファイルシステムのことだよね
Windows の FAT や NTFS が断片化しやすいのは過去の互換性を重視しているタメレガシーな仕様を引きずっていると思われるが
0150login:Penguin
垢版 |
2021/01/19(火) 15:29:07.50ID:FmzE4vXX
ちょくちょくe4defragしてるけどext4も~/.cache内とか普通に断片化しまくってるし
0151login:Penguin
垢版 |
2021/01/19(火) 18:18:33.08ID:BK3Mr0Sm
>>149
配置の様子を見ることが出来ない、集計表示するツールが普及していないだけ
0153login:Penguin
垢版 |
2021/01/19(火) 20:04:02.54ID:upb7F6zS
>>151
今別パーティションのUFSなんだけど、１年ちょっと使ってこんなもん　書き換え頻回
https://i.imgur.com/3iSmcOv.png

ext4も似たようなもんなんじゃないの
数字にどんだけ信憑性があるのかだし、最近Linuxでext4使ってないから知らんけど
0154login:Penguin
垢版 |
2021/01/19(火) 20:13:22.02ID:e+sIKpUU
>>153
ffsのfragmentationは、断片化って意味じゃないぞ
0156login:Penguin
垢版 |
2021/01/19(火) 20:32:32.85ID:upb7F6zS
>>154,155
今まで完全に勘違いしてた　アハハ(　´▽｀)
そっちのフラグメントの指標だったのね

放置プレイせず指摘してくれてありがとう
0157login:Penguin
垢版 |
2021/01/21(木) 00:36:18.40ID:Cfby4q5X
そういえば
Windows95が出た時代は当然FAT16なんだけど
クラスタサイズがセクタサイズに合わせた512byteなのが普通だった
そのため断片化も激しく、当然のようにOSにビジュアルなデフラグツールが付属することになった
(それまでもDOS上のデフラグツールは出ていて売れていた)

一方、同時期のUnix系のOSは、ほとんどが4Kブロックサイズを採用していたため
512byteのDOS系と比較すると断片化が少なかったのは当然かもしれない
これはNTFSの「極小ファイルはMFTに保存」等とは違う、単純な理由での「断片化しにくい」になり
そのイメージが続いているのかもしれない
もしかしたらと思ったけどswapがファイルであったことはさすがに関係ないかな
0158login:Penguin
垢版 |
2021/01/21(木) 08:27:17.48ID:O8ejFMFO
Win95からFAT32だった筈だが…
0159login:Penguin
垢版 |
2021/01/21(木) 08:44:51.40ID:+PmEnWYW
FAT32はOSR2からでしたね
ext2は断片化しても気にするなって感じじゃなかった?
0160login:Penguin
垢版 |
2021/01/21(木) 09:13:42.80ID:4jdzXuHO
む、何か記憶違いがあったな

クラスタサイズが512なのはFDDの時代だけかな
領域サイズに応じてクラスタサイズが肥大化するため
それを避けるために導入されたのがOSR2でのFAT32だっけか
いや領域サイズの上限がファイルサイズの上限と同じ2Gで、そっちの限界回避か

98の5インチFDDの頃からノートンとかでデフラグしていたのは確実
Win3.1時代は忘れた
0161login:Penguin
垢版 |
2021/01/21(木) 09:14:46.06ID:4jdzXuHO
いや、FDDはFAT12か

もういいや
0162login:Penguin
垢版 |
2021/01/21(木) 09:38:57.39ID:Om004d0Z
結論

Windowsのファイルシステム
→断片化を解消しないとパフォーマンスが著しく低下する為デフラグツールが発展した
システムデフォルトで常時断片化を監視しているのが何よりの証拠

Unix/Linuxのファイルシステム
→Windowsほど断片化を気にする必要が無い為デフラグツールも少ない
必須ツールならもっと普及している筈である
0163login:Penguin
垢版 |
2021/01/21(木) 10:37:58.76ID:ieOcyzfJ
結論

信者はキチガイ
0164login:Penguin
垢版 |
2021/01/21(木) 19:43:45.77ID:h4ldsjZW
とりあえずルート以外をbtrfsにした
0165login:Penguin
垢版 |
2021/01/22(金) 02:07:58.45ID:4OwQpeSw
>>142
ええやんこれ
Winで思ってた以上に普通に使えてる
0166login:Penguin
垢版 |
2021/02/02(火) 06:14:30.95ID:C7wARh6S
CentOS7でxfsをブロックサイズ8192で作るとmountできないのですが、そういうもの？
スレチなら誘導していただけると嬉しいです。
0167login:Penguin
垢版 |
2021/02/04(木) 20:25:16.41ID:o/O4MlkW
>>142
win上でext*にアクセスするドライバ入れてるとリムーバブルドライブを解除できなくなったので
そのドライバを削除したことを思い出した
0170login:Penguin
垢版 |
2021/02/17(水) 13:00:57.80ID:Ls2ZfyF7
Btrfs Has Many Nice Improvements, Better Performance With Linux 5.11

General performance improvements with upwards of "tens of percent" for some workloads.

ttps://www.phoronix.com/scan.php?page=news_item&px=Btrfs-Linux-5.11-Improvements
0180運用情報臨時板でワッチョイ導入議論中
垢版 |
2021/03/03(水) 09:22:57.93ID:Nxx8V343
DD コマンドで作成した領域をループバックでマウントして利用してるんだけど
専用のファイル領域に作成したものより安定性が低いようなことを噂で聞いたことがある
単なるファイルだから間違って消したりもできるわけだけど他にどんな問題があるの？

zfs やバター FS を loopback で使ってるんだけど楽だから
0181運用情報臨時板でワッチョイ導入議論中
垢版 |
2021/03/03(水) 10:02:39.62ID:cTNqxe23
ファイルシステムとしてマウントするだけなら問題は無いんじゃ無いかな。
ループバック用に回避処理が入っていなければ重ねたレイヤの数だけエラー処理とか複合するんで
普段は良くてもトラブル時は面倒なことが起こるかもしれないけど、気にするほどじゃないと思う。
よほど大きなサイズでも無い限りキャッシュのダブりとかも気にするほど影響は無いだろうし。

ただ一時的では無いスワップ領域にするのはお勧めしない。
0182運用情報臨時板でワッチョイ導入議論中
垢版 |
2021/03/03(水) 10:49:49.05ID:Nxx8V343
>>181
なるほどエラー解析時にレイアの重なりで複雑になるという意味ですね
キャッシュのダブりは OS 側のファイルキャッシュとファイルシステム側で作動するキャッシュがあるのですね

一時的ではない Swap 領域というのは OS が利用するスワップという意味ですか？
最近のカーネルだとループバックのスワップでも安定性に問題がなくなったと認識してます Ubuntu でもデフォルトではディスクパーティションにスワップ領域を切らなくなりました
0183運用情報臨時板でワッチョイ導入議論中
垢版 |
2021/03/03(水) 12:14:56.73ID:lgKPKR6M
ハンスが再来年出所する予定らしいけどreiser4が取り込まれることはありますか？
0188運用情報臨時板でワッチョイ導入議論中
垢版 |
2021/03/05(金) 18:29:03.56ID:8yj3ez/J
Linux 5.12 Lands Fix For File-System Corruption Caused By Swapfile Issue
www.phoronix.com/scan.php?page=news_item&px=Linux-5.12-Corruption-Fixed

スワップファイルへの書き込みがスワップファイルを置いているパーティションへの書き込みになるバグ
0191運用情報臨時板でワッチョイ導入議論中
垢版 |
2021/03/05(金) 22:57:30.27ID:h4SDn5Ek
>>190
むしろ逆のイメージ。REGZA HDDレコーダーにXFSが採用された実績から大容量(TBクラス)ストレージ向けかと
現状ではXFSとext4でできることに大差はないから、rootにあえてXFSを採用することはないと思う
SSDに良いFSで性能など実績があるのはF2FSのイメージが強い
0192運用情報臨時板でワッチョイ導入議論中
垢版 |
2021/03/06(土) 09:53:05.28ID:Zg8wx6H4
俺もついさっきrootfsをf2fsでフォーマットし直したところだよ
grubのバージョンがf2fsに対応してなかったから
systemd-boot入れ直す必要があったけど
（/bootを分けるのはUEFIな今の時代なんか嫌）
0195運用情報臨時板でワッチョイ導入議論中
垢版 |
2021/03/09(火) 03:37:55.27ID:sGJz7SaS
カーネルに取り込まれたネイティブexFATはまだ使わないほうが良いぞ

・数GBに1〜2クラスタの頻度で書き込んだデータが破損する
・タイムスタンプのロケールの処理が正しくなく、Windowsとやり取りすると数時間ずれる
・Windowsでマウントするときエラーを検出することがあった
・去年ここで書いた、メタデータを更新するとタイムスタンプが破壊されるバグは直ってる
・性能はFUSE版よりかなり良い

kernel 5.8

今はデフォルトで有効になってるからブラックリストで無効化する必要がある
0198login:Penguin
垢版 |
2021/03/11(木) 13:38:40.74ID:c/de+RjG
>>193
確かに。警告無かったことを知らなかったわ
0199login:Penguin
垢版 |
2021/04/28(水) 06:59:54.63ID:RDsHbwe/
Debian11からいよいよBtrfsに乗り換えてもいいですか？
0200login:Penguin
垢版 |
2021/04/28(水) 14:03:05.37ID:qAuPbk02
まだBtrfsで消耗してるの？
0201login:Penguin
垢版 |
2021/04/28(水) 16:03:01.63ID:w2riUtF+
Btrfs楽やでホンマ
0202login:Penguin
垢版 |
2021/04/28(水) 16:04:27.29ID:/Rv/1bAq
reiser4一択
ちょっとバラ肉にしたぐらいで開発者収監しすぎなんだよなあ
0204login:Penguin
垢版 |
2021/05/05(水) 13:25:13.38ID:ecRafJ7U
Winはntfsが結構優秀だから要らんよ
0205login:Penguin
垢版 |
2021/05/05(水) 13:40:15.01ID:I8H8pma2
NTFSはそこそこ優秀かも知れんが
管理するOSがWindowsではちょっとマンセーは無理
0206login:Penguin
垢版 |
2021/05/05(水) 14:21:43.34ID:ecRafJ7U
Windowsは互換性に関してはマジで凄い
Linuxで10年前のソフトを最新環境で動かそうとすると苦労するからね
0207login:Penguin
垢版 |
2021/05/05(水) 17:44:23.14ID:qtfZkKcP
Linuxはソースあるからね
emacs（1976年）もTeX（1978年）も現役
0208login:Penguin
垢版 |
2021/05/05(水) 18:01:25.19ID:2Vd9UitC
ed (1970年代前半) も sed(1973年) も一応現役
0209login:Penguin
垢版 |
2021/05/05(水) 21:27:14.92ID:XrnixLKD
sed は一応でなくて、シェルスクリプトの一部のように使うだろ。
0210208
垢版 |
2021/05/05(水) 21:39:56.99ID:0Vx+wHoK
そりゃそうか　俺も使うし
それも結構な頻度で愛用している
0211login:Penguin
垢版 |
2021/05/07(金) 19:15:48.16ID:N73gosRP
sedってコマンドなのかと思ってたわよ
0212login:Penguin
垢版 |
2021/05/07(金) 19:27:04.20ID:DfASJ4ip
viも同じようなもんよ
0213login:Penguin
垢版 |
2021/05/28(金) 06:51:44.05ID:w5WT5sqk
スレでもたまに名前が上がってたBcachefsって目的はすごい良いな、Btrfsが躓いてるからちょっと期待しちゃう

Bcachefs は、 Btrfs と ZFS の機能をよりクリーンなコードベース、より安定性、より高速、 GPL 互換のライセンスを提供することを目的とした次世代の CoW ファイルシステムです。
0214login:Penguin
垢版 |
2021/05/28(金) 07:02:11.16ID:gICJRhZd
Bcachefs一時期毎月20ドル支援してたんだけど、Btrfsが良い感じになって来たので、支援止めちゃった
0215login:Penguin
垢版 |
2021/05/30(日) 18:23:59.48ID:kdTnPrQw
目指すだけならどこも凄い事を主張するからなあ・・・
0216login:Penguin
垢版 |
2021/05/30(日) 21:33:08.26ID:xzSC8kpf
openZFSが最新版でかなり高速化するらしい
0217login:Penguin
垢版 |
2021/05/30(日) 23:07:19.53ID:Yv4FXzOw
速くする方法が分れば、他のファイルシステムも続くから頑張って欲しいな。
0218login:Penguin
垢版 |
2021/06/08(火) 20:35:14.27ID:A0+5/fSQ
カーネル5.13でzstd関連のコードが刷新されるから
圧縮使ってる人は楽しみな更新になるね
0219login:Penguin
垢版 |
2021/06/13(日) 12:57:08.28ID:Ri2lWsvA
Bcachefsの公式ページを読んだら
コードが綺麗ばかり主張していて、実際githubを覗いてみたら
確かに綺麗なのかもしれないけどコメントが少なすぎて誰も触れない事には変わりない感じだった。
0220login:Penguin
垢版 |
2021/06/13(日) 19:11:57.13ID:Z14yD/aZ
$ sudo btrfs sub snap @ /media/user/debian/@
$ sudo btrfs sub snap @home /media/user/debian/@home

このコマンドの参考ページを教えて下さい
0221login:Penguin
垢版 |
2021/06/13(日) 20:22:25.19ID:XbYcfZqj
$ man 8 btrfs-subvolume
0222login:Penguin
垢版 |
2021/06/18(金) 12:55:21.67ID:VQxMXzTC
debianスレにも書いたんですが、ext5って開発されていないんですか？
ということはいずれどこも（debianも）btrfsかxfsになるんですか？
0223login:Penguin
垢版 |
2021/06/18(金) 13:28:58.70ID:m1DWeQ1B
開発されない
ext4の改良が続いている
0224login:Penguin
垢版 |
2021/06/19(土) 11:20:25.99ID:zGtebo9v
ちょっとお聞きしたいのですが、新規に買ってきた4TBの東芝製HDD(MN08ADA)をmkfs.ext4でフォーマットしてマウント(USB-HDDケースに入れています）すると、
何もファイル操作をしていないにもかかわらず頻繁にアクセスするのですが、(umountするとアクセスしなくなります）、
-O ^metadata_csumとしてフォーマットするとアクセスしないのですが、一体何が起きているのでしょう？
USB-HDDケースが行けないと思って内蔵SATAにしてみても動作は同じでした。
試しに最初の300MiBだけフォーマットしてマウントしてみたらしばらくアクセスした後、静かになりました。
metadata_csumの有り無しで変わるのですから、ココらへんがおそらく原因だとは思うのですが、4TB分チェックが何かが終わるまで待つしかないのでしょうか？
新着レスの表示
レスを投稿する

ニューススポーツなんでも実況