ファイルシステム総合スレ その19

■ このスレッドは過去ログ倉庫に格納されています
2020/06/13(土) 14:45:47.76ID:Qx8FdC0t
● 前スレ
ファイルシステム総合スレ その18
https://mao.5ch.net/test/read.cgi/linux/1514472651/l50

● 関連スレ
ジャーナリングファイルシステム
https://mevius.5ch.net/test/read.cgi/unix/979408065/l50

OpenSolaris/Illumos (OpenIndiana, etc.) 6
https://mevius.5ch.net/test/read.cgi/unix/1337411922/l50

FS関連スレ
https://medaka.5ch.net/test/read.cgi/os/1137387538/l50
過去スレ, 関連リンクは >>2-10 あたりで.
2021/03/02(火) 17:19:37.34ID:PMcixi7q
Xfsはデスクトップ用途に使ってもメモリカツカツだよ
2021/03/02(火) 19:01:39.03ID:bSGaYo9c
XFSまだCoWでやたらスワップしたりしてんの？
2021/03/02(火) 19:42:40.09ID:PMcixi7q
>>176
ブラウジング程度の用途なのにメモリ8GBでカツカツよ
2021/03/02(火) 21:10:11.16ID:bSGaYo9c
うげー、辛いなそれは。
XFSってやたら推されてるけど、なんか常にパフォーマンス上の問題抱えてない……？
2021/03/03(水) 01:51:01.43ID:Vr69vVJU
必要なスペックは高いけど
データが破損した事は一度もないから信頼はしてる
2021/03/03(水) 09:22:57.93ID:Nxx8V343
DD コマンドで作成した領域をループバックでマウントして利用してるんだけど
専用のファイル領域に作成したものより安定性が低いようなことを噂で聞いたことがある
単なるファイルだから間違って消したりもできるわけだけど他にどんな問題があるの？

zfs やバター FS を loopback で使ってるんだけど楽だから
2021/03/03(水) 10:02:39.62ID:cTNqxe23
ファイルシステムとしてマウントするだけなら問題は無いんじゃ無いかな。
ループバック用に回避処理が入っていなければ重ねたレイヤの数だけエラー処理とか複合するんで
普段は良くてもトラブル時は面倒なことが起こるかもしれないけど、気にするほどじゃないと思う。
よほど大きなサイズでも無い限りキャッシュのダブりとかも気にするほど影響は無いだろうし。

ただ一時的では無いスワップ領域にするのはお勧めしない。
2021/03/03(水) 10:49:49.05ID:Nxx8V343
>>181
なるほどエラー解析時にレイアの重なりで複雑になるという意味ですね
キャッシュのダブりは OS 側のファイルキャッシュとファイルシステム側で作動するキャッシュがあるのですね

一時的ではない Swap 領域というのは OS が利用するスワップという意味ですか？
最近のカーネルだとループバックのスワップでも安定性に問題がなくなったと認識してます Ubuntu でもデフォルトではディスクパーティションにスワップ領域を切らなくなりました
183運用情報臨時板でワッチョイ導入議論中
垢版 |
2021/03/03(水) 12:14:56.73ID:lgKPKR6M
ハンスが再来年出所する予定らしいけどreiser4が取り込まれることはありますか？
2021/03/05(金) 02:31:02.56ID:h4SDn5Ek
>>183
15年でext4が進化し、より先進的なZFSやbtrfsの開発が進んでいるから
今さら感
2021/03/05(金) 08:51:33.95ID:1fWCdnHn
でもZFSがメインラインに入る可能性はゼロだしRedhatはbtrfsやめちゃったし15年経ってもこれだっていうFSは無いね
2021/03/05(金) 10:15:25.72ID:4HJQ6+m7
現状見てる感じなんだかんだでRedHatにbtrfsが凱旋したりして
2021/03/05(金) 12:27:18.42ID:dyXFLsEj
凱旋というより出戻り
2021/03/05(金) 18:29:03.56ID:8yj3ez/J
Linux 5.12 Lands Fix For File-System Corruption Caused By Swapfile Issue
www.phoronix.com/scan.php?page=news_item&px=Linux-5.12-Corruption-Fixed

スワップファイルへの書き込みがスワップファイルを置いているパーティションへの書き込みになるバグ
2021/03/05(金) 18:48:23.13ID:mFfY0Y2/
5.12はまだまだβ版だからバグあっても一般ユーザーは気にせずOK
2021/03/05(金) 21:34:11.29ID:Dt5ajJ3o
xfs は！？
ext4 は HDD によくて xfs は SSD にいいってのを信じて使ってるんだけど
2021/03/05(金) 22:57:30.27ID:h4SDn5Ek
>>190
むしろ逆のイメージ。REGZA HDDレコーダーにXFSが採用された実績から大容量(TBクラス)ストレージ向けかと
現状ではXFSとext4でできることに大差はないから、rootにあえてXFSを採用することはないと思う
SSDに良いFSで性能など実績があるのはF2FSのイメージが強い
2021/03/06(土) 09:53:05.28ID:Zg8wx6H4
俺もついさっきrootfsをf2fsでフォーマットし直したところだよ
grubのバージョンがf2fsに対応してなかったから
systemd-boot入れ直す必要があったけど
（/bootを分けるのはUEFIな今の時代なんか嫌）
2021/03/08(月) 10:27:32.36ID:m8kidDD6
Btrfs Will Finally "Strongly Discourage" You When Creating RAID5 / RAID6 Arrays

https://www.phoronix.com/scan.php?page=news_item&;px=Btrfs-Warning-RAID5-RAID6

むしろ今まで警告なかった方が不思議
2021/03/08(月) 21:02:47.03ID:2AQsZVyg
つーかいまだに駄目なのか
2021/03/09(火) 03:37:55.27ID:sGJz7SaS
カーネルに取り込まれたネイティブexFATはまだ使わないほうが良いぞ

・数GBに1〜2クラスタの頻度で書き込んだデータが破損する
・タイムスタンプのロケールの処理が正しくなく、Windowsとやり取りすると数時間ずれる
・Windowsでマウントするときエラーを検出することがあった
・去年ここで書いた、メタデータを更新するとタイムスタンプが破壊されるバグは直ってる
・性能はFUSE版よりかなり良い

kernel 5.8

今はデフォルトで有効になってるからブラックリストで無効化する必要がある
2021/03/09(火) 03:39:17.92ID:3Q1wWz8h
まともに使うなら
未だにxfsとext4の二択だよね実質。
2021/03/11(木) 04:07:15.23ID:T7COWFgR
>>195
5.8なんて既にEOLしてんぞ
2021/03/11(木) 13:38:40.74ID:c/de+RjG
>>193
確かに。警告無かったことを知らなかったわ
199login:Penguin
垢版 |
2021/04/28(水) 06:59:54.63ID:RDsHbwe/
Debian11からいよいよBtrfsに乗り換えてもいいですか？
2021/04/28(水) 14:03:05.37ID:qAuPbk02
まだBtrfsで消耗してるの？
2021/04/28(水) 16:03:01.63ID:w2riUtF+
Btrfs楽やでホンマ
202login:Penguin
垢版 |
2021/04/28(水) 16:04:27.29ID:/Rv/1bAq
reiser4一択
ちょっとバラ肉にしたぐらいで開発者収監しすぎなんだよなあ
2021/05/05(水) 06:43:36.88ID:22KTqCb5
WindowsでもBtrfs様々やで
https://github.com/maharmstone/btrfs
2021/05/05(水) 13:25:13.38ID:ecRafJ7U
Winはntfsが結構優秀だから要らんよ
2021/05/05(水) 13:40:15.01ID:I8H8pma2
NTFSはそこそこ優秀かも知れんが
管理するOSがWindowsではちょっとマンセーは無理
2021/05/05(水) 14:21:43.34ID:ecRafJ7U
Windowsは互換性に関してはマジで凄い
Linuxで10年前のソフトを最新環境で動かそうとすると苦労するからね
2021/05/05(水) 17:44:23.14ID:qtfZkKcP
Linuxはソースあるからね
emacs（1976年）もTeX（1978年）も現役
2021/05/05(水) 18:01:25.19ID:2Vd9UitC
ed (1970年代前半) も sed(1973年) も一応現役
2021/05/05(水) 21:27:14.92ID:XrnixLKD
sed は一応でなくて、シェルスクリプトの一部のように使うだろ。
210208
垢版 |
2021/05/05(水) 21:39:56.99ID:0Vx+wHoK
そりゃそうか　俺も使うし
それも結構な頻度で愛用している
2021/05/07(金) 19:15:48.16ID:N73gosRP
sedってコマンドなのかと思ってたわよ
2021/05/07(金) 19:27:04.20ID:DfASJ4ip
viも同じようなもんよ
2021/05/28(金) 06:51:44.05ID:w5WT5sqk
スレでもたまに名前が上がってたBcachefsって目的はすごい良いな、Btrfsが躓いてるからちょっと期待しちゃう

Bcachefs は、 Btrfs と ZFS の機能をよりクリーンなコードベース、より安定性、より高速、 GPL 互換のライセンスを提供することを目的とした次世代の CoW ファイルシステムです。
2021/05/28(金) 07:02:11.16ID:gICJRhZd
Bcachefs一時期毎月20ドル支援してたんだけど、Btrfsが良い感じになって来たので、支援止めちゃった
2021/05/30(日) 18:23:59.48ID:kdTnPrQw
目指すだけならどこも凄い事を主張するからなあ・・・
2021/05/30(日) 21:33:08.26ID:xzSC8kpf
openZFSが最新版でかなり高速化するらしい
2021/05/30(日) 23:07:19.53ID:Yv4FXzOw
速くする方法が分れば、他のファイルシステムも続くから頑張って欲しいな。
218login:Penguin
垢版 |
2021/06/08(火) 20:35:14.27ID:A0+5/fSQ
カーネル5.13でzstd関連のコードが刷新されるから
圧縮使ってる人は楽しみな更新になるね
2021/06/13(日) 12:57:08.28ID:Ri2lWsvA
Bcachefsの公式ページを読んだら
コードが綺麗ばかり主張していて、実際githubを覗いてみたら
確かに綺麗なのかもしれないけどコメントが少なすぎて誰も触れない事には変わりない感じだった。
2021/06/13(日) 19:11:57.13ID:Z14yD/aZ
$ sudo btrfs sub snap @ /media/user/debian/@
$ sudo btrfs sub snap @home /media/user/debian/@home

このコマンドの参考ページを教えて下さい
2021/06/13(日) 20:22:25.19ID:XbYcfZqj
$ man 8 btrfs-subvolume
2021/06/18(金) 12:55:21.67ID:VQxMXzTC
debianスレにも書いたんですが、ext5って開発されていないんですか？
ということはいずれどこも（debianも）btrfsかxfsになるんですか？
2021/06/18(金) 13:28:58.70ID:m1DWeQ1B
開発されない
ext4の改良が続いている
2021/06/19(土) 11:20:25.99ID:zGtebo9v
ちょっとお聞きしたいのですが、新規に買ってきた4TBの東芝製HDD(MN08ADA)をmkfs.ext4でフォーマットしてマウント(USB-HDDケースに入れています）すると、
何もファイル操作をしていないにもかかわらず頻繁にアクセスするのですが、(umountするとアクセスしなくなります）、
-O ^metadata_csumとしてフォーマットするとアクセスしないのですが、一体何が起きているのでしょう？
USB-HDDケースが行けないと思って内蔵SATAにしてみても動作は同じでした。
試しに最初の300MiBだけフォーマットしてマウントしてみたらしばらくアクセスした後、静かになりました。
metadata_csumの有り無しで変わるのですから、ココらへんがおそらく原因だとは思うのですが、4TB分チェックが何かが終わるまで待つしかないのでしょうか？
2021/06/19(土) 11:25:16.81ID:zGtebo9v
自己解決しました。おそらくext4lazyinitだと思います。
もうしばらく放置しておこうと思います。
ntfs、btrfsでは何も起きなかったのでハードウェアの故障はないと思っていたのですがやっぱりext4の機能でした。
どうも失礼しました。
226login:Penguin
垢版 |
2021/06/19(土) 15:25:22.43ID:qiYDT/X/
完全にBtrfsブームが来ているな
FedraチームFacebookの全面バックアップは心強い
2021/06/20(日) 07:20:53.86ID:FlGke6Iy
Btrfsのスワップファイルを使おうとしたけど
素で使うとスナップショット出来ない代わりに生データだし
暗号化スワップとして使うと今度はスナップショット可能になるという理不尽
そりゃFedoraも匙投げてスワップ自体を無効化しますわ
BtrfsにLVMを組み合わせてスワップパーティションを作るというダサい方法しかないし
2021/06/20(日) 08:59:55.55ID:HPXkdzsb
変なことしないで普通にスワップパーティション切れば良いだけでは？
2021/06/20(日) 09:41:51.35ID:4MEPIPC1
うちはデータ用のext4のパテに置いてるわ
2021/06/20(日) 10:39:15.38ID:K3gWEfdY
>>229
やっぱりそうなるよね
Btrfsは消去する可能性のあるデータの扱いに絶望的に向いてない。

>>228
サブボリュームが便利だったから
スワップ問題さえなければBtrfsで大半賄えたから惜しかった。
2021/06/20(日) 10:47:38.20ID:q1GmI6Tf
>>230
> Btrfsは消去する可能性のあるデータの扱いに絶望的に向いてない。
うちは１年近くほぼ24h稼働させててビクともしないけどな
ラズパイでUSBx2+SDのストライピングと言うなんちゃってだけどさ
2021/06/20(日) 11:44:40.23ID:HPXkdzsb
俺も4年近くBtrfsファイルサーバ運用してて、btrfs deviceコマンド使って何度もストレージ構成変更もしたけど、何も問題起こらないなぁ。
エンタープライズとかでは無いけどね
2021/06/20(日) 15:10:27.93ID:OtoPgzgM
消去する可能性のあるデータはCoW有効だと断片化が進むからな
ここ1年くらい半導体不足だから難しいけどスワップが要るくらいならメモリもっと積むという手もある

最近はbtrfsも徐々に、使えるものになってきているのは確かだろう
職場で使われている「法人向けNAS」として販売されている製品がデータ領域デフォルトでbtrfsになってて当初はオイオイ大丈夫かと思ってたけど
今のところは大丈夫っぽい。ちなみに壊れても対処するのは俺じゃない（重要）

あとは、ディスクフルになるとヤバいなどという噂もあったが改善したのだろうかね。
2021/06/20(日) 15:12:33.54ID:FlGke6Iy
いやスナップショットとCoWの関係で
削除できてるんだか出来てないんだか分かりにくいという意味ね。
CoW無効化したファイルでもスナップショットは取れるみたいだし
削除という方向では難しい。
2021/06/20(日) 15:15:33.95ID:FlGke6Iy
>>233
CoWは前述の理由でファイルを削除したら逆に空き容量が減るパターンがあるから
ディスクフルだと危険だよ。
空き容量を増やそうとした操作で更に空き容量を減らしてドツボにはまる。
2021/06/20(日) 15:32:40.87ID:q1GmI6Tf
>>233
> ディスクフルになるとヤバいなどという噂
友人のラズパイ(うちのサブボリュームを暖簾分けしたもの)は
diskfullをやらかして起動不能になり涙で枕を濡らしてますた
2021/06/20(日) 15:46:21.40ID:FlGke6Iy
スナップショットをという扱うという決断をした瞬間から
Btrfsの空き容量を増やす手順は複雑怪奇になる。
2021/06/20(日) 16:03:58.94ID:q1GmI6Tf
timeshift使うくらいならまだいいけど
色々と欲を出すと悲惨な目に遭いそう

なお私はconky出して常にディスク使用量を監視してます
2021/06/20(日) 17:26:59.08ID:HPXkdzsb
残容量がそんなに気持ち悪い変動したこと無いなぁ
2021/06/20(日) 17:49:16.26ID:q1GmI6Tf
まあ一応ね
2021/06/20(日) 21:11:28.58ID:XLIEy/bI
空き容量が一方通行なのは難易度高めだよね
2021/06/20(日) 21:15:36.56ID:q1GmI6Tf
そんなこと無いけどなあ
スナップショット全部始末して、それでも駄目ならfilesystem defrag -r
これで容量が戻らなかった事無いけど
2021/06/20(日) 21:29:09.11ID:FlGke6Iy
スナップショット全部始末って・・・
まあ戻らないことはないだろうけどさぁ・・・
それデータ退避させて再フォーマットに次ぐ最終手段やん
2021/06/20(日) 21:36:52.57ID:q1GmI6Tf
俺の場合スナップショットはシステム改変前の保険や
send前の準備くらいにしか使ってないからねえ
もっと高度な事やってる人なら億劫だろうけど
2021/06/20(日) 21:42:05.45ID:XLIEy/bI
それ正解。
非常に賢いBtrfsのお手本のような使い方。
2021/06/20(日) 21:47:09.44ID:3XBt4m04
スナップショットをバックアップのように使ってるのが間違いなのよ
バックアップは別に取ってスナップショットは定期的に整理すべき
2021/06/20(日) 22:02:17.88ID:HPXkdzsb
Btrfsはバックアップも取りやすいしね
2021/06/20(日) 22:22:30.11ID:q1GmI6Tf
マウントしたまま完全なdumpが出来る様な感じですからね
2021/06/21(月) 01:24:02.85ID:L8foBMDQ
>>247-248
スナップショットを tar で固めるだけだったら別に取りやすいって事は無いんじゃないの？

Btrfs はサブボリュームとかのメタ情報のバックアップができなくてバックアップが困難
と逆に感じたんだが
2021/06/21(月) 02:34:03.18ID:jDt+eB73
>>249
> スナップショットを tar で固めるだけだったら別に取りやすいって事は無いんじゃないの？
send/receive機能使った事無いのかな

> Btrfs はサブボリュームとかのメタ情報のバックアップができなくて
その様な些細な情報に拘るよりも
サブボリュームをリネームしておけば管理しやすいのに
そこまで完ぺきな状態保存をしたいならddでも使っときましょうかね
2021/06/21(月) 09:08:05.47ID:L8foBMDQ
>>250
> send/receive機能使った事無いのかな

なるほど増分バックアップを取るという意味では dump に近い物があるのか
勉強になりました

> その様な些細な情報

メタ情報バックアップできないっておかしくない？
別の誰かが作ったシステムをクローンしたい時に dd しかないのは厳しいわ

ビジネスでやったらバックアップできないシステムを採用するのがおかしいって
後でぐじぐじ言われまくる(=言い訳レポートだの再発防止だの工数が爆発的に
増える)のが見えてるんで使えないよ
2021/06/21(月) 12:16:09.75ID:O6mftrCi
考えた方が違うんじゃないかな。
サブボリュームをほぼストレージとして見れば問題ないし、完全なコピーが欲しければddなりなんなり旧来の方法が取れないわけでもないし。
単にレイヤーと選択肢が増えただけだよ
2021/06/21(月) 15:53:15.32ID:3rzkFLuT
Btrfsを本番で運用しているFacebookはどうしてるんだろうね
2021/06/23(水) 19:00:39.82ID:GsIL/Hxh
Btrfsでdiscard=asyncにしたら起動するたびにドライブの使用ランプがカリカリ始めたんだけど
これって他の人も同じ？
2021/06/29(火) 21:52:12.01ID:K1arQqhz
カーネル5.14でbtrfsが更に改良・高速化されるらしい
開発ラッシュやばい
2021/06/30(水) 00:02:44.48ID:zTG01lTx
もうBtrfsで良さそうだね
ネイティブ暗号化くらいしか弱点ないでしょ
2021/06/30(水) 04:50:09.03ID:ik/23AzL
あとRAIDが非推奨のままずっと放置されてる
2021/06/30(水) 05:54:37.78ID:XBjkZFiO
RAIDはHBAかLVM使えばええやろ
ファイルシステムがやらなければいけないことではない
2021/06/30(水) 06:14:36.60ID:mXQXM/0G
RAID10あたりは問題ないしね
2021/06/30(水) 09:02:44.67ID:yJpclQIV
スナップショット使うファイルシステムでHBAやLVMでのRAID-5/6はやめとけ
スナップショットはランダムリード/ライト多いから相性が悪い
使っているうちにフラグメンテーションで使い物にならなくなる

回避するためにはHBA使うのやめてRAID-Zだのそれに類似したVirtual系
RAIDの技術が必要なんだが実装ツラい割に効果も薄いんだろ

ラックマウントタイプのストレージ製品でもRAID-10でしか使わせない製品も
出始めてるし、業界としてRAID-5/6は切り捨てなんだとおもう
2021/06/30(水) 09:38:03.62ID:QIl8oURk
ファイルシステムによらず、RAID5はテラバイト級媒体にはそもそも使わない方が良い
障害復旧中に壊れていくのを数回見た
RAID6は知らない
2021/06/30(水) 11:26:56.84ID:r3QHhm+R
RAIDZは広く使われてるよ
RAIDはストレージの可用性確保の手段なんだから代替方法なんかない
2021/06/30(水) 19:44:02.88ID:MEBTTE23
機能として存在する以上は安定してほしいよね
2021/06/30(水) 19:51:08.40ID:2x4FXU9Q
RAID関連は実績のあるファイルシステムでないと使う気にはならない
2021/06/30(水) 22:09:30.83ID:yJpclQIV
ファイルシステムの実績もだけどパーツ冗長(特にコントローラ)も必要だわ

HBAが中途半端に故障して壊れてもないHDDを故障扱いしまくってデータ
ロストさせた(実際はデータロストしてない)障害が一番厄介なトラブルだった
2021/07/01(木) 01:40:54.64ID:yz4Mm0BT
一般ユーザーがしないような構成を組むと
想像もしていなかったような不具合踏むことが多々あるわな
2021/07/04(日) 01:22:49.64ID:dO3rYTst
Btrfsはdiscardマウントオプションでまだ壊れた報告がチラホラあるね
とりあえず手動trimに切り替えた
2021/07/07(水) 20:02:33.20ID:SKdz/k2Y
Linux 5.14 Works Around Compatibility With Some Digital Camera exFAT File-Systems
www.phoronix.com/scan.php?page=news_item&px=Linux-5.14-exFAT
2021/07/23(金) 06:19:56.52ID:zqR55IXg
WindowsでBtrfs 【ファイルシステム】
https://mevius.5ch.net/test/read.cgi/win/1612888512/
270login:Penguin
垢版 |
2021/08/14(土) 11:15:08.22ID:Zs+glBhP
Linux上で以前targetcliで作ったZVOL (/dev/zvol/mypool/fc0) が「使用中」状態に
なったままになってます。再起動してもOSを再インストールしても「使用中」状態です。

# zfs destroy mypool/fc0
cannot destroy 'mypool/fc0': dataset is busy
# umount /dev/zvol/mypool/fc0
umount: /dev/zvol/mypool/fc0: not mounted.

未使用の状態かそれが無理なら強制削除したいんですがどうしたらいいでしょうか？
2021/08/14(土) 12:12:14.38ID:Zs+glBhP
>>270
解決しました。理由はイニシエータ側で作ったLVMをターゲット側が起動時に
自分のものとしていたため。
2021/08/15(日) 14:01:19.23ID:6oNwxX6g
exFATがDebian11でサポートされるようになったらしいね　Debian newsにそう書いてあった
273login:Penguin
垢版 |
2021/08/21(土) 08:54:19.08ID:fjPA48lm
うーん、ZFSはイマイチですね・・・。
Proxmoxで3*HDDをRAIDZ1にして、2*SATA SSDをキャッシュにしてVMを作ったのですが、
前情報通りアクセスが増えるとメモリ消費量が10GBとか跳ね上がる・・・。
1200Mb/s出ていたものがカーネルパニック？で20Mb/sとかに落ち込んでしまう。
2GBのファイルをランダムコピーしたら、一瞬で終わるものと数十秒かかるものが発生。
うーん、ZFSはかなりじゃじゃ馬な印象です。メモリが潤沢にあれば良いのかも。
やはり記憶域スペースですかね・・・・。
2021/08/21(土) 11:04:11.49ID:BiYUjqs+
確かに自分もデスクトップ用途で多目的に利用しているんだがバター FS の方が適してると考えるようになってきた
■ このスレッドは過去ログ倉庫に格納されています
5ちゃんねるの広告が気に入らない場合は、こちらをクリックしてください。
ニューススポーツなんでも実況