X
トップページ⇒Linux
981コメント302KB
ファイルシステム総合スレ その19
0001login:Penguin
垢版 |
2020/06/13(土) 14:45:47.76ID:Qx8FdC0t
● 前スレ
ファイルシステム総合スレ その18
https://mao.5ch.net/test/read.cgi/linux/1514472651/l50

● 関連スレ
ジャーナリングファイルシステム
https://mevius.5ch.net/test/read.cgi/unix/979408065/l50

OpenSolaris/Illumos (OpenIndiana, etc.) 6
https://mevius.5ch.net/test/read.cgi/unix/1337411922/l50

FS関連スレ
https://medaka.5ch.net/test/read.cgi/os/1137387538/l50
過去スレ, 関連リンクは >>2-10 あたりで.
0593login:Penguin
垢版 |
2022/10/04(火) 12:49:05.71ID:2+bfy/ol
BtrfsからZFSに出戻ったわ
特にスナップショット使いが難くてダメだった
0594login:Penguin
垢版 |
2022/10/04(火) 18:34:25.31ID:ImjmuMcI
子データセット(Btrfsだとサブボリューム)がある時の一括バックアップの使い勝手は
ZFSに軍配があがるなー
0596login:Penguin
垢版 |
2022/10/05(水) 21:24:15.71ID:Be/Od0X6
いっつもパフォーマンス上がってるな
0598login:Penguin
垢版 |
2022/10/06(木) 18:08:03.26ID:avGMmg5J
Open ZFSの更新来てた(∩´▽｀)∩
0599login:Penguin
垢版 |
2022/10/09(日) 15:01:09.59ID:rXr5IkAi
zfsの実際のrecord sizeはいつ決まるのでしょうか？
ググった範囲では、record sizeは(dataset指定サイズの範囲で)動的に決まる、決まったあとは変更されない(再作成が必要)、と認識してます。
ファイル書き込みはwrite(2)やfwrite(3)で行われると思うのですが、全てのプログラムが大きなバッファを用意しているとは限らない気がしてます。
zfsにはwriteback用にtxgという領域があるようですが、非同期書き込みのreocrd sizeはtxgがflushされる際に決定されるのでしょうか？
(もしそうであれば、同期書き込みはfsync(2)時に決定？)
0600login:Penguin
垢版 |
2022/10/10(月) 12:36:41.47ID:aroMbFWo
NTFSクラスタサイズを後から変更するにはどのような方法があります？
フリーで探し手いるのですが、minitool や aomei無料版は非対応のようで。り
0602login:Penguin
垢版 |
2022/10/26(水) 21:27:04.04ID:4URvJJm4
Linux 6.2 Aims To Ship Updated Zstd Implementation
https://www.phoronix.com/news/Linux-6.2-Newer-Zstd

Zstd with Btrfs transparent file-system compression performance the decompression speed was "a small win across the board" and at lower compression levels the compression speed and compression ratio were both better than the prior kernel code.
0603login:Penguin
垢版 |
2022/11/07(月) 08:35:37.59ID:RMBZpOPP
暗号化鍵ってみなさんどう読み込ませてますか？
手入力だと強さに限界や起動時コンソール前にいる必要があると思うのと、何より面倒。。
かといって同じマシンに置くと平文になると思うので。
0604login:Penguin
垢版 |
2022/11/09(水) 22:33:21.52ID:KvH0BOKS
システムパーティションは暗号化せずにおいといて、盗まれたら困るデータだけ別のパーティションにおいてそこは暗号化している
起動したらSSH（SSHのサーバー鍵は「盗まれたら困る」には当たらない）して手でパスフレーズ入れて復号化
手入力の場合の強さの限界は、ストレッチングで多少は緩和される。
0606login:Penguin
垢版 |
2022/11/21(月) 19:44:06.85ID:yefmWMbF
これが本当の分散ファイルシステム
0607login:Penguin
垢版 |
2022/11/22(火) 13:05:00.91ID:gnE97F4D
概念的には昔からあるが今のインターネットじゃいろんな部分の性能保証がないから実用性がね
0608login:Penguin
垢版 |
2022/12/02(金) 13:21:39.17ID:lH0jw8OM
赤帽エンジニアブログ
2022-12-01
XFSで使った以上に容量が減るナゾ

リンク貼れんかったので
0610login:Penguin
垢版 |
2022/12/04(日) 16:07:29.87ID:Ye7QwRkv
Oracleは宗教上の理由でちょっと……
0612login:Penguin
垢版 |
2022/12/20(火) 11:30:51.92ID:0v1vCYwT
zstdもアップデートされて高速化されるみたいだし6.2は重要なアップデートになるな
0613login:Penguin
垢版 |
2022/12/20(火) 18:04:21.86ID:0v1vCYwT
exfatも6.2で速くなるみたいだな
0614login:Penguin
垢版 |
2022/12/20(火) 18:46:15.08ID:fyhGCDZv
6.1 が重要そうで、Debian のコードフリーズに間に合って喜んでいたんだけど...
カーネルだけならアップデートしてもほとんど失敗しないし、別にいいんだけど。
0615login:Penguin
垢版 |
2022/12/20(火) 22:50:57.03ID:de7d8g5m
昔はshutdown -rFでfsck走ったけどbtrfsは気にしなくていいの？
VMシャットダウンした時とかに気になって。
0616login:Penguin
垢版 |
2022/12/21(水) 00:04:24.39ID:qmUzV3jd
shutdownコマンドは古くて問題があったので廃止されてる
systemctlを使おう
0617login:Penguin
垢版 |
2022/12/21(水) 02:19:04.96ID:q6nimIuc
使ってるのだが...
0618login:Penguin
垢版 |
2022/12/21(水) 12:46:38.28ID:EhRPJEI6
今は大抵shutdownとかもsystemctlへのリンクになってるやろ
0619login:Penguin
垢版 |
2022/12/21(水) 12:57:38.99ID:q6nimIuc
ホントだ
shutdownとして呼ばれると適切に読み替えてくれるんかな?
# shutdown -r now
# shutdown -h now
0620login:Penguin
垢版 |
2022/12/21(水) 19:12:15.59ID:5YV/Phng
普通にpoweroffかrebootが1語で済んで簡単で良い
0621login:Penguin
垢版 |
2022/12/29(木) 08:21:21.62ID:TYlqFk7p
ファイル名の長さ制限なんとかならん?
0622login:Penguin
垢版 |
2022/12/29(木) 09:36:29.31ID:YrPvt7JI
前は制限あったけど、今もあるっけ？
0623login:Penguin
垢版 |
2022/12/29(木) 10:06:03.55ID:2nJ5CorQ
ファイルのダウンロード中にLinuxのext4ファイルシステムが突然クラッシュしてOSが動かなくなった。
保存先のディレクトリのファイルがすべて操作不能、削除不可能状態になった。
物理的な衝撃とかもまったくなく、突如として起こったトラブル。

再起動したらLinuxはうまく立ち上がらず、セーフモードに。
けっきょく再インストールするハメになったが、インストールに失敗する。
いろんなディストリを試したが、どのディストリでもインストール中にエラーが出て止まる。
インストールメディアの破損もなければ、HDDの破損もない。
DVDドライブも普通に焼くことができるのに。

こんなことがあるんだね。安定しているファイルシステムはなんだろうか。
0624login:Penguin
垢版 |
2022/12/29(木) 10:06:58.53ID:otCbGAW+
>>621
無制限なのはパス名の長さで、ファイル名はほとんどのファイルシステムで長さに制限があるはず
0626login:Penguin
垢版 |
2022/12/29(木) 10:33:59.58ID:ZePSKeUC
>>623

> こんなことがあるんだね。

ビジネスだと物珍しいレベルではないかな。
最近は出荷前検査の精度が上がってて初期不良減ってるから物珍しいレベルになりつつあるけど。

症状的には CPU/マザボ 故障が疑わしい。 その次はメモリ。
ドライブもファイルシステムも無罪だと思うわ。

つうか、ext4 ってまともなメンテナ居るのか？
ドライブ故障のトレンドに追随できてないファイルシステムは使うべきではないよ。
0627login:Penguin
垢版 |
2022/12/29(木) 10:58:58.47ID:ZDryYAQt
>>623
ZFSならsnapshotからロールバックで戻せるんじゃない？
0628login:Penguin
垢版 |
2022/12/29(木) 11:02:16.35ID:ZBJb5QBa
>>622
ext4が255バイトでNTFSが255文字（Unicode16）なんで困るんよ
vfsにハードコードされてるぽいんでダメだろうけどダメ元で聞いてみた次第
0629login:Penguin
垢版 |
2022/12/29(木) 11:16:06.03ID:Sx2YLUkq
流石に無知がすぎるだろ
ext4なんて現在進行系で開発されまくってるファイルシステムだぞ
あと絶対に壊れないファイルシステムは無いから
ext4よりbtrfsやzfsのほうが壊れにくくはあるけれど
0630login:Penguin
垢版 |
2022/12/29(木) 11:26:50.12ID:ZePSKeUC
>>629
本当に開発されまくって言えるか？
Red Hat 系使う奴は xfs ばかり使うし、その他のディストリも btrfs だったり。
ファイルサーバ製品もハード直結独自FSばかり。
ext4 は使われていない/充分なデータが集まっていないだろ。
0632login:Penguin
垢版 |
2022/12/29(木) 12:10:45.55ID:O8F+4wx8
ext4が使われてないってどこの世界線なんだ…
クラウドではほとんどext4だろう
0633login:Penguin
垢版 |
2022/12/29(木) 12:27:56.45ID:ZePSKeUC
>>632
amazon も ext4 やめて xfs でしょ？
0635login:Penguin
垢版 |
2022/12/29(木) 15:32:08.76ID:zAcLS6l6
ファイル名については昔Linusが255バイト制限緩めても今度は1MBじゃ足りないっていい出すに決まってるから対応しないって言ってなかったっけ
東アジア圏だとutf8で更に厳しくなったけど、今ならファイル名に長々情報持たせるほうが悪いって言われそうだしな
0636login:Penguin
垢版 |
2022/12/29(木) 23:22:37.08ID:yFWCe43l
英語圏の人は漢字圏特有の問題を理解しないからな
0638login:Penguin
垢版 |
2022/12/30(金) 13:20:02.61ID:9woIQjbF
OpenShift4 のPVはext4だった気がする。間違ってたらスマン。
0639login:Penguin
垢版 |
2022/12/31(土) 00:08:37.77ID:FTj3W6ps
>>638
デフォルトはね
設定で変えられる
0640login:Penguin
垢版 |
2022/12/31(土) 02:05:18.30ID:xELcB+Gr
linuxの文字数制限が不便でNASを使用しなくなったことがある
0641login:Penguin
垢版 |
2022/12/31(土) 12:09:04.56ID:P2xYG+Vx
ファイル名がUTF-16で記録されるexFATだとLinuxでも全角文字255文字フルに使えたからファイルシステムによるんじゃない？
0642login:Penguin
垢版 |
2022/12/31(土) 16:44:14.18ID:QpXj8X5v
fusuで実装されてるからでは？
0643login:Penguin
垢版 |
2023/01/03(火) 22:18:56.96ID:qEN3cyhG
>>639
なんと。。圧縮したかったのでbtrfsで圧縮出来ればいいなと思ってた。
RedHatだから無理かな。。
0644login:Penguin
垢版 |
2023/01/03(火) 22:25:23.88ID:wEpuZtJW
ログを延々と吐き続ける用途にbtrfsは向いてますかね？
CoWが邪魔したりしませんか？
0645login:Penguin
垢版 |
2023/01/04(水) 12:49:11.56ID:0uCFlsnQ
GpartedでUSBメモリをexFatでフォーマットしている途中で進捗が止まり、そのまま。
USBメモリがどうやら物理的に壊れてしまった。
PCに挿し込んでもそのUSBメモリだけがまったく反応なくなった。
Linuxのインストール途中で失敗しつづけている。

悪いこと続き。Linuxの神様に見放された模様。
0646login:Penguin
垢版 |
2023/01/04(水) 12:59:21.38ID:PQqENS/b
邪魔の意味は分からないけど、性能はともかくデータ化けとかの心配は無いのでは？
CoWが提供するのは堅牢性や一貫性確保だと思う。
CoWがダメならzfsにはログ保存できないことになってしまうし。。
0647login:Penguin
垢版 |
2023/01/04(水) 13:06:12.57ID:K9sTb1hf
ZFSはブロックレベルの重複排除だからCOWでも問題無いとかの話？
0648login:Penguin
垢版 |
2023/01/04(水) 13:10:20.00ID:xX40yDLp
ログファイルってコピーして使うか？
普通しないからCoWが邪魔はしないでしょ。
ランダムアクセスするファイルならRAIDで向き不向きあるけど
ファイルシステムで向き不向きはないと思う。
0649login:Penguin
垢版 |
2023/01/04(水) 14:17:37.35ID:n7gUnUO1
データベースやVMのディスクイメージみたいな1つのファイルを何度も上書きするパターンはCoWと相性が悪いと聞くな
当該ディレクトリのCoWを無効化すればいいけど、してもI/O性能が上がる程度で有効のままでも別に問題なさそう
0650login:Penguin
垢版 |
2023/01/04(水) 23:08:47.39ID:xX40yDLp
Btrfs の場合、CoW有効のファイルを書き込んだ後に以前書き込んだ部分を上書き
するとドライブ上ではそのブロックを上書きせずに別ブロックに書き込む動作をする。

「ファイルコピーしたファイルでのみそれが発生する」と思っていたがそれは俺の
勘違いで、実際は全ファイルでそれをやるってことか。

まあでもログファイルはシーケンシャルアクセスだから(ブロック単位の
上書きは発生しないから)CoWが邪魔しないことに変わりはなさそうね。
0651login:Penguin
垢版 |
2023/01/04(水) 23:43:18.43ID:FNVxHNKk
ログで質問したものです。
皆さんありがとう！
色んな考察が聞けてためになりますた。
VMはCoW無効にするのが常識とおもってて、
ログとかの追記も関係あるのかと思った次第です。
とりあえず何もチューニングせずに使おうと思います！
0652login:Penguin
垢版 |
2023/01/08(日) 00:55:03.06ID:fvHOPfXO
debianのtestingに降りてくるまで一月ほどかかるなぁ
0653login:Penguin
垢版 |
2023/01/12(木) 22:26:05.98ID:mpGk/a+b
ext4はシステム向け、xfsは倉庫向けと考えてok?
0654login:Penguin
垢版 |
2023/01/13(金) 08:54:10.86ID:7OCE97ZZ
どうしてそう思った？xfsデフォのディストリもあるが
0655login:Penguin
垢版 |
2023/01/13(金) 13:01:18.72ID:ZKf8B51+
大きいファイルなら速いけど壊れやすくメモリ食うのがxfs縮小もできない
ext4は逆
0656login:Penguin
垢版 |
2023/01/13(金) 23:06:07.68ID:0qCLEX6/
>>653
RHEL9 から dump/restore は OS に添付されなくなった。
何かあっても保守/問合せ対象外。
EPEL として残ってるから完全に対象外というわけではないだろうけど。
その観点でいうと ext4 はコンテナ向け、xfsは物理向け、なのかも？
0657login:Penguin
垢版 |
2023/01/14(土) 15:10:17.93ID:iY56yVZu
じゃあbtrfsはなに向け？
てかbtrfsはscrub定期的にしないとダメなの？
0658login:Penguin
垢版 |
2023/01/14(土) 15:54:59.93ID:V6u7C4fp
zfs にコンプレックスを感じる人向け、というのは冗談として
ext4 の後継と思っている。
0660login:Penguin
垢版 |
2023/01/14(土) 18:20:11.77ID:2OMLCN0j
>>659
草
BtrfsでNAS作られると（高機能すぎて売りが無くなるので）困るというのが伝わってくるw
0661login:Penguin
垢版 |
2023/01/14(土) 21:07:01.17ID:g3eX2Qbu
Linuxのファイルシステムはどれも一長一短で決め手にかける。「用途とか関係ない、これにしておけばまずOK」ってのがない。
ext4は大容量ドライブでfsckが遅く昨今の大容量なディスクドライブに作成するには向かない、
xfsはfsckは大容量ドライブでも問題ないが縮小ができないしメモリも食う、
btrfsはfsck不要、CoWなど「モダンなファイルシステム」とされるが、比較的新しいファイルシステムでやや心配がある、枯れていない、遅い。最近はまともになってきているが。
ZFSはライセンスの問題・・・

一方、選択肢が多いのは良いこととも言える。他のOSだって問題はいろいろあるし、OS、FSともに完全無欠のものはないけどね。
0662login:Penguin
垢版 |
2023/01/14(土) 21:16:49.66ID:rbIBgCNH
Debian系はデフォルトext4なのは何でだろ
0663login:Penguin
垢版 |
2023/01/15(日) 00:04:50.52ID:Ra9CuA6A
>>661
xfsって壊れやすいって本当？
なんかレガシな感じがして受け付けないんだよね。
そういやreiserfsはタイーホ後からどうなったのかね？
当時は先進的だったけど。
0664login:Penguin
垢版 |
2023/01/15(日) 00:57:20.31ID:U8aJCTCE
>>663
reiserfsは非推奨になってて2025年に削除される予定
0665login:Penguin
垢版 |
2023/01/15(日) 01:23:26.89ID:jySrgcCZ
ファイルサーバーにZFS使ってるけど安定してる
RAIDZ2組んでて一度HDDが一つ壊れたけど復旧も簡単だった
0666login:Penguin
垢版 |
2023/01/15(日) 06:15:01.79ID:q2QeSNOE
ZFSはARCが重いんだよな
LRUよりは効率的だけど計算量が多いわ
0667login:Penguin
垢版 |
2023/01/15(日) 08:13:26.23ID:SoJu/Q0J
>>663
xfsはCOW導入で安定性が落ちたという話は聞いた気がするけど、その続報を聞かないな。話題になってないってことは安定したのか、皆避けてるのか
0669login:Penguin
垢版 |
2023/01/25(水) 09:13:08.26ID:s6TfkC2/
圧縮ファイルシステムでおすすめを教えて
主にテキストのログをどんどこ吐きたい
0670login:Penguin
垢版 |
2023/01/25(水) 11:26:23.80ID:wEwhbV4v
btrfsかF2FSかな
ログ出力用途ならF2FSのほうが向いてそう
0671login:Penguin
垢版 |
2023/01/25(水) 15:47:31.31ID:EXync9nW
金持ってたらgpfs使いたいんだけどな
安定性は元々HPCやエンタプライズ向けだから折り紙付き
パスは255"文字"だしPOSIXで圧縮・暗号・ネットワーク共有・スナップショット・SSDキャッシュ等々
たいてい何でもあり、重複排除はあるのか知らんが
0672login:Penguin
垢版 |
2023/01/25(水) 17:35:43.32ID:wEwhbV4v
分散ファイルシステムならcephでよくないか
0673login:Penguin
垢版 |
2023/01/25(水) 18:44:15.18ID:YTKQNNVA
完璧ファイルシステムないよな
文房具みたいなもんでやりたいことがいろいろバラバラなんだろうな
0674login:Penguin
垢版 |
2023/01/26(木) 18:29:31.56ID:5ioFGUAk
当初から設計にも実装にも問題がなければ個人ユースではbtrfsがさいつよだったんだろうけどな
余りにも不具合が多過ぎた過去があって未だに怖くて使う気にはなれない
0675login:Penguin
垢版 |
2023/01/26(木) 21:02:06.47ID:2TRuZoTN
最近は不具合聞かんね
0676login:Penguin
垢版 |
2023/01/27(金) 05:54:54.78ID:xQJ6/CVG
btrfsだから不具合の噂が広まるみたいなところもあったと思う
去年か一昨年あたりにLinuxのext4がぶっ壊れてた時期があったけど別に広まってないし
0677login:Penguin
垢版 |
2023/01/27(金) 07:51:44.90ID:ZyeIUH9X
ext4とは頻度も不具合の数も全然違ってた
動画かスライドショーか忘れたけど当時のバージョンのbtrfsを意図的に壊す色々な手順を紹介してた
強引にじゃなくって長年使ってればそういうケースもあるだろうって手順だったからな
全員って訳じゃないが当時を知ってる人の多くは使い始めるのに躊躇するんじゃないかね
0678login:Penguin
垢版 |
2023/01/27(金) 07:58:31.41ID:7Jsb5HY4
みんなが寄ってたかっていじめ抜いて鍛え上げられたFSとかむしろ信頼できるという発想
0679login:Penguin
垢版 |
2023/01/27(金) 10:39:51.30ID:LqrORYKx
Copy-on-write のファイルシステムは、良い面もあるけど想定のパフォーマンス出ない時や、使わない方が良いケースを理解できたのは btrfs のおかげ。
0680login:Penguin
垢版 |
2023/01/27(金) 11:47:37.09ID:DOUGg5n2
cgroup v2に対応しているファイルシステムがbtrfsしかないからコンテナを厳密に運用しようとするとbtrfs使うしかないんだよな
Facebookがbtrfsを使ってる理由がこれだったはず
0681login:Penguin
垢版 |
2023/01/27(金) 12:48:20.39ID:BloaE25Y
ミラーリング対応してるファイルシステムはZFSとbtrfsくらい？
0682login:Penguin
垢版 |
2023/01/30(月) 16:25:27.84ID:Yst6JOSz
btrfsってもしかして面倒くさい？
空き容量少なくなってくるとSSDでもランダム書き込みが遅くなる
ファイル消してもメタデータが容量を食っている

btrfs使うなら定期的にbalanceしないとダメ？

倉庫用HDDなら、
ファイル圧縮
チェックサム
誤操作での削除防止や他ストレージへの差分バックアップにスナップショット

とかでbtrfs特有機能が生きてくる気はする
だがシステムドライブは安心と信頼のext4で良いんじゃないかと

あるいは、nodatacow使えば一つのパーティションで
非COWとCOWのファイルシステムの
両方のいいとこ取りが出来る？
0683login:Penguin
垢版 |
2023/01/30(月) 17:58:00.76ID:QsirhNqB
ファイル消して容量減らないのはメタデータなんかじゃなくて以前スナップショット切ったとか、コピー元ファイル残ってるとかだゾ。全く食わんとは言わないけどメタデータそんなに容量食わない。
空き容量減ってランダム遅くなるのはSSDってそういうもんだ。
/homeはスナップショットや圧縮がすげー生きるよ。
0684login:Penguin
垢版 |
2023/01/30(月) 21:39:58.49ID:3GnoYZPi
仮想ホストとゲスト両方共にbtrfsにしたのは失敗だろうか。。。
0685login:Penguin
垢版 |
2023/01/30(月) 22:09:54.52ID:BqpcEk1B
btrfs、ファイルを削除してからdfコマンドで見える空き領域が増えるのには少し時間がかかる
長いときでも5分とかだけどね

>>684
その書き方だと仮想マシンのイメージファイルもbtrfsのファイルシステムにあるのか？
仮想マシンのイメージファイルとか、データベースのファイルみたいなファイルをbtrfsに保存するときはCoW無効化しておくほうがよいぞ
0686login:Penguin
垢版 |
2023/01/30(月) 22:38:55.10ID:ljXAAj+j
半導体不足で納期が悲惨な頃にNASが壊れて、急場しのぎで作ったbtrfs+snapperが好評過ぎて今までズルズル使われてしまった。壊れるの嫌だから全くイジってなかったけれど、退役後に色々試すの楽しみ。kernel上げだけでも楽しみ
0687login:Penguin
垢版 |
2023/01/30(月) 22:59:40.33ID:3GnoYZPi
>>685
レスありがとう。
いちおうゲスト格納ディレクトリには
chattr +Cしてるけど、大丈夫かな。
ゲストの中身もbtrfsなんだよな。。。
NASとかでないのでオーバースペックだったかと後悔しそう。
新しいモノ好きだから飛びついてしまったよ。
0688login:Penguin
垢版 |
2023/01/30(月) 23:59:54.60ID:BqpcEk1B
ファイルを作成したあとにchattr +Cしてもダメやで
正しいやりかたはググって調べてね
0689login:Penguin
垢版 |
2023/01/31(火) 00:00:55.84ID:2mO0kE8y
おっと、空ファイルに対するchattr +Cは有効だった。詳細は調べてね
0690login:Penguin
垢版 |
2023/01/31(火) 11:32:18.48ID:f+A2MWdo
>>688
作成する前は良いということですね。
ありがとうこざいます。
これってディレクトリに対してのみでファイルには無効でOK？
0691login:Penguin
垢版 |
2023/01/31(火) 17:20:25.87ID:HmGFYeTA
>>690
ディレクトリに設定したら再帰的に適用される
0692login:Penguin
垢版 |
2023/01/31(火) 17:22:17.29ID:HmGFYeTA
>>691
間違えた
新しく作るやつは再帰的に適用される
新着レスの表示
レスを投稿する

ニューススポーツなんでも実況