X



トップページLinux
1002コメント329KB
ファイルシステム総合スレ その17 [転載禁止]©2ch.net
レス数が1000を超えています。これ以上書き込みはできません。
0002login:Penguin2015/01/17(土) 22:42:58.50ID:E5//dQrz
● 過去スレ
01 http://pc.2ch.net/test/read.cgi/linux/1006743807/
02 http://pc5.2ch.net/test/read.cgi/linux/1063025258/
03 http://pc8.2ch.net/test/read.cgi/linux/1101495293/
04 http://pc8.2ch.net/test/read.cgi/linux/1136695633/
05 http://pc8.2ch.net/test/read.cgi/linux/1152348695/
06 http://pc11.2ch.net/test/read.cgi/linux/1164457481/
07 http://pc11.2ch.net/test/read.cgi/linux/1173530292/
08 http://pc11.2ch.net/test/read.cgi/linux/1190788761/
09 http://pc11.2ch.net/test/read.cgi/linux/1225001916/
10 http://pc11.2ch.net/test/read.cgi/linux/1238673446/
11 http://hibari.2ch.net/test/read.cgi/linux/1256639505/
12 http://hibari.2ch.net/test/read.cgi/linux/1281277564/
13 http://engawa.2ch.net/test/read.cgi/linux/1311812102/
14 http://engawa.2ch.net/test/read.cgi/linux/1326613113/
15 http://engawa.2ch.net/test/read.cgi/linux/1341012960/
16 http://hayabusa6.2ch.net/test/read.cgi/linux/1363315915/
0003login:Penguin2015/01/17(土) 22:44:57.01ID:E5//dQrz
● 関連リンク 1
ext4        http://www.bullopensource.org/ext4/
reiserfs/reiser4  http://www.namesys.com/ (リンク切れ)
xfs        http://oss.sgi.com/projects/xfs/
jfs        http://jfs.sourceforge.net/
nfs        http://nfs.sourceforge.net/
ntfs        http://sourceforge.jp/projects/sfnet_linux-ntfs/
fuse        http://fuse.sourceforge.net/
btrfs       http://btrfs.wiki.kernel.org/index.php/Main_Page
NILFS2 (NTT)    http://www.nilfs.org/ja/
zfs        http://zfsonlinux.org/
http://hub.opensolaris.org/bin/view/Community+Group+zfs/WebHome
0004login:Penguin2015/01/17(土) 22:45:54.42ID:E5//dQrz
● 関連リンク 2
en:List of file systems
http://en.wikipedia.org/wiki/List_of_file_systems
Linuxファイルシステム技術解説
http://www.atmarkit.co.jp/flinux/index/indexfiles/linuxfsindex.html
Linuxの次世代ファイルシステムは「バターFS」!?
http://www.atmarkit.co.jp/news/200807/10/btrfs.html
Linux ジャーナリング・ファイルシステムの徹底調査
http://www.ibm.com/developerworks/jp/linux/library/l-journaling-filesystems/?ca=drs-jp
Linux フラッシュ・ファイルシステムの徹底調査
http://www.ibm.com/developerworks/jp/linux/library/l-flash-filesystems/?ca=drs-jp
Linux filesystem benchmark 2008/1-2
http://www.t2-project.org/zine/1/
http://www.t2-project.org/zine/4/
Filesystem Specifications - Links & Whitepapers
http://www.forensics.nl/filesystems
Linuxファイルシステムベンチマーク ext3, ext4, JFS, ReiserFS, XFS, NILFS2
http://hesonogoma.com/linux/FileSystemBenchmarkResults-01.html
http://hesonogoma.com/linux/FileSystemBenchmarkResults-02.html
[Phoronix] Benchmarking ZFS On FreeBSD vs. EXT4 & Btrfs On Linux
http://www.phoronix.com/scan.php?page=article&;item=zfs_ext4_btrfs

● リンク切れ
File Systems in Linux
http://www.linux.org/lessons/advanced/x1254.html
zfs
http://hub.opensolaris.org/bin/view/Community+Group+zfs/WebHome
0006login:Penguin2015/01/17(土) 22:48:31.47ID:E5//dQrz
● リンク全部は、確認していないので、リンク切れがあれば、ご容赦ください。
0007login:Penguin2015/01/18(日) 02:11:09.65ID:vNdO4zTV
>>1-6
0008login:Penguin2015/01/21(水) 18:06:37.23ID:+Ds9U4yz
UFSのsoftupdate実装はなんて完璧なんだ
速いしデータ保護も完璧で
まさに完璧だ
0010login:Penguin2015/01/26(月) 06:36:51.95ID:CpExnxCA
家電の録画機に搭載されてるHDDのファイルシステムってなんなの?独自?
0012login:Penguin2015/01/26(月) 06:57:41.46ID:xR8ihiXH
大容量だから、XFS を使っている製品もある
0013login:Penguin2015/01/26(月) 11:32:51.01ID:BIfBXy5q
ZFSの本買おうと思ってアマ覗いたら異常に値上がっててワロタ
0014○☆温泉☆○ ◆2iML/LSl36 2015/01/28(水) 16:50:15.53ID:b2zdAKaJ
調べたものの、答えがみつからなかったので質問します。
GlusterFSのreplicated volumeで、不均等なBrickは使えるのでしょうか?
最も小さいBlickにひっぱられる?
分散された結果いずれかのBrickがいっぱいになったら終わり?

そして、Brickはまとめられている数を単位として増減するということは、Brick単位でreplicateしたりstripeしたりしてるということでしょうか。
例えば2leg replicateにおいて、ファイルaはBrick AとBに、ファイルbはBrick AとCにというように柔軟に配置するわけではなく。
0015login:Penguin2015/01/28(水) 21:31:03.47ID:bEexlHYv
zfsで間違って消したファイルをsnapshotからcpでコピーしてるんだけど
リンクを張り替えるだけで良さそうだけどデータを丸々コピーしてる
もっといい方法があるのか仕様なのかなんかありますか?
0016login:Penguin2015/01/31(土) 10:16:59.95ID:HXwTxGU0
非同期IOの効果を測定してみた結果、
btrfsだと有効に働くが、ext4だとかえって速度が落ちる結果になった
btrfsとext4の速度差はディスクが違うのであまり参考にしないで下さい

btrfsは遅いと言われているけど非同期IOを積極的に使っていけば
ext4より早いファイルシステムかもしれない

btrfs 同期IO
time aiocp -d -b 8K -f O_SYNC -f O_CREAT srcfile dstfile
0.01s user 1.32s system 3% cpu 35.696 total
btrfs 非同期IO
time aiocp -d -b 8K -f O_SYNC -f O_DIRECT -f O_CREAT srcfile dstfile
0.01s user 1.43s system 4% cpu 29.792 total

ext4 同期IO
time aiocp -d -b 8K -f O_SYNC -f O_CREAT srcfile dstfile
0.02s user 0.63s system 1% cpu 36.446 total
ext4 非同期IO
time aiocp -d -b 8K -f O_SYNC -f O_DIRECT -f O_CREAT srcfile dstfile
0.01s user 0.54s system 1% cpu 41.034 total
0017○☆温泉☆○ ◆2iML/LSl36 2015/02/02(月) 08:28:18.50ID:PBWQFO+9
>>14の自己レス。
* replicationで組になっているBlickはどれかがいっぱいになると挙動がおかしくなる
* そうでないBlickならどれかがいっぱいになると書き込めなくなる。均等に配分しようとするのでほぼ一番小さいBlickに引っ張られる

サーバーではないのでlsyncdの方向で検討中。
0018login:Penguin2015/02/09(月) 14:12:39.79ID:lX635yvZ
ZFSで最初単一ディスクだけのプールを作り、後でディスクを追加して
最初の1台目のディスク内のデータを潰さずにmirrorやraidzなどに移行することってできるんですか?
0019login:Penguin2015/02/09(月) 15:29:37.93ID:T0FR2ZYp
できない。

一旦作ったRAIDやMirrorの構成は壊せない。

逆にRAIDやMirror構成の個々のディスクのサイズを
交換して大きくすると、全体のサイズを大きく
できる。

例えば1Tのディスク2本でMirrorを作り、順番に
ディスク2Tに交換すれば、2TのMirrorディスクに
できる。
0020182015/02/09(月) 15:58:10.59ID:lX635yvZ
ああ、やっぱりか。既存の構成を膨らます話はすぐ見つかったけど、組み替える話はないなと思って。

thanks.
0021login:Penguin2015/02/09(月) 19:25:04.86ID:BkRDDyMZ
いやmirrorやstripeはできるんじゃ
変えられないのはraidzだけ
0022○☆温泉☆○ ◆2iML/LSl36 2015/02/09(月) 21:51:53.60ID:MMKmf/1x
昨日ちょうどzfsについて調べてましたが、ミラーにはできるような話だったような。
というか、プールでなくボリューム単位でできた気がするので、ボリューム作ってコピーすればRAID-Zもできそう。
0023login:Penguin2015/02/09(月) 22:42:18.35ID:BkRDDyMZ
2行目の意味がわからんから理解してないと思われ
0024182015/02/09(月) 23:22:54.32ID:5VlY1SVs
>>22
引越しを限られたHDD内でしたかったんだけど、raidzを構築するvolumeも同時に設けてコピーするって事ですよね。
容量的に無理っぽい orz

素直にHDD買ってきますわ、データ潰したらしょうがないですしね。追加情報ありがとうございます。
0025○☆温泉☆○ ◆2iML/LSl36 2015/02/09(月) 23:37:52.68ID:MMKmf/1x
>>23
zpoolでなくzfs setでできた気がするというお話。

>>24
そういうこと。
ミラーに以降する場合でも最低でデータの3倍の空間が必要ですね。
既に25TBになっている私の経験からくるアドバイス。
「構成変更・拡張は逼迫する前にやれ」
0027login:Penguin2015/02/10(火) 00:21:38.15ID:GeJ2T2BF
>>26
美容整形批判板

URL貼るときはページのタイトルや説明を添えるべき
不明なリンクは誰も踏みたがらない
あとここはLinux板のファイルシステムスレ
0028login:Penguin2015/02/13(金) 08:49:09.54ID:iNP+LxHN
>>26
おめーは何がやりたいだよ
このくそやろう
糞死糞乳でも飲んでろくそやろう
0029login:Penguin2015/02/13(金) 10:01:42.00ID:LTwxMBS5
マルチにそんなこと言っても無駄。
0030login:Penguin2015/02/18(水) 21:48:01.03ID:EtLdWoRj
ext2/ext3/ntfs のどれかで、極力ディスクの先頭の方の空きセクタを使わせるマウントオプションて無い?
フラグメント化は厭わず、とにかく同じセクタを再利用するようにしたい。

仮想ディスクに対して使いたくて、新しい領域へ書き込んで実容量が増えるのを避けるようにしたい。
0031login:Penguin2015/02/18(水) 22:12:38.75ID:wylOomhv
>>30
それは仮想化ソフトの仕事では。
0032login:Penguin2015/02/18(水) 23:50:07.49ID:oU7yaloG
今ZFSを真面目に学ぼうと思ったら、OSは何がいいかな
本家に近いOpenIndianaはなかなか更新されなくて先行きが不安な気がするから、FreeBSD?
0033login:Penguin2015/02/19(木) 00:15:09.64ID:prax3ysK
オープンソースだとLinuxが一番進んでなかったっけ?FUSEじゃないほう
0034login:Penguin2015/02/19(木) 01:35:30.14ID:F6PikBQ1
OpenSolaris系以外ならFreeBSDが一番実績はあるだろ
0035login:Penguin2015/02/19(木) 08:59:48.14ID:C2ZhRXVI
>>32

ちょっと試しに使うなら、VirutalboxのゲストOSにCentOSを入れて、
VirutalboxのストレージをOS用、RAID用、キャッシュ用、ログ用に
分けてZFS on Linux動かしてみる。ORACLEのサイトにある日本語訳
された、ZFSの資料を読みつつ、機能を試すのはこれで問題ありません。

実サーバで試したくなったら、使わなくなったUSBメモリを4、5本用意
して、USB-HUBでRAIDディスクの実験をすると面白いです。かなり
速度が遅いですが、ディスク障害、復旧の試験ができます。
0036○☆温泉☆○ ◆2iML/LSl36 2015/02/19(木) 18:03:51.34ID:MPag/GT7
ZFS on Linux遅すぎる。
3TBrsyncして、7時間で300GBは許せるとしても、
そのあと3時間で40GBはないわ。

メモリは4GB。メモリ豊富でないと無理っぽい。
0037login:Penguin2015/02/19(木) 18:07:48.54ID:pNeQruI7
>>36
メモリ少なすぎ。32B以上ないと。
0038login:Penguin2015/02/19(木) 18:08:04.37ID:pNeQruI7
Gが抜けたw
0039login:Penguin2015/02/19(木) 18:21:02.20ID:C2ZhRXVI
>36

ファイル数が多い場合とか、1つのファイルのサイズが
巨大な場合(例えば仮想のディスクイメージ)のrsyncの
バックアップは時間がかかります。

ZFSのスナップショットを使ったバックアップや、DRBDの
ようなディスクごと同期する方法を検討したほうが良いと
思います。

私はNotePCにZFSを入れてVMのイメージを管理していますが、
日々のバックアップは数分で終わっています。
0040○☆温泉☆○ ◆2iML/LSl36 2015/02/19(木) 18:35:34.62ID:MPag/GT7
>>37
32GB積むのはしんどいなぁ。
将来的にはするでしょうけれど。
マスター側は32GBありますけれど、スレーブ側は4GB。

>>39
ファイル数は1,000,000,000くらい?
一番大きいファイルは523GB。

マスターはBtrfsだし、EncFS使っているのでGlusterFSなんかも使えません。
EncFSはrootでアクセスできないし。
また、シャットダウンするのでDRDBのようなHAストレージも使えない。

100TBのシステムでrsnapshotしてるよ、という話を聞いたので
rsync+atにしたんですけどね。
というよりも、それしか方法がなかったのですけれど。
0041○☆温泉☆○ ◆2iML/LSl36 2015/02/20(金) 02:28:58.45ID:tHnnYViY
ZFSからbtrfsに作り変えたら、出だしから18倍以上速い。
(ただしZFSではmax-compress,btrfsはlzoに変更)
ZFS on Linuxいまいちかも…Qiitaでもそんな話ありますね。

Btrfsは不安定なZFSの劣化コピーみたいに言われることが多いけれど、
少なくともLinuxの実装においてはBtrfsのほうが優れているように感じますし、
いくらかの機能(例えばフレキシブルなデバイスの追加ではZFSを凌ぐものになっていますね。

BtrfsにSend/Recieveがあることを知ってびっくり。
これはEncFSやめちゃったらだいぶ楽になるかも。
(今のままだとEncFSごとコピーされても、EncFSが壊れると一緒に死ぬ)


さらにSquashfsがappendできることも知りました。これ便利。
removeできたら、更新はしないけれどmvはされるものに適用できていいのにな…
0042login:Penguin2015/02/20(金) 09:07:29.89ID:S0B33rSS
貧弱なシステムでzfs遅いとか言ってるんじゃないんだろうな
0043○☆温泉☆○ ◆2iML/LSl36 2015/02/20(金) 09:12:57.35ID:tHnnYViY
まごうことなき貧弱なシステムですよ!

貧弱なシステムで快適に動くのもひとつのメリット
0044login:Penguin2015/02/22(日) 11:33:08.26ID:ITY6n2VI
ZFSメモリ食い杉ワラタ
一般家庭用途でははなく業務サーバ用やな
0045login:Penguin2015/02/22(日) 12:42:19.67ID:vrkQRMRx
>>44
最初からそうですやん……
0046login:Penguin2015/02/24(火) 10:54:16.37ID:x+qg7myA
最近のジャーナリングファイルシステムはリソースが贅沢にあることを前提とした設計
数十秒溜めてからフラッシュしたり、lzo圧縮したり
リソース無いマシンは大人しく古いファイルシステム使っとけと思う
0047login:Penguin2015/02/24(火) 21:55:26.95ID:NTwH5LI8
わざわざ合わないことに使って文句言うのって、Linux使うの向いてないね
0048login:Penguin2015/02/25(水) 09:13:00.98ID:Tb0Vl41N
特にこだわらずext4使ってるけどbtrfsの方が良いんですか?
0049login:Penguin2015/02/25(水) 09:32:57.50ID:mw5usWYi
困ってないならそれでいいと思われ
0050login:Penguin2015/02/25(水) 10:58:32.18ID:Mf/8rq0w
btrfsはもう正式版出てるのにwikipediaの記事が更新してないから未だに未完成だと思われてそう
0051login:Penguin2015/02/25(水) 11:08:41.57ID:skE7kiAd
更新しといて。
0052login:Penguin2015/02/25(水) 11:14:45.50ID:LDgv+f+P
実際の運用でext4よりbtrfsの方が良いところ
・パッケージやシステムアップデートをかけたら動かなくなった!って時にロールバックしてなかったことに出来ること
・lzo透過圧縮で書き込みが速くなってさらにディスクサイズも節約できるなんて素晴らしい
0053login:Penguin2015/02/25(水) 13:50:43.47ID:nRUR6McN
C2Dだけどbtrfs使う価値ある?
重視するのは障害時のサルベージが容易かどうか
後重すぎるのも勘弁
0054login:Penguin2015/02/25(水) 14:34:28.17ID:l2SWRJt0
鯖用は1年位前からbtrfsにしたけど、スナップショット便利だな
もはやスナップショットできないFSは使う気にならん

家用もbtrfsにしてるけどバックアップしないからextでも困らん
0055login:Penguin2015/02/25(水) 15:34:33.28ID:WCdNuzNt
btrfsは安定しているという評判をまったく聞かないので使わない
ギークでなくエンジニアが1年くらい使って問題ないというようになれば使う
実績あるZFSの難点がメモリくらだから普通にメモリマシマシしてZFSにしたほうがいいね
0056login:Penguin2015/02/25(水) 17:03:02.01ID:1s07bD/V
富士通かどっかが実運用でBtrfs使ってなかったっけ
0057login:Penguin2015/02/25(水) 17:10:51.24ID:rziqvrUm
自宅ファイルサーバがメモリ4Gで、ディスク1TB、SSD32GBの構成ですが、
スナップショットを使うためだけにZFS化してます。

圧縮と重複排除を使わなければ、4GBメモリーでもエラーなく動いてます。
0058login:Penguin2015/02/25(水) 17:29:45.10ID:LsYdza7z
SUSEには正式に採用されたね

>>53
ext4だろうけど
そんなの最終手段だから普通は必要ない運用をすべきと思うけど
0059login:Penguin2015/02/25(水) 18:13:44.22ID:WLtigTwJ
寧ろbtrfsのトラブルってそんなにあんのん?
0060login:Penguin2015/02/25(水) 18:20:33.87ID:66saE1st
>>56
Netgearとかの民生用NASでも普通に使われている。
0061login:Penguin2015/02/25(水) 19:12:21.74ID:LDgv+f+P
>>53
スナップショットを考えたら使う価値はある
ext4と比べるとマルチプロセス、マルチスレッドでの書き込みはbtrfsの方が性能が良い
1プロセスでの書き込みなら一般的にはext4の方が速い
5400RPMとかの遅いディスクを使ってるならlzoでの透過圧縮が使えるbtrfsが1プロセスでも速いかもしれない
0062☆○温泉○☆ ◆2iML/LSl36 2015/02/25(水) 19:50:22.06ID:neIviN9h
btrfsの4ディスク12TBの2レッグミラーで1年くらい使っています。
btrfsが原因で壊れたのは一度だけ。これはLuksに起因するトラブルよりもずっと少ないです。
その時はfsckしてからマウントしたらマウントできて、修復にかけて復帰。
btrfsのおかげで救われもしたことになります。
途中では3つのディスクが500GB LVM+2.5TB Btrfsという状態から4つの3TB Btrfsに組み替えてさえいます。

現在はbtrfsで2ノード8ディスクで合計25TB。
btrfsはとても便利だし、十分に安定していると思います。1つずつ、しかも不均等なディスクを追加できるのが魅力。
リバランスできるにもかかわらずストライピングできるのでディスク数が増えるほど速くなるのも魅力。

ディスク1つならスナップショットとsend/recieveを魅力と感じるならあり、スナップショットだけならLVMという選択肢もあり。
0063login:Penguin2015/02/25(水) 20:24:01.35ID:ej0O6Y0X
>>62
古い情報だと不均等なディスクは最小容量が上限とあった気がしたが改善したんだな
しかしZFSがRAID5,6とRAIDZ1,2があるのにbtrfsはRAID0,1しかないのが見劣りする
あとbtrfsはディスクIOが遅いと聞いた
0064☆○温泉○☆ ◆2iML/LSl36 2015/02/25(水) 21:21:12.70ID:neIviN9h
>>63
この間4GBメモリのサーバーではZFSの18-100倍以上btrfsが高速でした。

不均等なディスクについては私が調べた限りでは言及なく、勝手にできるものだと思っています。
調べるのがちょっとむずかしいワードという気もしました。他の部分でひっかかってしまうから。
ただ、3台でミラーできるので多分できそう。使用量もリバランス時は均等ですが、均等に増えているわけではないので。

あとRAID5/6ありますよ!
https://btrfs.wiki.kernel.org/index.php/RAID56
ただし、絶対まだ使わないほうが良い状態ですが。
0065login:Penguin2015/02/25(水) 22:11:06.09ID:T8UusZBJ
>>64
ZFSは環境差が激しいのでXFSかExt4との比較でReadWriteともに同等かそれ以上の速度がでますか?
メモリ要求がZFSほど厳しくなさそうなのは魅力ですが安定性と速度には代えられないので
0067login:Penguin2015/02/25(水) 23:02:38.53ID:T8UusZBJ
>>66
VM複数動かすので超重要
その比較btrfsのシーケンシャルくっそ遅いんですけどLZO圧縮したらせめて同じくらいの速度にはなるんですかね
0068login:Penguin2015/02/25(水) 23:07:52.69ID:SQ+kCo/z
>>58
そう思うだろ?ノーパソ+SSDだからジャーナル要らないぜ最速〜
な運用してたらSYSRQ効かずに固まって3日間の作業がふいになったわ
0069login:Penguin2015/02/25(水) 23:11:01.79ID:1s07bD/V
LZOじゃなくてLZ4なら行けるかも
0070login:Penguin2015/02/25(水) 23:19:23.74ID:nB9L2vhd
LZ4爆速だぜ〜

# dd if=/dev/zero of=tes.dd bs=1024M count=10
10+0 records in
10+0 records out
10737418240 bytes transferred in 25.940913 secs (413918283 bytes/sec)
0071login:Penguin2015/02/25(水) 23:41:34.77ID:17NPF0+8
ネタなのか本気で言ってるのかwww
0072☆○温泉○☆ ◆2iML/LSl36 2015/02/26(木) 00:58:29.40ID:oWimTmw8
>>65
うちはストレージをまとめる必要がない環境下では単純にXFSなので比べにくいのですが、
リニアLVM+XFSよりは4ストライプのbtrfsのほうが高速だと思います。

というか、デスクトップはメモリいっぱい積んでるのでストレージ速度はほとんどの場合気にならないし、
サーバーはある程度時間かかってもZFSの時のようなことがない限りほどほど同期できていればいい、
という感覚なのであまり気にしていません。

シングルストレージで速度がほしいならReiserFS。
私のラップトップの/はReiserFS。/homeはXFS。
btrfsもverifyしなければ速いそうですよ。意味ないと思いますが。
LVMを入れるならbtrfsにしても速度的には対して変わらないはず。LVM+btrfsはおすすめしません。

というか、一番わからなくなる原として、うちはdm-cryptやEncFSを介しているので、そっちのほうがずっと遅いから。
0073login:Penguin2015/02/26(木) 01:07:05.25ID:1bFr2nk+
>>72
うちは5,6台まとめてRAIDZ2の予定です
現在VM1台につき5400rpmのHDD1台を割り当ててますが遅い遅い
メモリは十分に用意する予定なのでZFSを選択しました
実際入れてみて問題があったりbtrfsの実績がたまってきたら再度比較検討するつもりです
落ち着いたらレポでもしようかというとこですが2chがもう終わりのようなのでたぶんできないのが悔やまれます
0074login:Penguin2015/02/26(木) 03:17:27.33ID:qJ12Vnv7
>>67
複数の仮想マシンから一つのディスクにアクセスするようなデータパターンだとbtrfsのcowやマルチプロセスに強い設計が効いてくるんで他のファイルシステムと比べても速くなるかもしれない
0075○☆温泉☆○ ◆2iML/LSl36 2015/02/26(木) 10:34:07.48ID:oWimTmw8
>>73
open2ch悪くないですよ。

本当にメモリが潤沢にあれば大概の高レベルIOはcache/bufferで終わってしまうので
ファイルシステムの速度はあまり関係ない感じに。
それこそGlusterFSでも構わないくらい。
ただし、直接叩くRDBMSなんかはストレージ速度が応答速度になってしまうので、
そこに不安があればNoSQLとかVoltDBとかを採用して対応。こちらも潤沢なメモリ前提。
0076login:Penguin2015/02/26(木) 14:05:01.68ID:SJeQrkx6
zfsでl2arcをSSDで追加すればライトが速くなると思ってたんだけど
l2arcってリードでしか使われないから速くならないんだよね?
同期書き込みはzilで速くなるけど非同期書き込みはRAMを増やすしか速くできないの?
0077login:Penguin2015/02/27(金) 13:08:26.27ID:d0N3HHXM
NTFSの透過圧縮はなんであんな断片化するんだ
0078login:Penguin2015/02/27(金) 18:21:15.19ID:5dZszJEt
既存ファイルが使ってない余ってるクラスタに押し込んでるだけだからね
0079login:Penguin2015/03/11(水) 16:32:26.28ID:uEr534ck
こんにちは。ファイルシステムについて質問させてください。
同一ディレクトリ内で500KiB程度の写真を千枚程度管理しているのですが、フォルダを開いた際の待ち時間が長い(5秒以上)です。今はXFSを利用しています。
XFSよりファイル一覧の読み込みが高速なファイルシステムはありますか?
ファイルシステム初学者なので至らない点があればご指摘ください。
0080login:Penguin2015/03/11(水) 16:33:56.26ID:W9IhamQP
>>79
「フォルダを開く」ってのは GUI での話?
どういう環境かよくわからんけど
ファイルシステムの問題っていうか
サムネイル作るのとかに時間がかかってんじゃないの。
0081login:Penguin2015/03/11(水) 16:42:57.96ID:+ODTr5Me
>>79
ファイルシステムよりファイラーの問題だね。
0082login:Penguin2015/03/11(水) 17:19:37.44ID:uEr534ck
>>80-81
はい、GUI(Nautilus)です。
やはりファイラーの問題でしたか。ありがとうございます。
サムネイル生成はランダムリードだと思うのですが、これはXFSでは低速なのでしょうか?
0083○☆温泉☆○ ◆2iML/LSl36 2015/03/11(水) 18:42:10.70ID:i8n41F5B
>>82
XFSはまぁまぁ速いですよ。Nautilus使っていないので挙動がわかりませんが、
Ristrettoなんか大量の画像があるディレクトリはサムネイル生成でフリーズして猛烈に遅い。
HDDならReiser4が速い(お勧めはしない)、フラッシュストレージならF2FSが速いです。
0084login:Penguin2015/03/11(水) 22:03:07.10ID:+daOddZA
XFSはでかいストレージ用でランダムはイマイチだろ
0085○☆温泉☆○ ◆2iML/LSl36 2015/03/11(水) 23:17:12.15ID:i8n41F5B
>>84
「いまいち」の程度にもよりますが、
ttp://hesonogoma.com/linux/FileSystemBenchmarkResults-02.html
ttp://qiita.com/sion_cojp/items/bef955bba3dbf9d603f8
あたりを見ると、最速ではないけれどバランスがとれていて「まぁまぁ速い、かな」という印象でした。
ここには出てないような、遅いファイルシステムは多いですし…という意味で書きました。
少なくとも、XFSのせいで遅くて遅くて、というのはないように思います。
0086login:Penguin2015/03/12(木) 05:56:15.68ID:2x+HSvyI
xfsはlogbufsオプション付けないと遅かったけど、今はデフォルトでいけるのかな?
0087login:Penguin2015/03/17(火) 20:13:37.88ID:Bk4wPO1Q
細かいファイル大量にあるなら人殺しが作ったReiserでええやん
0088login:Penguin2015/03/17(火) 20:31:16.76ID:avPWQOSU
SMRでzfsってどうなんだろう?
0089login:Penguin2015/03/17(火) 21:10:21.96ID:rOmt4H/B
ファイルシステムとどう関係があるの?
0090login:Penguin2015/04/08(水) 03:04:30.14ID:EvJqGqSS
WS作ったメモ

CPU3.0GHz 16Core
MEM128GB
7200rpmHDDx6+キャッシュ用SSDでRAIDZ2

・デスクトップVMいくつか動かしてる
・CPU負荷は感じない
・DEDUPが1.2-1.3 しか効かなくてリスク高い割に役に立ってない
・圧縮が1.5-1.6でそっちのが効果高かった
・計1TBのVMにDEDUP有効でもホストメモリ70GBしか使わない(VM分含む)
・RAIDで高速化された感がない(AES512ボリュームに可変ディスク置いて80-150MB/s)
・窓VMでHDDベンチしたらzilのおかげかランダムIOだけSSD性能
・メモリ使いきってないのでl2arcの効果不明
・スナップショットが最後の分しか直接ロールバックできなくて微妙な使いにくさ
0091login:Penguin2015/04/18(土) 19:33:17.21ID:ftK2GepO
訂正
HDDベンチサイズ小さければSATA3以上の速度でるようになった
キャッシュ有無で速度変わらずSSD意味なかった
0092login:Penguin2015/04/18(土) 20:10:31.09ID:83oaUJBJ
よく分からんけど役不足じゃね?
0093login:Penguin2015/04/18(土) 21:01:09.08ID:MacOAliC
SSD上のl2arcとzilの有無で比較してみたんだけど使われてる気配ないんだよね
いま負荷かかってるんで少しスコア下がってるけどSSDなしでだいたいこのくらい

-----------------------------------------------------------------------
CrystalDiskMark 3.0.3 x64 (C) 2007-2013 hiyohiyo
Crystal Dew World : http://crystalmark.info/
-----------------------------------------------------------------------
* MB/s = 1,000,000 byte/s [SATA/300 = 300,000,000 byte/s]

Sequential Read : 569.597 MB/s
Sequential Write : 627.577 MB/s
Random Read 512KB : 375.552 MB/s
Random Write 512KB : 172.797 MB/s
Random Read 4KB (QD=1) : 5.073 MB/s [ 1238.5 IOPS]
Random Write 4KB (QD=1) : 7.419 MB/s [ 1811.3 IOPS]
Random Read 4KB (QD=32) : 30.379 MB/s [ 7416.7 IOPS]
Random Write 4KB (QD=32) : 30.017 MB/s [ 7328.4 IOPS]

Test : 50 MB [C: 34.7% (44.5/128.0 GB)] (x1)
Date : 2015/04/18 20:32:27
OS : Windows 7 Ultimate SP1 [6.1 Build 7601] (x64)

SSDでランダムアクセス速くなってくれるものと思ってたんだがピクリともしない
試しにZIL強制してみたりもしたがひどいスコアになっただけだった
さらにデータサイズが500MB以上になると単体のHDD以下のスコアに下がる
50MBならシーケンシャルライトがM.2すら超えて1GB/sでることもあるんだが実際ファイルコピーしてみると100MB/sもいかなくてわけわかめ
テストデータはランダムなのでスコアが間違ってるわけではないはずだがそれとも予想を超えて圧縮と重複排除の性能が高いのか
今思ったがもしかしたら可変ディスクだからかもしれない
一応キャッシュに乗ってればWin7の起動時間は20秒でSSD並みだがソフトが爆速というわけではない
せっかくSSD用意したのに話が違うっすよ
ちなCentOS7ホスト
0094login:Penguin2015/04/18(土) 21:25:16.94ID:83oaUJBJ
だからさ
何をしたいの?
何を期待してるの?
0095login:Penguin2015/04/18(土) 21:30:01.39ID:83oaUJBJ
L2ARCが使われないって言ってるけどリードにしか使われないとかそんな基本的なこともわかってないんじゃないか
0096login:Penguin2015/04/18(土) 21:34:32.25ID:MacOAliC
リードに使われてるように見える?
そんな基本的なことはわかってるよ
0097login:Penguin2015/04/18(土) 21:43:30.11ID:83oaUJBJ
だから使われるような使い方してないってことだろ
0098login:Penguin2015/04/18(土) 22:17:33.06ID:wsw49qz1
だから代わりにZIL使わせても性能でないって書いたろ
ZILで50MB/sも出なかったらL2ARC検証するまでもなくSSDの意味ないだろ
0099login:Penguin2015/04/18(土) 22:23:52.69ID:83oaUJBJ
いまZILの話はしてないが
0100login:Penguin2015/04/18(土) 22:27:41.34ID:wsw49qz1
SSDによる性能向上の話をしてるんだが
L2ARCしか話せないなら無理しなくていいよ
0101login:Penguin2015/04/18(土) 22:55:20.53ID:83oaUJBJ
>>94に答えられないなら誰も話せないから書かなくていいよ
0102login:Penguin2015/04/18(土) 23:22:29.34ID:wsw49qz1
読解力がないうえ低レベルにブレークダウンしてるものを高レベルに戻す池沼なのが分かったからもう喋らなくていいよ
0103login:Penguin2015/04/19(日) 00:00:02.97ID:VXZgkP5M
crystaldiskmarkで50MBとかWindowsの起動が何秒とか何がしたいのか分からんな
高速SSDに金つっこめばいいのに
0104login:Penguin2015/04/19(日) 00:07:31.64ID:nxSBBYFZ
デスクトップ用だからユースケース通りのパフォーマンス測定だよ
鯖ならUnix用のベンチ回してる
0105login:Penguin2015/04/19(日) 00:14:51.27ID:VXZgkP5M
デスクトップ用なら話が違うも何もただの見当違いだろ
0106login:Penguin2015/04/19(日) 00:32:00.17ID:nxSBBYFZ
鯖でしか使うなと言ってるのならめまいがするんだが
大して使ったことないけどネットで見た知識だけで語ってる大先生と同じレベルの発言されると区別つかないよ
0107login:Penguin2015/04/19(日) 04:05:49.78ID:e0cmBqPS
>デスクトップ用だからユースケース通りのパフォーマンス測定だよ

真顔でこんなこと言われたら吹くw
0108login:Penguin2015/04/19(日) 04:56:25.97ID:SrfrLrA1
そう速い
0109abc.c2015/04/22(水) 22:39:22.53ID:SQD6N6DP
コマンドプロントでfat32からntfcに変換しようとしたのですが、変換に必要な領域が出てきてから10時間がたっても変換が完了しません。なにが原因でしょうか?osはwin7で、外付けhdd1tbを変換しようとしています
0110login:Penguin2015/04/23(木) 12:30:23.70ID:wIiIvLPr
USB2.0接続じゃなかろうな
0111login:Penguin2015/04/23(木) 17:25:50.55ID:O5a6GVd+
板名すら読まない馬鹿だから
0113login:Penguin2015/06/11(木) 21:20:22.77ID:aWQJj6Gm
btrfsに逃げておくか…
0114login:Penguin2015/06/15(月) 11:11:07.46ID:wlhSI8Ki
ZFS導入しているんだけど、おもなファイルシステムが
CIFSだとZILって意味がないって本当?
0116login:Penguin2015/06/15(月) 21:10:38.39ID:RsI8SpzW
CIFS以前にZILはDBとかの特定の使い方がメインの時に効果がある特定用途向け書き込みキャッシュなイメージ。
0117login:Penguin2015/06/15(月) 22:39:00.78ID:x30Jl8fM
ZILを使うのは同期書き込みの時だけ
0118login:Penguin2015/06/16(火) 10:38:20.20ID:QG2NEj0E
>>115-116
まじかあ。あるとパフォーマンスが上がるとかふわっとした
解説ばっかりだったからあった方が良いのかなと導入したよ
1万円もったいなかったかなあ

>>117
同時アクセスで同時にデータが入るときは役に立つのかな
個人ユースだからまずなさそうだがw・・・レコーダーのHDDは独立させているし・・・
0119login:Penguin2015/06/16(火) 10:40:39.29ID:QG2NEj0E
Freenasでブラウザからの作成だとパーティション指定できなくて
ドライブ単位なんだよな
SSHでコマンドから作成したZFSはブラウザから何故か認識しないという・・・
0120login:Penguin2015/06/16(火) 10:48:38.08ID:bulQhyno
>>118
同期書き込み(O_SYNC)についてはクグってくれ
あくまでも非同期に比べて同期書き込みが遅いのを改善するもの
ちなみにL2ARCもライトバックキャッシュじゃないから書き込みは速くならない
0121login:Penguin2015/07/16(木) 20:17:40.27ID:8Gv/91cv
LVM2でpvcreateしてvgcreateしたら、PE sizeが4MiBなのに、not usable領域が4GiBあるとpvdisplayで出てきた。
何故?
PE単位で区切っていって端数部分が使えないなら、not usableは4MiB未満になりそうに思えるのだけれど。
管理領域とかでもなさそうだし、誰か教えて(CentOSスレで聞いたけどこっちに乗り換え)
01221212015/07/21(火) 10:21:09.63ID:s7Zqs5gg
pvckで見たらmetadataサイズが4GBと出た。
pvcreateもvgcreateもドライブ指定以外特にパラメータ与えなかったが、これが関係あるのかな。
lvm.confもArch Linuxインストーラが配布したものそのまま。

去年か一昨年かにも同じくArch Linuxで同程度のサイズのPV作ったが、そちらはnot usableが2MiB少々、metadata sizeも1MBもなかった。
0123login:Penguin2015/07/23(木) 18:09:30.85ID:zVDFG4Cz
LVMでRAID10使ってる人いませんか?
資料が少なくて苦戦してます
構築は出来たんですが故障から復旧のテストをやってるんですがうまくいきません
日本語はここくらいしか情報がなくてこれを見ながらやってるんですが
英語のサイトはまだ探しきれてません
https://access.redhat.com/documentation/ja-JP/Red_Hat_Enterprise_Linux/6/html/Logical_Volume_Manager_Administration/troubleshooting.html
0124login:Penguin2015/07/23(木) 19:40:28.73ID:5QEepE/a
arch linuxのwikiとかは参考にならないのかい。日本語のも結構あるし
0125login:Penguin2015/07/24(金) 12:53:55.45ID:P4bra2I2
>>124
arch linuxのwikiには情報はありませんでした
RAIDスレがあるみたいなのでそちらでも聞いてみます
0126login:Penguin2015/08/02(日) 05:07:07.43ID:cDVgD8I2
CentOS6でxfsで、コピーとかしている時に
corruption of in-memory data detected
というエラーが出て、マウントが解除されるようになった

原因として思い当たるのは、SATAのケーブルかポートかがおかしくなって
I/Oエラーを繰り返していたので、ポートを変えたこと
(ケーブルが抜けかけだっただけかもしれない)
大量のI/OエラーとSATAリセットを繰り返し、SATA1.5Gとかになってたり

よくわからないが、xfs_repair -L で直るのかもしれない
それ以来は症状が出ていない、かも

ただの報告
0127login:Penguin2015/08/02(日) 07:20:39.93ID:tV2gmQkw
カーネルパニックにはならなかったのか
0128login:Penguin2015/08/14(金) 23:56:34.40ID:4CziC6Iy
久しぶりにsshfs使ったら結構便利ですな。automountも出来たし。
誰かNFSとパフォーマンス比較とかしてませんか。
0129login:Penguin2015/08/14(金) 23:59:44.90ID:FLN74CiN
nfs遅すぎだし
0130login:Penguin2015/08/16(日) 00:48:39.88ID:ymZodwsG
xfsにもreflinking導入されるのか
0131login:Penguin2015/09/02(水) 01:17:25.91ID:UpoewD1A
4.2には入らなかったな
0136login:Penguin2015/10/10(土) 09:58:03.28ID:0V0+V+1n
btrfsじゃなくてzfsへ行く理由は何だろうか
0137login:Penguin2015/10/10(土) 12:27:53.42ID:5fuver95
btrfsだけど数カ月前の時点で
virtualboxのクライアントとしてWindows各種あって
win2000とXPはOK、win7.vhdとwin10プレビューは起動できないなんてことあった
7と10はext4に移動すれば起動できた
今ならどうなるか知らんけど、まだ安全安心とは言えないんじゃないかな
0138login:Penguin2015/10/10(土) 16:59:27.89ID:lP68siyw
本当にbtrfsのせいか?
0139login:Penguin2015/10/10(土) 17:01:42.33ID:lP68siyw
少なくてもSUSEは商用でサポートしてるけどな
0140login:Penguin2015/10/10(土) 18:53:21.16ID:lBBX2mAP
>>138
virtualboxはけっこうメジャーなアプリだと思うけど
そこが対応しきれてないと言いたかったわけで
バージョン5になってどうなったかは試してない
マウントオプションに、lzo使ってたのでntfsとの相性なのかなとは思った
0141login:Penguin2015/10/11(日) 11:10:05.74ID:qOeHAmtn
ホストのファイルシステムがbtrfsって事でしょ?
ntfsとの相性って意味が分からない
ファイルシステムではなくマウントしたファイルパスとかの違いの問題じゃ無いの?
0142login:Penguin2015/10/11(日) 12:47:07.87ID:BOZZUZB+
>>141
使用パーティションを全てbtrfsにコンバートした状態で駄目で
空いてるパーティションをext4にフォーマットして
そこに移動させて起動した
要約すればこんな感じ
>マウントしたファイルパスとかの違いの問題
これの意味がわからんが、マウントもパスも関係無い
>>137読んでよ
>win2000とXPはOKだからさ

ていうか、btrfs使ってんの?
/で使って試してみたらどうかな
他にもgrubで問題あったけど、言ってる人は見当たらない
使ってる人少ないんじゃない
0143login:Penguin2015/10/11(日) 13:00:22.42ID:3UXBqSl4
>>140
>virtualboxはけっこうメジャーなアプリだと思うけど
>そこが対応しきれてないと言いたかったわけで
ファイルシステムを何だと思ってるんだ
0144login:Penguin2015/10/11(日) 13:40:26.91ID:BOZZUZB+
しらねえよ
駄目なんだからしゃあない

でも全面的に否定してないよ
使い方があるんだなと思ったよ
btrfsはそんなファイルシステムなんでしょ
0145login:Penguin2015/10/11(日) 13:59:37.81ID:3UXBqSl4
原因も究明できないのにファイルシステムのせいにすんなよ
0146login:Penguin2015/10/11(日) 14:55:43.49ID:BOZZUZB+
そのファイルシステムだとトラブることがある
それで充分
原因調べるのは俺じゃない
virtualboxはオラクル、btrfsは元々はオラクル
0147login:Penguin2015/10/11(日) 15:21:41.67ID:3UXBqSl4
またおまえか
0149login:Penguin2015/10/11(日) 23:54:42.14ID:VjuzHjK7
どこ読めば主流となるの
>ここ最近は分散システム上ではBtrfsをメインに利用しているユーザが多く,
>「Btrfsにはext4のバグは関係ない」と無関心を装う風潮がとくにネット上では強かったのだ
まさかと思うけどこれ?
0150login:Penguin2015/10/12(月) 06:29:56.63ID:Minc8G1Q
btrfs で virtualbox がー って言うんなら
CoW 有り無しくらい書いてくれよ
0151login:Penguin2015/10/12(月) 18:18:48.05ID:MfAILeKp
zfsのRAID10にしてたけど
btrfsのRAID10も問題ない感じなのか
0152login:Penguin2015/10/13(火) 00:02:11.88ID:QVEaqzD9
ファイルシステムのレイヤで実装されているRAIDのメリットってどんなものがあるの?
0153login:Penguin2015/10/13(火) 01:07:26.20ID:PohXQI6A
物理ディスク1台でもいいとか?
0154login:Penguin2015/10/13(火) 01:19:54.64ID:YmPmbk2Z
ストレージプール的な仮想化じゃないの?
0155login:Penguin2015/10/13(火) 01:29:38.85ID:G5XJgrKm
>>152
どのファイルシステムの話?
0156login:Penguin2015/10/13(火) 02:50:43.37ID:m46QJrFW
ソフトウェアRAIDのことだろう
同一製品の物理ディスクを買い溜めておく必要がなくてハッピー
RAIDカードが障害点になることも予備のカードを買い置く必要もない
個人利用だとメリットしかないわ
0157login:Penguin2015/10/13(火) 07:38:33.12ID:HyK32n4I
raidzみたいなやつのことだろ
0158login:Penguin2015/10/13(火) 08:10:52.95ID:YmPmbk2Z
>>156
個人だと障害時間が長くても基本問題ないだろうから、その点はあまりメリットにならないよ
0159login:Penguin2015/10/13(火) 09:56:58.05ID:9evBWVWY
RAIDスレで聞いとくれ。
メリットはハードに依存しない事。
0160login:Penguin2015/10/13(火) 11:37:58.22ID:sUP4HFtK
ZFSとかの話かな
ならここでもいいと思う
0161login:Penguin2015/10/13(火) 14:13:39.53ID:hAP9tGmO
ext5マダー(チンチン
0162login:Penguin2015/10/13(火) 14:43:34.87ID:QVEaqzD9
>>155
ZFSとか、btrfsとかの話です。
>>155,>>159
Linuxだとブロックデバイスとして見せるLinux mdとかがありますが、RAIDを実装してるレイヤが違いますよね。
0163login:Penguin2015/10/15(木) 21:54:53.47ID:tQQpjdm2
XFS、ext4、Btrfsって比べるとどうなの?
0164login:Penguin2015/10/15(木) 22:16:21.77ID:hPvP7SJi
メリットは設定が簡単というかわかりやすい
mdraid+LVM+ext4がZFSだけでいいからね
0165login:Penguin2015/10/31(土) 20:29:08.01ID:LoZGI7R4
------briefチンチンまで読んだ------
0166login:Penguin2015/11/01(日) 04:12:15.57ID:iu318Olt
Windows10で使えるReFSってどうなん
0167login:Penguin2015/11/01(日) 15:26:22.78ID:tRTeJxDt
>>166
あれLinuxで読む方法あるの?
0168login:Penguin2015/11/02(月) 12:41:31.94ID:rvajAb3q
ext3コードが削除されたLinux 4.3リリース
0169login:Penguin2015/11/02(月) 14:27:27.27ID:mgmqgR8U
WindowsからもMacからもLinuxからも簡単に使いまわせるFSがほしいな(´・ω・`)
FAT系以外で…
0170login:Penguin2015/11/02(月) 17:06:50.81ID:l7gGTJRu
>>168
使えなくなるって事?
ext2は?
0171login:Penguin2015/11/02(月) 17:57:50.57ID:mgmqgR8U
>>170
ext4ドライバがext3、ext2を読み書きするよ
0172login:Penguin2015/11/02(月) 19:52:23.52ID:l7gGTJRu
>>171
ありがとう。

ところでext1のサポートが切られたのっていつだっけ?
0173login:Penguin2015/11/03(火) 01:33:59.80ID:i1hWXT6R
自分で調べろよ
0174login:Penguin2015/11/03(火) 21:55:25.60ID:pVz2h5wv
さすがにもうext(1)はいいだろ・・・
0176login:Penguin2015/11/10(火) 04:09:43.19ID:WNP2U29P
時代遅れのNTFSを卒業したいんですけお・・・
0177login:Penguin2015/11/10(火) 07:18:37.10ID:CpTJPUut
>>176
windowsならrefs使えよ
0178login:Penguin2015/11/10(火) 08:39:54.01ID:nCov/CZS
refsってLinuxで使えるの?
0179login:Penguin2015/11/10(火) 09:43:13.42ID:VaqZLiMo
使えないんじゃね
0180login:Penguin2015/11/10(火) 11:24:46.37ID:PeEqh2YZ
ntfsとかをフリーにしたらそれだけでLinuxに移行するってかなりありそうだからないだろうな
0181login:Penguin2015/11/10(火) 13:42:49.70ID:iWyR5tUW
>>180
ないよ
0182login:Penguin 転載ダメ©2ch.net2015/11/10(火) 17:00:09.09ID:bXKjzqXg
ntfsからブートできるようになったら面白そうなのにな。
一部のディストリはインストールの際にntfsでフォーマットできるからインストール先をntfsにして
やってみたことがあるんだけど、インストールは完了するけどブートできないんだよな。
ntfsでlinuxとかちょっと憧れるんだけどな。市販のディスククローンハードとかも普通に使えるようになるし、
ファイルの救出もwindows機に繋げばできるし。
0183login:Penguin2015/11/10(火) 17:32:32.15ID:A3f2YWeU
>>182
全くメリットを感じないな
0184login:Penguin2015/11/10(火) 18:02:40.36ID:0zbBQcAs
ntfs-3gってバグ内包してないか?
今は直ったのか知らないけど、4〜5年くらい前何度かNTFSが壊れた。
秘蔵データが消えた(バックアップは取っていたが)。
それ以降こんにちまで俺はLinuxのデータパーティションはext4にするようにした
0185login:Penguin2015/11/11(水) 00:39:32.14ID:N4PxF+WH
バグの無いfs実装がどこに有るのかと
0186login:Penguin2015/11/11(水) 01:03:47.27ID:nZCwkKT6
>>184
linuxでntfsを常用する奴なんていないだろ
0187login:Penguin2015/11/11(水) 09:32:55.68ID:owg5+v10
>>184
書き込みで常用するのが悪い
0188login:Penguin2015/11/11(水) 15:43:20.62ID:jOFb1sur
ヨミコオンリーだよな(´・ω・`)
0189login:Penguin2015/11/11(水) 17:42:32.97ID:FFRADwmF
>>187
Linuxから(ntfs-3g)で書き込み繰り返していると
Windowsのchkdskでエラー出るようになったな
0190login:Penguin2015/11/11(水) 19:52:28.86ID:CCg8lgxj
NTFSだけのことじゃないでしょ
読み書きするWindowsをMSがグチャグチャいじくりまわしてるわけで
Linuxでマウントするなんて考慮するはずもない
0191login:Penguin2015/11/11(水) 20:24:00.74ID:jccgdkKv
ext系がイマイチな現状
結局btrfsが標準になりそう
0192login:Penguin2015/11/11(水) 20:32:11.82ID:nlTsYePH
てかNTFSもバージョン上がってるしね。
いちいち追随していくのも大変たい
0193login:Penguin2015/11/11(水) 20:41:35.17ID:cjdqqOEp
>>182
NTFS完全対応のLinuxを発見した。
そのディス鳥の名前は、Cygwin
X-Windowも使えて、C言語コンパイラも使える。
Windowsのファイルシステムに再起動なくアクセスできる。
逆にWindowsから再起動なくLinuxのファイルシステムにアクセスできる。
まるで仮想のようにWindowsとLinuxが同時に動くんだ。
感動してしまったよ。
素晴らしいディス鳥だ。
0194login:Penguin2015/11/11(水) 21:28:11.57ID:DdXQQZDf
それLinuxじゃないよ
0195login:Penguin2015/11/11(水) 21:37:55.20ID:737wXPHA
extは予約領域除いても使える容量が少ない

ところで/にはXFSとBtrfsどっちがおすすめ?
0196login:Penguin2015/11/14(土) 01:24:35.41ID:vRnIL95J
>>191
ぼくはext4でいく(´・ω・`)
btrfsまだこわい(´・ω・`)
0197login:Penguin2015/11/14(土) 11:59:59.74ID:BbPCX5pf
xfsはあえてext4から移行する明確な優位性が無いと思う
0198login:Penguin2015/11/14(土) 22:24:00.50ID:VE8yEqk3
XFSはブートのバグがある
0199login:Penguin2015/11/15(日) 00:49:53.96ID:g6GIHb/C
どんなバグ?
0200login:Penguin2015/11/15(日) 01:22:49.20ID:lP2DuW9U
数年前はXFSが一番性能良いって検証結果が目立ってたね
最近は大差ないに変わってきている印象
0201login:Penguin 転載ダメ©2ch.net2015/11/15(日) 20:32:55.44ID:RNhwbOVh
>>199

環境によってはブートしなくなる。自分が経験した範囲ではubuntu,manjaro,suseあたりで起きる。
インストールの段階で/bootをxfsでフォーマットしちゃうとインストール後のブートでgrubがこけて
そこで止まる。
さすがにfedoraでは起きてないけど。
そのへんのトラブルから一番無縁なのはext3か4というイメージ。流石にこの辺のファイルシステムで起動が
失敗したことはないや。
btrfsやzfsではゴツすぎるしリソースも足りんけど、ext4では面白みにかけるからext4よりの新しいやつがほしいな。
0202login:Penguin2015/11/16(月) 03:51:33.48ID:+prAMUzn
ぼくはext5を待っている(´・ω・`)
0204login:Penguin2015/11/16(月) 23:23:03.15ID:McBsI70r
lost+foundというフォルダがあるのと、mkfsが非常に遅いので、
ext3、ext4は使いたくないなぁ。
0205login:Penguin2015/11/16(月) 23:31:55.62ID:J2UW4U/e
Btrfsって安定性どうよ?
>>195,204の理由で乗り換え検討中
0206login:Penguin2015/11/17(火) 04:04:26.59ID:4wNOuHhU
fsck無いのってどれだっけ
0208login:Penguin2015/11/17(火) 09:19:22.64ID:kquiITHT
zfsはfsckの代わりにscrubってのがあるけどね
0209login:Penguin2015/11/17(火) 13:21:24.89ID:9bcp7LdA
あれは、fsckとは違う、
やってることは全データに対するパトロールリード。
0210login:Penguin2015/11/17(火) 14:00:58.36ID:f0aKke7U
scrubはアクセス領域に対して自動実行されるから手動でやる必要ないよ
0211login:Penguin2015/11/17(火) 19:51:44.37ID:SVG/rI1O
腐敗ビッドがー
0212login:Penguin2015/11/18(水) 12:13:12.75ID:LiJ6wTJa
>>210
あれは、ファイルの整合性をチェックする為というより、
システムがちゃんと動いてる事を確認するためにやるもんだと、
思ってる。

っつーことで、うちは35日サイクルで
scrubかけてる。
0213login:Penguin2015/11/18(水) 12:32:49.53ID:jbPNwxoL
チェックするなら1〜3ヶ月ごとだろうね
週一でやるには重い
0214login:Penguin2015/11/19(木) 08:40:39.12ID:vvOKkq9r
fsckの流れを邪魔して申しわけないが、
暗号化について質問していいかな?

CentOS6のシステムでサーバを組むことになったのだが、
依頼主の要望でディスクは暗号化することになった。

暗号化はインストールの時にチェックを入れれば良いだけなので、
楽勝と思っていたが、半完成のサーバをデモしたら、「起動時に
パスワードを入れるのはNG!」と言われてしまった。

WindowsのPCではディスクは暗号化しても、パスワード無しで
動かせるので、Linuxでできないはずがないというご意見。

パーティションの一部を暗号化して、パスワード無しで動かす
方法は判ったが、システムまるごとでの場合が分からず
ちょっと困っている。

何か情報はないでしょうか。
0215login:Penguin2015/11/19(木) 19:32:32.88ID:lVp2OmNH
ファイルシステムとは関係無いけどログインパスワード入力なしでログインできるように設定すればいいんじゃないの
自動ログインできた気がする
02162142015/11/20(金) 10:25:17.60ID:pNjDqM3y
> 215

bootする時にパスワード入力で停止するので、ログインのパスワードと
違う話です。

/etc/crypttabの設定で、パーティションの一部を暗号化して、
パスワードを入れずにまうんとできることは判ったのですが、
rootパーティションの設定ができていません。
0217login:Penguin2015/11/20(金) 16:36:47.93ID:EU+Nh5Ah
もしかして全部丸々暗号化してるとか?
0218login:Penguin2015/11/20(金) 16:55:29.80ID:aJkP6cz4
もしかしても何も>>214でそう言ってるじゃん
02192142015/11/20(金) 18:01:39.82ID:pNjDqM3y
全体を暗号化する場合、起動時にSSHログインして
パスフレーズを入力するという方法が実績がある
みたいです。

https://github.com/mk-fg/dracut-crypt-sshd

ちょっと試してみたが俺に難しいなこれ。
0220login:Penguin2015/11/20(金) 18:14:27.01ID:EU+Nh5Ah
そりゃ全部暗号化したらTPMとかハードウェアキー使わんと無理だろ
0221login:Penguin2015/11/20(金) 18:46:12.90ID:aJkP6cz4
Windowsはどうやってんだろ
0222login:Penguin2015/11/20(金) 19:33:29.06ID:qGd7sND2
windowsの暗号化がbotlockerだとしたらUSBメモリに解除キーを
保存してドングル的に使えたはず。
0223login:Penguin2015/11/20(金) 20:22:44.49ID:mPUwBuxp
/bootだけは暗号化出来ないと思ったけど最近は違うのかね
0224login:Penguin2015/11/21(土) 02:11:13.43ID:z2FcyJK3
bootを暗号化しても意味無いのでは。。。
0225login:Penguin2015/11/21(土) 04:12:28.11ID:tSIV3ax3
そりゃそうだがそれ言っちゃうと暗号化が必要なのは/homeくらいでそれならfstabに書いときゃどうとでもなるけど
winのブートローダで複合になれた人たちは納得しないだろう
0226login:Penguin2015/11/21(土) 04:31:39.02ID:mbHvxltm
grub2のcryptomountでブートは出来そうな気はするけど、試したわけじゃないから本当に動くかは知らない
0227login:Penguin2015/11/21(土) 11:20:35.30ID:z2FcyJK3
bootに御社の秘密情報がありますか?と客に聞いてみよう
理解できない客ならバイバイが吉
0228login:Penguin2015/11/21(土) 12:10:39.47ID:AGs0gyNr
/bootに機密情報入れる時代か
0229login:Penguin2015/11/24(火) 11:42:23.97ID:W8B3ffQ5
nilfsにしとけばファイルの更新履歴を追ったり、ある時点のファイルを復元したりも可能って理解で良いんかな?
ディスクの容量も相応に食うことは了解してる
02302142015/11/24(火) 15:12:10.18ID:DTgDd1a9
ファイルシステムの暗号化について、解決しましたので
報告します。

/etc/crypttabにキーファイルを登録して、データパーティションの
パスワード入力は回避できましたが、ルートパーティションに
対しては設定が効きませんでした。

CentOS 6.7ではキーファイルを/boot/keyfileとファイルに保存して、
/usr/share/dracut/modules.d/90crypt/installにinst /boot/keyfileと
いう行を追加したのち、dracut --forceコマンドで、initramfsを再作成
すると、ルートパーティションでも、パスワード入力無しに起動が
できました。

CentOS5、CentOS7でも同じような設定ができると思いますが、
自分の目的のOSバージョンが6.7なので調べてません。

申しわけありません。
0231login:Penguin2015/11/24(火) 15:34:54.20ID:OHO/hbmF
まさかと思うけど同じディスクとかじゃないよね?
/bootはどうしたの?
0232login:Penguin2015/11/24(火) 15:47:28.45ID:zrGE7dXs
暗号化はどういう脅威を想定しての対策なんだろ

ノートPCなら盗難とか忘れ物対策で暗号化することはあるけど
サーバは物理的に触られた時点で負けじゃね?
オンラインでの攻撃には暗号化は意味なさそうだし
02332142015/11/24(火) 16:32:38.99ID:DTgDd1a9
>>231

/bootは暗号化してないディレクトリです。
ルートパーティションと、データパーティションを
暗号化するのが要件です。

>>232
HDDが盗まれた時とか、廃棄した時を
想定しているそうです。データセンターに置くので、
全くナンセンスとは思います。が、クライアント様の
ご希望は叶えないとね。
0234login:Penguin2015/11/24(火) 19:37:30.41ID:pCeYKlKd
>>229
スナップショット使いたいんなら、
普通にbtrfsの方が良いんじゃね?
0235login:Penguin2015/11/24(火) 19:52:17.75ID:/xN2bWST
>>234
Btrfs勧めるとか鬼畜かお前はw
0236login:Penguin2015/11/24(火) 22:07:16.91ID:pCeYKlKd
>>235
btrfsを何だと思ってるの?
0237login:Penguin2015/11/25(水) 01:45:10.01ID:K0c+UNQC
ニッポンの平均最低月給と人口の都道府県別、市町村別ランキング
求人情報113,957件の平均最低月給196,400円 ♬

あなたの住む街は第何位?平均最低月給はいくら?
http://jobinjapan.jp/area/
0238login:Penguin2015/11/25(水) 04:50:19.07ID:kOfqhXCB
開発者が殺人犯のファイルシステムReiser4はどうなんや!!!!111111
0239login:Penguin2015/11/25(水) 05:27:03.35ID:UzIYMlxn
btrfs普通になってきた
0240login:Penguin2015/11/25(水) 09:50:07.90ID:vN5GNF01
しかしまだまだ不安定っぽいからな
最近でも壊れたって報告がちらほらあるし
0241login:Penguin2015/11/25(水) 10:55:51.92ID:GfyrjUO4
メモリ不足程度で簡単に破壊されるファイルシステムを常用しようとは思わん
0243login:Penguin2015/11/28(土) 00:18:33.51ID:U5Xp+D4p
現状で最も安定してるファイルシステムは?
0244login:Penguin2015/11/28(土) 00:42:25.22ID:vz63LqOF
UFS+softupdate
0245login:Penguin2015/11/28(土) 01:48:04.00ID:E4siaXcz
独断と偏見
ext
安定 使える容量が少ない

xfs
extには及ばないが安定 使える容量は多い
ブートが実質不可能

Btrfs
安定度はxfsと同じ 使える容量は最も多い
SSDならこれで決まりか?
0246login:Penguin2015/11/28(土) 02:06:43.20ID:U9EvirxG
今でも一番性能出るのはxfsなのかな
0247login:Penguin2015/11/28(土) 03:19:02.70ID:JxKicuVF
btrfsが他のファイルシステムより速くなる利用シーン

・マルチプロセスでの単一ディスクへの並列書き込みが頻発
・書き込みデータをまた直ぐに書き換えるデータアクセスが頻発
・テキストファイル大量コピー、仮想マシンイメージファイル等の圧縮の利きやすいデータの書き込み(透過圧縮有効時)
0248login:Penguin2015/12/01(火) 09:21:11.77ID:VdElwm6X
特別な理由が無い限りはextが正解だろ
0249login:Penguin2015/12/01(火) 17:38:51.19ID:HNbOH5Tw
枯れているという意味での安定でext4を盲目的に選ぶのもどうなの?
見方によればext4のデフォルトorderedよりbtrfsの方が信頼性が高い
これは設計上の話なんで埋めようのない差ではある
0250login:Penguin2015/12/01(火) 23:01:37.49ID:7kXB84Xn
設計による信頼性の差
実装による信頼性の差

両方を足して運用上の信頼性の差となるから、現状ではbtrfsを選ぶかどうかは難しいところでは?
将来的にはbtrfsの方が信頼性が確実に高くなるのだろうけど
0251login:Penguin2015/12/02(水) 09:20:41.62ID:rgdinuoa
こういう話題になるとbtrfsを必死に勧めてくる奴が湧くけど実際のところ安定面ではextに敵わないからな
パフォーマンス面でも他のファイルシステムのほうが勝ってるしな
0252login:Penguin2015/12/02(水) 10:54:55.54ID:iuNdKHQU
>>251
叩いている奴の方が実際の所、使わずに批判してる奴ばっかりだろ

Webに上がってるトラブってる報告もgentoo、archとかのディストリを使ってるのばっかり
0253login:Penguin2015/12/02(水) 11:08:29.08ID:x5QbVpKP
btrfsでしかできない機能が必要かどうかで決めればいい
自分は当分zfsでいいけど
0254login:Penguin2015/12/02(水) 11:23:12.69ID:fUaiUMQU
>>253
>自分は当分zfsでいいけど

はぁ? 自分?
俺はzfsでよくないぞ!
なんで俺のことを何も知らないのに勝手に決めつけるんだよ!
いい加減にしろ!
市ね!
氏ね!
0255login:Penguin2015/12/02(水) 11:44:13.92ID:Gc/SDpKu
そのネタつまんないからやめなよ
0256login:Penguin2015/12/02(水) 11:44:25.85ID:vYuRQrsh
Btrfs信者ってこんな奴ばっかだな
0258login:Penguin2015/12/02(水) 13:37:25.09ID:flg6nLuA
自分もzfs使ってます
0259login:Penguin2015/12/02(水) 14:20:02.02ID:iuNdKHQU
ext4信者って他のファイルシステムを使ったこともないのに

安定性wって言ってる奴ばっかりだろ
0260login:Penguin2015/12/02(水) 14:39:18.83ID:ZpYT5E2u
一個人が他のファイルシステムを使うかどうかと安定性に
どういう関連が
0261login:Penguin2015/12/02(水) 14:56:43.84ID:Gc/SDpKu
一個人でもファイルシステムぶっこわれたりしたら嫌でしょう
0262login:Penguin2015/12/02(水) 15:37:36.09ID:3Te+/u66
XFSはブートできないので論外
0263login:Penguin2015/12/02(水) 18:43:38.34ID:ZpYT5E2u
>>261
ext以外のファイルシステムを使ったことなくても
安定性について語っても良いでしょ?
という意味です
0264login:Penguin2015/12/02(水) 19:27:51.17ID:qz1uQatY
安定してるよ
SLES12が採用しているのが全て
0265login:Penguin2015/12/02(水) 20:41:18.95ID:ffah+0UW
>>262
言いたいことはわかるが、/bootなんざext2でもいい

windowsですら、最近はブートパーティションをわけるようになってる(そのままインストールする場合)
まああれはvhdブートとかの都合もあるからだが
0266login:Penguin2015/12/03(木) 00:25:05.58ID:M/kpEBRn
個人でって話なら、UPS前提じゃなきゃパフォーマンス出ないXFSはちょっとねぇ
0267login:Penguin2015/12/03(木) 00:42:09.87ID:ZQ+gO4ir
UPSとは
0268login:Penguin2015/12/03(木) 02:32:14.62ID:4a+HRpTr
>>249,250
ext4とbtrfsを合体させたものがあったらいいのにな(´・ω・`)

それかもうbtrfsのいいとことって、ext5作るか
0269login:Penguin2015/12/03(木) 02:32:55.19ID:4a+HRpTr
安定性っていうならext3使うのが一番では(´・ω・`)
0270login:Penguin2015/12/03(木) 02:34:28.87ID:4a+HRpTr
>>265
あまり細かく分けるより/と/homeで分けるのが好みです(´・ω・`)
0271login:Penguin2015/12/03(木) 11:54:06.35ID:nlU/mN2Y
>>269
コード書き直してるからext3と変わらん。
0272login:Penguin2015/12/03(木) 20:37:29.06ID:4a+HRpTr
>>271
どういうこと(´・ω・`)?
0273login:Penguin2015/12/06(日) 07:09:12.60ID:2808RVNv
ちょっと質問
ここ見てbtrfs試してみようと思ったんだが、スナップショットはfile単位?それともセクタとか何らかのブロック単位かね?

仮想PC置き場をbtrfsにしてスナップショット使おうと思ったんだが、仮想HDDファイルがでかいのでファイル単位だとメリットないかなと思って
0274login:Penguin2015/12/06(日) 12:26:46.63ID:8qwqXWot
>>273
btrfsのスナップショットはサブボリュームと呼ばれる単位で行われる
厳密には違うけど噛み砕いて言うとディレクトリ単位みたいなもんだと思っていい
(サブボリュームをディレクトリとしてマウントすっから)
ただ、仮想イメージでcow使うと断片化がえらいことになるからcow切るの忘れないようにな
正直仮想イメージのsnapshot取るならzfs+zvolが一番楽チン
0275login:Penguin2015/12/07(月) 15:00:57.50ID:RjECRzJB
最近の ext4 ってディレクトリ単位の暗号化ができるようになってたんだな
面倒くさそうだけど
0276login:Penguin2015/12/07(月) 15:30:28.62ID:d9QRZR2Z
>>273
サブボリューム単位での差分バックアップだから、あまりサイズを気にする必要は無くなるんじゃないかな
0277login:Penguin2015/12/07(月) 17:12:09.81ID:gg3KQupq
>> 274

「スナップショットは、サブボリュームの特殊な形です。サブボリュームのコピーですが、親や子となるサブボリュームを持ちません。
スナップショットは、ファイルのコピーを作成せず、元のサブボリュームのデータやメタデータを共有します。そのため、領域の節約になり、作成速度も速くなります。
元のサブボリュームとは独立しているため、スナップショットにファイルを追加しても、元のサブボリュームには追加されません。
スナップショットのスナップショットも作成できますが、それぞれ、別々のものとして扱われます。」

とあるんだが、例えば2GBのファイルの特定のバイトを更新した場合、ファイルデータが複製されるのか、特定のバイトのみ書き込まれるのか、よくわからなくて
COWだから後者かな

SSDに仮想PC置いてあるので断片化は問題ないと思う
0278login:Penguin2015/12/07(月) 20:07:23.39ID:WYKm6WwV
>>277
ほいほい、SSDならCOWによる断片化は気にしなくてOKだね、であればTrim対応してるbtrfsの方がzfsよりいいかもしれない
それならreflink使った管理の方が楽かもしれんね
例えば サブボリューム@vmを/vmにマウントしてあるとして、
例えば、cp --reflink /vm/hoge.img /vm/hoge2.imgとしてあげればhoge2.imgは最初の時点ではメタデータだけしかセクタ消費せず
hoge2.imgに書き込みが行われるとその差分セクタだけディスクが消費されていく
hoge2をhoge1にロールバックしたければそのままhoge1.imgをマウントしてhoge2をrmすればいいだけ
0279login:Penguin2015/12/07(月) 20:17:00.13ID:7Wi39JhB
zfs藻対応してる
0280login:Penguin2015/12/07(月) 20:36:10.77ID:WYKm6WwV
>>279
FreeBSDとSolarisはね。zfs on Linuxはまだなんじゃよ
btrfsとの比較だからzoLとの比較だと思ったけど違ったかな?
0281login:Penguin2015/12/07(月) 23:18:34.79ID:TC6wYmz0
>>278
btrfsのcow便利そうだな

上の人とは別だけど
開発中のプロダクトのテストを破壊的な操作があるベンチマークでやってて、
ベンチマーク終わる度に必要なデータ入れてる仮想ディスクのイメージファイルをコピーし直してたんだけど
スコアは関係無い開発時はcowとそのロールバック機能でやればはかどりそう
0282login:Penguin2015/12/10(木) 22:25:42.26ID:dnHf4i+C
btrfsユーザーはdfとかaliasしてるの?
0283login:Penguin2015/12/11(金) 10:11:05.82ID:u+R08WDS
KVMのイメージをzvolで運用しているが、仮想ゲストを誤って
削除してしまった。その時の復活の呪文を紹介します。

zfs clone storage/kvm@151210 storage/kvm2

/dev/zvol/storage/kvm2というデバイスが作られるので、
それを/mntにマウントして、中のファイルを救出する。

トラブル時に毎回復活の手順を忘れて、スナップショットの
リストの前でしばし呆然としてしまうのね。
0284login:Penguin2015/12/13(日) 21:04:22.43ID:A9RolSKZ
とりあえず、/home以下をext4からbtrfsに変換してみた
まだ、vm置き場やsnapshot置き場のサブボリュームの切り方がしっくりいってないので試行錯誤してみる
0285login:Penguin2015/12/14(月) 22:27:11.53ID:wpc09ah+
やっとファイルシステムっぽい話の流れになってきたな
0286login:Penguin2015/12/15(火) 00:19:57.82ID:ueU47wrM
>>277
1つのデータブロックを、セクタサイズが512バイト * 8 = 4KB とする

あるファイルが、100・101・102番のデータブロックを使っているとき、
101番の内容を修正すると、101番にのみ、dirtyの印が付き、
100・102番はそのまま

101番に文字を追加すると、追加した分は、200番に保存されるとき、
ファイルの順番は、100・101・200・102番に変わる

まあ漏れの推測です。ファイル更新の前後で、
100・102番がそのままであることを証明できればなあ
0287login:Penguin2015/12/15(火) 09:34:08.08ID:3yR3yxuh
>>286
btrfsだとその動作で大体合ってる
スナップショットが有効だと
最終的な最新ファイルは100,200,102を指し、
過去のスナップショットとして100,101,102が見える
0288login:Penguin2015/12/15(火) 22:05:43.14ID:aZh5214k
株式会社テクノプロ 新宿支店近況報告会(勉強会) [転載禁止]c2ch.net

ワイが梅沢や。稀代のワルや。

仕事せいや、飲みいく奴は辞めてもらうで。

離職率アクセンチュア激務
0289login:Penguin2016/01/05(火) 20:56:38.66ID:NdEG0fCx
マウントしたままfsckできねーかな
0290login:Penguin2016/01/06(水) 23:38:20.19ID:0ulrQZXz
FreeBSD なら ufs+softupdate>マウントしたままfsck
0291login:Penguin2016/01/06(水) 23:41:43.94ID:z61Axg7Q
zfsならzfs scrub
0293login:Penguin2016/01/12(火) 19:02:34.25ID:oQaUi43q
4.3kernelにMBR破壊などのの不具合があるってことですか
0294login:Penguin2016/02/04(木) 10:23:05.51ID:iuu9lZUF
ZFSでpoolを作るときにRAIDZを指定しなかった場合、RAID0相当のものになるのでしょうか?
例えば3つのHDDを使ってプールを作ってファイルを書き込んだ場合、3つのHDDにストライピングされてHDDが1本壊れた場合全く読めなくなる?
それとも各ファイル単位とかでHDDに保存されて、壊れたHDDに書き込まれてたファイルだけ読めなくなる。
どっちでしょうか?
0296login:Penguin2016/02/04(木) 16:06:37.52ID:iuu9lZUF
ありがとう。
0297login:Penguin2016/02/04(木) 20:44:54.18ID:cM+4uEad
んー?
copies=2とかにしとけばいいんじゃね?
0298login:Penguin2016/02/08(月) 13:51:53.43ID:z/By2oJh
メモリー2GBのPCでArchでNAS兼用サーバー建てたいんだけど
おすすめのファイルシステムありますか?
内蔵HDDが500GBで80GBのHDDをUSBで繋げます(将来的にもっと繋げるかも)
内蔵HDDの一部をシステム、内蔵HDDの残りと外付けをストレージ(NAS等のファイル置場)
今のところシステムパーティションをXFSで他をbtrfsにしようかと考え中です
0299login:Penguin2016/02/08(月) 14:22:01.83ID:p8UJlxUi
CentOS 7で内蔵HDDを128GBぐらいのSSDに換装
OSに30GBぐらいでXFSで初期化。ZFSを導入して、
内蔵SSDの残りをCacheとLogにして外付けHDDを
マウント。

少々メインメモリーが少ないのが残念だが、
利用者が少なくDedupや圧縮をしなければ
十分な性能のファイルサーバになります。

利点はスナップショットを使った、
バックアップとリストア。ファイルの冗長化が
必要ならUSBに2台以上のHDDを繋げて下さい。
0300login:Penguin2016/02/08(月) 14:57:23.38ID:B0r8Oyx6
別にオススメのFSはないけどスナップショットはオススメ
LVMでもできるけどまともに使えるようになったかな?
btrfsに不安がないならbtrfsでいいと思う
消去法で自分はzfsにするけどちゃんと理解してないとあとで大変なことになる
0301login:Penguin2016/02/09(火) 19:36:59.40ID:N2zkzgPV
レスどうもです btrfsと格闘してて遅くなりました
手持ちの機器はあれだけしかないのでSSD導入とかはできないです
ZFSは使ったことないけどLinuxに向いてなくてメモリー食う印象があってやっぱりbtrfsと思ってて…
OSパーティションは30GBのXFSにしました
既存のext4をbtrfsに変換してリサイズとかしてたら破損してしまって修復できなかったので新しいパーティション作って様子見しようと思います
失礼しました
0302login:Penguin2016/02/12(金) 09:04:23.50ID:GoLdsuHq
CenOS 5.11でNFSサーバを運用していたのを、
CentOS 7.2に変更したところ、あるアプリケーションで
NFS上のファイルが見えないという障害が発生しました。

shellや大半のアプリでは問題ありません。NFS上のファイルは
正常に見え、読み書きできます。

NFSの設定に互換性のフラグなど無いでしょうか?
もしCentOS 7.2のNFSを5.11と同じ仕様で動かすことが
できれば、問題は解決できると考えています。
0303login:Penguin2016/02/12(金) 10:46:44.60ID:3O5mnFBX
zfsのスナップショットのディレクトリをlsで表示される日時が
スナップショットを取った瞬間はその日時になっているがしばらくするとある日時に全部変わってしまう
このある日時がなんなのかも分からない
0304login:Penguin2016/02/13(土) 14:59:45.43ID:J+smxgMN
>>302
root は no_root_squash でアクセスできるけど一般ユーザ権限で読めないとかか?
NFSv4 になって v3 の時と勝手が違うってのがわかってないのかも。
マウントするときにオプションvers=3とかつけてみるとか、idmapd.conf の
Domain 設定が揃ってるか確認するとか。

それ以外は selinux 関連かな。 とりあえず permissive モードで動かしたり、
getseboot/setseboot で NFS 周りの設定許可だしてみるとか。
0305login:Penguin2016/02/15(月) 13:36:54.86ID:HK1fzC0/
スナップショット消そうとして
zfs destroy -r hoge@snapshot
じゃなくて
zfs destroy -r hoge
してしまったらあっさり消えてしまった
マウントされた状態でforceオプションもつけてないのにいきなり消えてしまうの怖すぎる
0306login:Penguin2016/02/25(木) 22:31:59.19ID:RS1xThVg
株式会社テクノプロ 新宿支店近況報告会(勉強会) [転載禁止]c2ch.net

俺がしんみょうじだ。稀代のワルだぜ。

仕事せいや、勉強会に参加しない雑魚は辞めてもらうぜ。

雑魚の前では、スーツは着ないぜ。

話は営業を通してくれ。
0307login:Penguin2016/03/02(水) 18:48:32.60ID:9KJD2JAS
Bcachefsてどうなの
0308login:Penguin2016/03/04(金) 00:47:16.20ID:LGTYvRIr
まだまだ安定性が不安だし様子見でしょ
0309login:Penguin2016/03/05(土) 01:11:45.61ID:dyiBaZLA
>>307
仮想ディスク置き場につこうてるよ
0310login:Penguin2016/03/05(土) 15:28:05.94ID:12WxMtdu
btrfs安定しましたか(´・ω・`)?
0311login:Penguin2016/03/05(土) 17:36:02.33ID:PmgJdQMu
ここ2年くらいはウチでは特にヤバいトラブルは起こってないよ(´;ω;`)。
シングルとミラーでしか使ったことないのでRAID5/6の場合は知らないが。

ただ多機能とか柔軟性と引き換えに速くはない。
なのでOS用はSSD、データ用もSSHDとか使った方がいいと思う。
スナップショットとか使う場合は特に(`・ω・´)。
0312login:Penguin2016/03/06(日) 13:22:59.38ID:wB2CJqGT
ありがとなす!
0313login:Penguin2016/03/10(木) 22:46:03.92ID:lC2BvU92
zpoolの上にbtrfsを乗っける事できる?
0314login:Penguin2016/03/10(木) 23:20:38.34ID:f+pBgg5p
iSCSI経由すればいいんじゃね?
0315login:Penguin2016/03/12(土) 17:26:34.56ID:/DG/bJj3
なんだかんだでext4が一番バランスが取れてるし安定してる
0317login:Penguin2016/03/14(月) 10:59:11.69ID:8ga35D9b
サイズによると思います。
小規模なサーバーなら1Gぐらいでも
動かせます。もちろん、圧縮や重複排除は
使いません。
0318login:Penguin2016/03/14(月) 12:38:44.64ID:+yvbDQcG
>>317
いやそういう話じゃなくてL2ARCの有効性についての話です
0319login:Penguin2016/03/14(月) 12:54:17.01ID:XuMEvv5g
メモリが2GBのPCでzfsかbtrfsでファイルサーバ作ろうと思ってるけど、どっちがいいの?
0320login:Penguin2016/03/14(月) 14:09:42.50ID:6w52dAoC
>>315
この路線でext5も開発して欲しいよね(´・ω・`)
0321login:Penguin2016/03/20(日) 12:25:19.32ID:Ti3yFfWP
My Late Night ZFS Recovery Adventure
tps://www.youtube.com/watch?v=6xHu1fmFeRo
0322login:Penguin2016/03/31(木) 09:46:57.68ID:T7sXUWlZ
3 node replication でGlusterFSを試しみたら小さいファイルの扱いがくそ遅い。 書き込みがローカルの書き込みより
100倍以上遅い。 冗長性はよさそうなんだけど、これじゃその上でコンパイルなんて全然無理。

ちなみにこんなもので実験してみた:https://github.com/carmstrong/multinode-glusterfs-vagrant
 
git clone ….
cd multi-node-glusterfs-vagrant
vagrant up

で一発でクラスター環境が構築される。
0323login:Penguin2016/03/31(木) 22:42:41.85ID:ULFdDE21
ubuntu 16.04 LTSが正式サポートしているZFSだけどブートドライブ利用可能かな?
0324login:Penguin2016/03/31(木) 23:04:46.56ID:gi0SE67u
ライセンス的にダメなんじゃなかった?
0325login:Penguin2016/04/01(金) 03:09:28.25ID:CeuwbqC7
>>322
gccに-pipeつけるとかじゃダメなレベル?
中間生成物にまで冗長性を確保したいという考えはよくわからんが
0326login:Penguin2016/04/01(金) 05:24:37.41ID:MtrAlgQ/
>>325
いや、単にNFSサーバーを置き換えてみて自分のホームディレクトリをそこに移動したから全てがその対象に。
最初はまあ、少々遅いなとは思ったけど、沢山ファイルが作られるような作業は愕然と遅くなったので
測定してみた。 とりあえずはそういう作業はローカルディスク上でするようにしたけど、出来れば作業環境は
サーバー上に置きたい。
0327login:Penguin2016/04/01(金) 08:41:03.07ID:7XSNFTt/
>>323

Debian(jessie)ベースの仮想環境パッケージのPROXMOXというオーストリアの
ソフトがあります。OSにZFSが組み込まれていて、インストール時にZFS
BOOTデバイスに設定することもできました。ちょっと試しに使っていますが、
サポート無しなら無償で使えます。(逆にサポートを契約するとスゲー高い)

ということで、LinuxでもBoot可能です。残念ながらインストーラーが
BOOTの設定をどのようにやっているかは判らないのですが、BOOTできる
環境は今まさに目の前にあります。
0328login:Penguin2016/04/02(土) 02:40:37.90ID:8ntVK1ii
>>326
GlusterFSはその用途に使うにはあまり向かないだけなんじゃないかな…
どうしても使いたいなら作業用ディレクトリだけローカルにして、サーバーにはcronでrsync回すとか運用で問題を回避したらどうだろうか
03293222016/04/02(土) 06:08:11.66ID:1WaHLkYt
>>328

> cronでrsync

そういう地味なバックアップは以前からしてますが、今回、自宅システムを構築するにあたってとにかく
ハードウェア障害があっても復旧作業が0で環境が継続する事を模索しているところなので。 

Glusterは赤帽が製品として売ってから間違いはないだろうと思って、実験もせずにいきなり実機に入れたので
大後悔。 vagrantとか一週間前まで知らなかったけど。 ちなみに色々と二日ほど読んだ結果、cephでやってみようかと
方針変更。 ちょっと複雑さと、あと最初の頃に読んだのでGlusterはCephより早いというのを鵜呑みにしたので全く
考慮に入れなかったけど。 

で、またこんなのを見つけたので仮想に実験しました: https://github.com/carmstrong/multinode-ceph-vagrant






 
03303222016/04/02(土) 06:27:47.26ID:1WaHLkYt
bonnie++でテストした結果。 仮想環境での大雑把なテストですが、一番顕著なのはファイル作成(Sequential create)のテストだと
思います。 0サイズのファイルをひたすら作るようですが、glusterは一秒間に52個。 4桁遅いです。 

Version 1.97 ------Sequential Output------ --Sequential Input- --Random-
Concurrency 1 -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP /sec %CP
native 1G 1092 99 200265 22 198952 20 5779 99 1050778 66 +++++ +++
gluster 1G 13 10 24071 5 1384 1 5060 93 50705 2 146.4 5
ceph 1G 1059 97 29308 3 31701 3 5116 85 107292 5 705.0 12

Version 1.97 ------Sequential Create------ --------Random Create--------
gluster-client -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
files /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP
native 160 33847 72 3785 90 3447 84 33608 70 2839 84 2227 80
gluster 16 52 0 23640 3 99 0 53 0 1099 1 88 0
ceph 160 44036 43 +++++ +++ 9602 7 36817 34 +++++ +++ 5699 5

ceph, 十分に早いです。 
03313222016/04/02(土) 07:05:27.82ID:YUJ7cuCb
glusterだめだという段階で色々検討しました。 ZFS, DRBDなど。 Cephはなかなか近寄りがたかったのですが、
この記事でその気になりました。

Single Node Ceph: Your Next Home Storage Solution
https://aesospadez.com/single-node-ceph-cluster-your-home-storage-solution/

ドライブが複数あればPCが一台でもCephは便利だぜ! という内容。 なら自分の予定してる2、3台というのは
十分現実的なのだと納得した次第。 自動的なバランス機能がすばらしそうで、同じサイズのディスクを組みにしなければ
ならないとか考えなければならないGlusterに比べると将来的な拡張などが楽そう。
0332login:Penguin2016/04/02(土) 09:58:01.87ID:FZgxHIyd
適材適所という言葉を知らんのか
0333login:Penguin2016/04/02(土) 10:10:10.55ID:nRCJrIg5
自宅サーバーなら、2台も3台も立てるは電気代が勿体無い。
※個人の感想です

故障した時に復旧時間を短くしたいなら。同じディスクサイズの
サーバーを2台準備して、DRBDでデータを同期させて、同期が
終わったら1台は停めてコールドスタンバイに。定期的にバック
アップは起動して、DRBDでデータ同期するというのはどうですか?

故障したら自動で切り替えるLinux-HAという世界もあるけど、
自宅サーバーでそこまでの耐障害性を求める必要はない。
※個人の感想です
03343222016/04/02(土) 11:05:33.52ID:YUJ7cuCb
>>333
冗長性が”2”というのはものすごく不安があります。 最初は2で初めて、早々に3で運用したいです。 自宅システムですが、
在宅勤務で仕事してます。

2,3台というのはストーレッジ、コアのサービス用途でPCは全部で12台ぐらいあります。 19インチのラックもあります。
5kwのソーラーパネルがあるので電気代は多分大丈夫。 ESXiサーバーも2台ほどあってVMが常にごちゃごちゃと数ダース。
それらの煩雑なバックアップを(してないのがほとんど)をすべて1つの冗長なストーレッジに統合したい、けど高価なNASは
予算がないし、NASも本体が死んだらしょうがない。なら安価なハードを並列につなげて冗長性を上げて行けられる
cephはかなり魅力あります。

ちなみにストーレッジのサーバーに被せてPacemakerを走らせてDNS, DHCP, NFS, Samba等をHAに運用する
予定でいます(いきなりGlusterで手こずって進展してませんが)。


  
 
0335login:Penguin2016/04/02(土) 12:26:25.67ID:C/MyPGlZ
ESXi があって別にバックアップ先があるなら、最初の ESXi がオリジナルでそれ以外がバックアップになる。
バックアップで RAID1 組むなりオリジナルで RAID1 で組むなりすれば冗長性3じゃないの?
gluster とかいらないのでは?

それとも ESXi 上のローカルディスクやめて NFS 越しに gluster や ceph とかの上の仮想マシンの
仮想ディスクにアクセスさせる気? レイテンシの低さ(応答速度の悪さ)に発狂するかも。

あと、NAS が死んだ場合と gluster や ceph のメタデータが死んだ場合とで天秤掛けることから
始めた方がいいんじゃないか。
0336login:Penguin2016/04/02(土) 16:48:58.11ID:nRCJrIg5
>>ちなみにストーレッジのサーバーに被せてPacemakerを走らせてDNS, DHCP, NFS, Samba等をHAに運用する
>>予定でいます(いきなりGlusterで手こずって進展してませんが)。

あんまり盛り込まない方が運用が楽になり、信頼性も上げることができるのだけど、
すっかりその気になっているようなので、頑張って茨の道を歩んでください。
0339login:Penguin2016/04/02(土) 21:14:43.15ID:31peWAy/
>>337
UbuntuBSD使えばいいってことかな
0340login:Penguin2016/04/03(日) 20:19:35.80ID:AHtRw4xJ
しらんけど分散ストレージって故障時にどのファイルがなくなったかってもんなの?
0341login:Penguin2016/04/03(日) 20:36:09.34ID:AHtRw4xJ
ってレプリケーションもするのか
TMPDIRでもしていしとけばいいんじゃねーの
0342login:Penguin2016/04/04(月) 08:24:40.56ID:0crknL8Q
>>340
gluster はファイル単位で分散するモードがあって、データロストするような障害があっても、復旧できる
かできないかがファイル単位になる。
他のノードに空きがあるのに、そのノードで空きが無いから、これ以上書き込めませんってことはありうる。

それ以外は大抵ノード間でストライプされるのでデータロストする障害では各ファイル歯抜け状態に
なるので復旧は期待できない。
0343login:Penguin2016/04/04(月) 14:18:16.10ID:SkwtJ5yy
>>337

OSのインストール時にZFSのソースコードからzfs.koその他をコンパイル
しつつ、インストールすれば問題ないのかと思っていたが、それほど
単純な話でもないのかな。
0344login:Penguin2016/04/08(金) 13:02:30.10ID:3i324I4v
Ubuntu16.0.4のBeta2を入手しました。
プレインストールではZFSは入っていませんが、
aptコマンドで簡単にインストールできました。
0345login:Penguin2016/04/11(月) 22:43:36.51ID:HwZeoNdK
>>810
バギーだなバター

     ..:::::::::::::::::::..
    .:::::::::::::::::::::::::::.
    {0}::::/¨`ヽ:::{0}
    :::::::::::ヽ._.ノ::::::::::
    ::::::::::::`ー'::::::::::::
   .::::::::::::::::::::::::::::::::::.
0346login:Penguin2016/04/11(月) 22:51:37.81ID:fyFRIJU4
>>345
なんでこんな過疎スレに誤爆してるんだよw
0347login:Penguin2016/04/13(水) 18:24:59.80ID:G8DCKER3
鳴り物入りでデビューしたBtrFS
今も鳴っているか?
0348login:Penguin2016/04/13(水) 22:28:39.44ID:gFnNd22e
低品質ZFSという印象しかない
0350login:Penguin2016/04/16(土) 10:58:40.73ID:R4nBW9wS
zfsは正直未来がないからbtrfsにがんばってもらうしかない
0352login:Penguin2016/04/17(日) 02:03:23.70ID:wJmSbvq5
ext4とBtrfsって低スペ機で違いある?
Btrfsって動くプロセスが増えるイメージがあるんだけど、カーネルモジュールやめてカーネルに組み込めば変わるかな
0353login:Penguin2016/04/17(日) 13:25:31.97ID:C8UQRv5y
lzo透過圧縮とデフラグでHDDアクセスは速くなる
0354login:Penguin2016/04/17(日) 21:44:55.34ID:mxA+B+OX
PS4とかXBOX ONEに内蔵されてるHDDのファイルシステムって何?独自?
0355login:Penguin2016/04/18(月) 06:48:14.33ID:9pzYftD9
PS4はFreeBSDベースだからUFSじゃね?
XBOXは普通にNTFSだろ
0356login:Penguin2016/04/21(木) 02:48:06.70ID:fHBiIjaS
>>354
独自というか既存のファイルシステムに手を入れたカスタマイズだよ
ただ暗号化しただけならとっくにDL配信のゲームが割られてる
0357login:Penguin2016/04/21(木) 10:29:13.22ID:t5axhJMD
ああそうか、ブッコ抜き対策とかで暗号化されてるのか>ゲーム機のHDD
0358login:Penguin2016/04/21(木) 15:54:09.13ID:3xuMpEcE
fsを作れる奴がソニーに居るとはね
0359login:Penguin2016/04/21(木) 17:18:41.46ID:mcTufVZI
ファイル単位に暗号化してるってだけじゃないの?
0360login:Penguin2016/04/22(金) 08:20:44.05ID:ij9lef6k
>>358
さすがにそれぐらいの人は普通にいるよ。
0361login:Penguin2016/04/23(土) 08:36:43.68ID:JHoL3AqU
中卒の俺でも作れるからね
0362login:Penguin2016/05/04(水) 08:49:40.59ID:UoYt/BG8
WinBtrfs v0.4

Changelog

v0.4 (2016-05-02):

Subvolume creation and deletion
Snapshots
Preallocation
Reparse points
Hard links
Plug and play
Free-space cache
Fix problems preventing volume from being shared over the network
Miscellaneous bug fixes
0363login:Penguin2016/05/12(木) 22:41:15.44ID:ySao5WJI
驚きと言えばlinux版jfsが細々とサポートされていることだなっっ
0364login:Penguin2016/05/13(金) 11:02:57.75ID:UkAeSQ0g
>>363
そりゃIBMが自社で利用してるからでしょ
0365login:Penguin 転載ダメ©2ch.net2016/05/13(金) 17:03:43.97ID:Q2hrBhi8
べつにそんなに悪いfsではないしな。ときどきgrubが見失って起動しなくなるけど。
0366login:Penguin2016/05/13(金) 22:22:11.52ID:byoFbk6c
jfsちょっと愛着があって自宅で5年ばかりNASで運用していましたがノートラブル
でした。
(QNAPに乗り換えたので仕方なしにext4を使っています)

しかしbtrfsがインストール時のデフォルトのファイルシステムになっていたり
xfsが使える鳥が増えたりと昔を知っている人間からすると隔世の感があります
0367login:Penguin2016/05/15(日) 15:59:32.04ID:AErjqsJr
おれもDebianでjfs使ってる。
RHELは仕事で使うから、似ているが違う動きをする可能性があるディストリビューションが欲しいんだよね。

ファイルシステムに限らないけど基本的なコマンドで、オプション次第でバグかもという結果を出力することがあるの。

そんな時は比較してみる。
0368login:Penguin2016/05/16(月) 20:22:10.59ID:ZX/hx4eI
4TB HDD4台でRAID5でNASを作ろうと持ってるけど、今はFS何が良いんでしょ?
xfsかbtrfsあたり?
0369login:Penguin2016/05/16(月) 20:26:40.84ID:XVm7FBMS
純粋にNASだけさせるんならfreeNASとかのBSD系でzfsが鉄板じゃね?
linuxでないといかん(仮想化とか動かす)ならbtrfsとかmdadm+xfsも候補に入るけど
0370login:Penguin2016/05/16(月) 20:45:20.65ID:ExZq6oc1
停電対策できないならzfsでRAIDZ1択だろ
RAID5とか自殺志願者か
0371login:Penguin2016/05/16(月) 20:50:53.52ID:CDcNosGn
今はlinuxでzfsでも問題ないよ
0372login:Penguin2016/05/16(月) 22:04:59.50ID:GOm5bO/c
頑張らない娘は ext4
0373login:Penguin2016/05/17(火) 12:17:32.44ID:Me1jgpgd
Ubuntu 16.0.4にはZFSのカーネルモジュールが
最初から入っているので、管理コマンドのパッケージを
追加インストールすれば簡単にZFS環境が出来ます。
0374login:Penguin2016/05/17(火) 12:49:27.73ID:m9LiiiCL
ZFSは気軽に始めると地獄を見るので、個人用途では勧めにくい。
サイレントクラッシュの可能性があるとはいえ、mdでのraid5だとHDD 3台から初めて、容量足りなくなったらHDD追加とか気楽にできて楽。
0375login:Penguin2016/05/17(火) 23:46:27.51ID:a/VA5oag
地獄について詳しく
0376login:Penguin2016/05/17(火) 23:53:54.83ID:JT/KOzMk
閻魔様というのがいて
0377login:Penguin2016/05/18(水) 00:03:29.56ID:uJ8ffosx
ラムちゃんはいますか?
0378login:Penguin2016/05/18(水) 00:21:49.24ID:JyUMTjr/
パンツ見せてください
0379login:Penguin2016/05/18(水) 12:32:09.87ID:yy1m0jL/
重複排除や圧縮を使ったら、メモリー喰らいの餓鬼地獄だったが、
使わなければ安定している。

ZVOLで気楽にディスクを切り出せるのが、大変使い勝手が良く
重宝してます。
0380login:Penguin2016/05/18(水) 18:42:27.50ID:HOVA7ChT
読み取り専用を前提とした場合に速度と安定性、対障害性がもっとも良いのはどれ?
0381login:Penguin2016/05/18(水) 18:55:56.03ID:IQx/Spdy
1日1回スナップショット取って1年経ったけど
1回あたりの時間がかなり遅くなってきた
0382login:Penguin2016/05/18(水) 20:23:11.59ID:9YCpD+R1
>>380
実験君でなければ、使っている鳥のデフォルトを選べ
0383login:Penguin2016/05/18(水) 20:45:53.13ID:3bLREw/U
最近じゃあext4ではなくbtrfsでデフォなのが驚きっっ
suseなんて/homeのパーティション切ろうとしたら「xfsはいかがですか?」だった
ので本気で時代は変わったと思った。
0384login:Penguin2016/05/18(水) 21:39:46.65ID:VHTVGxUA
https://www.reactos.org/

reactosでBTRFSがサポートされたぞクズ共
0385login:Penguin2016/05/19(木) 09:37:27.57ID:NehlEaJW
ext4で十分だ
0386login:Penguin2016/05/19(木) 13:00:20.01ID:v8gJXP7N
アルファ版OSの上に開発中のfsドライバを移植とな?
将来に期待してるよ
0387login:Penguin2016/05/19(木) 23:06:59.60ID:JUOPjZA5
期間限定とはいえMSがOSのアップデートを無償化した今ReactOSの未来はあるのか?
(しかも互換しているのはWin95だったっけ?)
0388login:Penguin2016/05/19(木) 23:50:26.23ID:IV2RrZVD
10のアップデートが無償なのと何の関係が?

プロジェクトの性質上ReactOSに現状未来はないと思うが
0389login:Penguin2016/05/20(金) 16:52:43.58ID:yoKcefsb
WindowsからWindowsに移行する人たちが何の関係があると思ってんだろう
0390login:Penguin2016/05/20(金) 17:22:43.00ID:POTuXyQH
大多数の一般人はメーカー製のPC買い換えたらOS代も払ってるし
結局の所いままでと大してかわらん
0391login:Penguin2016/05/25(水) 15:21:27.06ID:4x3R98DW
簡単なはずのLVMの設定ではまってしまった。(CenOS7)
/dev/sdbと/dev/sdc、/dev/sddの3つの
デバイスを使ってpvcreateができんかった。

犯人はMultipath Device Mapperで、/etc/multipath.confに

blacklist {
devnode "^sdb"
devnode "^sdc"
devnode "^sdd"
}

と書くだけだったが、なんだよお前!!(怒)
って感じ。
0392login:Penguin2016/05/29(日) 13:14:08.77ID:wR2UqDhR
NTFS重い
0393login:Penguin2016/05/29(日) 14:42:18.23ID:r6izzw+k
>>392
HWを速い奴に変えたら?
0394login:Penguin2016/05/29(日) 17:06:43.07ID:XBSFTcK9
>>392
LinuxなのにNTFSメインなの?
性能出ないってベンチあっただろ
0396login:Penguin2016/05/29(日) 19:53:13.51ID:+fdf+I0a
exFATにしよう
0397login:Penguin2016/05/29(日) 21:42:38.88ID:wR2UqDhR
>>396
3TBとかexFATなんてヤダヨ
仕方無くbtrfsに逝ったけどね
0398login:Penguin2016/06/01(水) 02:49:04.60ID:0YCtxesQ
ext4じゃダメなんですか?
0399login:Penguin2016/06/01(水) 08:39:30.11ID:J801171Z
XFSがあるじゃないか
0400login:Penguin2016/06/01(水) 14:59:03.49ID:gUubxfgF
Windowsとの相互運用なんだろう、でなきゃNTFS使うメリットなんて無いし
Windows用のfsドライバってあるみたいだけどちゃんと動くの?
0401login:Penguin 転載ダメ©2ch.net2016/06/01(水) 19:14:36.31ID:7gj+6KSO
ext3用のやつは読むのはちゃんと出来た。
ntfsにlinuxぶち込んでgrubから起動ってまだできないんだっけ?お手軽にできるならやってみたい気もする。
0402login:Penguin2016/06/01(水) 21:23:31.64ID:v9PdB9hM
>>401
ブート領域だけは無理てかはなから対応考えてないんじゃね?
古典的にはwinだってFATだけだし
最近じゃどのOSもGPT対応よね
0403login:Penguin2016/06/02(木) 02:10:34.18ID:JE3F8soq
以前外付けHDDのNTFSにでは出来たよ
0404login:Penguin2016/06/02(木) 08:25:16.40ID:86VHMGwn
Linuxカーネルはドライバ仕込むなりでどうとでも読み込めるけど、問題はブートローダがNTFS読めるかどうか
ブートローダが扱えるFS上にさえあれば、後は外付けなりのNTFSに/置くとかも不可能じゃない
今のgrubってNTFS読めたんだっけ?
0405login:Penguin2016/06/02(木) 19:14:29.14ID:DholeDK5
古の時代より/bootは専用にパーティションを切るものなのじゃ
0406login:Penguin2016/06/02(木) 22:23:58.49ID:46eQAIdm
grubはNTFS読めるっていうことになってるね
VMで試したら、initrdまでは普通に動いた
0408login:Penguin2016/06/05(日) 08:20:34.56ID:E3f06PUh
BIOSの制約があり、boot時に読み込まれるファイルは
ディスクの先頭に置く必要があって、bootパーティションは
sda1に作っていた。
ファイルシステムをLVMや暗号化する場合、それらのカーネル
オブジェクトを起動時に読み込む必要があり、LVMや暗号化の
影響を受けない別パーティションにbootファイルを置く。
0409login:Penguin2016/06/05(日) 09:21:42.57ID:3o6It71Q
やや語弊があると思ったので書かせてください。
ディスクの先頭(MBR)に置く必要があるのは grub や lilo であって、/boot は先頭付近であれば hda1/sda1でなくても OK 。
BIOS の実装によってHDDの後ろの方が読めないものがあったので必然的に前の方に置く必要があった。

また、別に/bootを切らなくてもOKだが、/boot切らずに/だけでかつ、/の領域が「HDDの後ろの方が読めない」ルールに
跨る場合、kernelやinitrdが場合によって読めなくて起動しない可能性が発生する。
だから/bootを単独で切ってこの問題が発生しないようにする。

カーネルオブジェクトの話は大体あってる。
カーネルオブジェクトは/lib/modules以下にあるが、/をマウントするまではそこは読めないのでinitrdに/をマウントさせる
ためのドライバやツール、LVM周りの設定などが入っている。
SCSIカードのドライバがinitrdに入っていなくて、「なんでgrubで読めてたHDDが/をマウントする時に読めないんだ」
という理解できない事態に泣かされるなんてことも。
0410login:Penguin2016/06/05(日) 09:34:50.17ID:3o6It71Q
もう一つ。
liloやgrub(stage1.5 を使っていないもの)は、kernelやinitrdの位置をディスクの位置だけで覚えて
いて、ファイルシステムは見ていない。
ext4などは内部で自動的にデフラグするので/に置いておくと、kernelやinitrdが勝手に移動されて
起動しなくなる可能性がある。 もちろん/bootを別に切っていてもそれは発生する可能性があるし、
実際2度程発生した現場を見たが、/bootを別に切って置いた方が発生確率は断然低い。

※ RHEL 5でstage1.5を持っているのにddでHDD先頭付近を回収したらstage1.5がインストールされて
いなかった。 RHEL 5 を新規でインストールしても stage1.5 を持っているのにインストールしない
現象が。

これらは全て昔話。 いまはBIOSじゃなくてUEFIなので、/boot/efiを個別に切らなきゃいけなくて、
しかもvfat限定。 grub2 になってファイルシステム認識するので以前のようにディスクの位置だけ
で覚えている訳ではないです。
0411login:Penguin2016/06/07(火) 06:50:46.42ID:PuxYBltz
詳しい解説サンクスです!
04124092016/06/07(火) 20:37:49.61ID:TGrfmddi
stage1.5 の話して stage2 どこ行った...orz 訂正します。
× kernelやinitrdの位置をディスクの位置だけで覚えていて、ファイルシステムは見ていない。
○ stage2の位置をディスクの位置だけで覚えていて、ファイルシステムは見ていない。
× kernelやinitrdが勝手に移動されて...
○ stage2が勝手に移動されて...
0413login:Penguin2016/06/15(水) 08:09:32.58ID:2aT7oAAB
macOSで採用されるAppleの新ファイルシステム「APFS」

Apple File System Guide - Introduction
https://developer.apple.com/library/prerelease/content/documentation/FileManagement/Conceptual/APFS_Guide/Introduction/Introduction.html

◆スナップショット&クローン
ITニュースサイトのArs Technicaは、面白い要素として「スナップショット」と「クローン」を挙げました。

「スナップショット」は、システムの任意の時点での読み込み専用インスタンス(バックアップ)を作成する機能で、Windowsでいうと「シャドウコピー」に相当します。
スナップショットの状態からファイルシステムに変更が加わると、変更分は差分として保存されます。OS Xにあった、Macのバックアップを作成したり、
そのバックアップからの復元を行う「Time Machine」機能を刷新して置き換える存在だとのこと。

◆タイムスタンプ
タイムスタンプ処理は秒単位からナノ秒単位となり、より細かくオペレーションの順序を追えるようになります。

◆クラッシュ保護
ファイルの書き込み中に電源を喪失してもファイルが破損しないように保証する「クラッシュ保護」が追加されます。

◆暗号化
暗号化機能としては「FileVault」がありましたが、これを強化し、「暗号化なし」「単一キー暗号化」「マルチキー暗号化」の3種類のオプションが選べます。
これによって、「暗号化など気にしない」という人から「誰にも一切の秘密を知られたくない」という人まで、いろんな需要がカバーされるとのこと。

◆フォルダーサイズ
「ファスト・ディレクトリ・サイジング」と呼ばれる、フォルダーサイズ算出の高速化が行われています。

◆スペース共有
複数のボリュームを作成するにあたって、ストレージ内の同じチャンクを用いることが可能となります。Ars Technicaはこれを「スペース共有の概念」と表現しています。
例えるなら、ディスク容量が1TBであっても、チャンクを共有することで、4つの1TBのボリュームを置くことも可能になるというもので、これによって、ボリュームサイズを変更することなく物理ストレージの追加が行えるとのこと。

なお、APFSはOS X 10.12(macOS Sierra 10.12)から開発者プレビュー版が登場し、2017年に公開予定です。
0415login:Penguin2016/06/15(水) 10:23:58.39ID:sH5nyk2m
Open Source

An open source implementation is not available at this time. Apple plans to document and publish the APFS volume format when Apple File System is released in 2017.

微妙な書き方
0416login:Penguin2016/06/15(水) 15:54:50.29ID:N8u+gNL2
またファイルを勝手に消すのか
0417login:Penguin2016/06/15(水) 20:26:41.33ID:l/CHdJMy
アップルってOSSの恩恵受けてるくせに
全然OSSに協力的じゃないのな
0418login:Penguin2016/06/15(水) 20:49:06.72ID:DwpO+B5t
よく言われますテヘッ
0419login:Penguin2016/06/16(木) 01:18:44.37ID:90WHdyuH
ジャイアンをなんだと思ってるんだ
0420login:Penguin2016/06/16(木) 04:02:10.84ID:gAehRqbW
GNU陣営からはそう見えるだろうな
0421login:Penguin2016/06/16(木) 05:40:43.90ID:XiQPlaoh
IBM >> MS >> ORACLE >>>>>>>>> Apple >> GNU陣営

米個人の感想です。
0422login:Penguin 転載ダメ©2ch.net2016/06/21(火) 01:46:54.67ID:G/hxaTgi
>>417

cupsなんかはわりと貢献してくれたほうじゃね?
mdnsresponderとかはくそみたいなやつだったけど。
0423login:Penguin2016/06/21(火) 12:57:30.05ID:MT0MrKtL
cupsとwebkitとllvmがあるからLinux民はだいぶリンゴの恩恵受けてるだろう
ちょろめで快適にブラウジングできるのはAppleのおかげ(起源はKDEのKHTMLで今はblinkになってるけど)
0424login:Penguin2016/06/22(水) 20:55:25.84ID:YBTzngyJ
firefoxとgccだから恩恵ないわ
0426login:Penguin2016/07/02(土) 02:17:41.40ID:A/qknZnG
ブロックレベルじゃないんだ(プークスクス
0427login:Penguin2016/07/02(土) 05:29:22.74ID:1GOM6gH5
reflink 「お、おう」
0428login:Penguin2016/07/24(日) 22:36:52.29ID:hwCS0FQA
    |┃
    |┃三    ,ィ, (fー--─‐- 、、
    |┃.    ,イ/〃        ヾ= 、
    |┃   N {                \
    |┃  ト.l ヽ               l
 ガラッ.|┃ 、ゝ丶         ,..ィ从    |
    |┃  \`.、_    _,. _彡'ノリ__,.ゝ、  |     / ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄
    |┃三 `ゞf‐>n;ハ二r^ァnj< y=レヽ    <  話は聞かせてもらったぞ!
    |┃.    |fjl、 ` ̄リj^ヾ)  ̄´ ノ レ リ     |   人類は滅亡する!
    |┃三  ヾl.`ー- べl,- ` ー-‐'  ,ン       \____________
    |┃      l     r─‐-、   /:|
    |┃三     ト、  `二¨´  ,.イ |
    |┃     _亅::ヽ、    ./ i :ト、
    |┃  -‐''「 F′::  `:ー '´  ,.'  フ >ー、
    |┃    ト、ヾ;、..__     , '_,./ /l
0429login:Penguin2016/08/12(金) 09:46:18.43ID:o4FXTSmX
Cephのベンチマークをfioでやっているのだが、ランダムリードの
性能が滅茶苦茶よくて、ローカルのディスクの1.5倍から2.0倍の
IOPSが出ている。

Cephのrbdドライバを使い、/dev/rbd0をExt4フォーマットで
初期化して、/cephのマウントしたのち、/ceph内でfioを動かしてます。

fioのパラメータでnon-buffered I/Oに設定しても、rbdの
キャッシュが有効になっているので、Cephだけ良い結果になり
ます。

ローカルストレージとの比較を取りたいので、fioのパラメータに
ついて何か情報は無いでしょうか。
0431login:Penguin2016/08/18(木) 19:35:34.08ID:WeycyQFq
RAID5/6はまだまだあかんね
RAID0/1/10は問題ないけど
0432login:Penguin2016/08/25(木) 02:52:43.55ID:PFcSEGJp
btrfsのコレジャナイ感は、、
0433login:Penguin2016/08/25(木) 23:58:59.60ID:Hvo29PTh
結局最強のファイルシステムは何ですか?
0435login:Penguin2016/08/26(金) 00:31:33.94ID:Q33/OLPz
大規模にも対応という意味では商用のIBMのGPFSかなぁ。
dedupやCOWまで考えるとZFSだろう。 GPFSのコンペ製品にあたる?lustreがext4ベースからZFSベースに移ろうと
しているあたり、そこそこ安定してきているとみていいんじゃないか?
RHEL/CentOSで手堅く運用する分にはXFS一択。
0436login:Penguin2016/08/26(金) 02:13:13.33ID:/o90OrfD
Debian Jessie(カーネルは3.16)でXFS v5って安定してるのかな。
metadataがcrc32で損傷修復できるようになってるらしいんだけど
xfs_repairとかxfs_fsrはちゃんと動くのかな?
0437login:Penguin2016/08/30(火) 14:21:10.15ID:nRZCPBe7
>>435
実運用でDedup使ってるところなんてあるのかねぇ。
メモリ要求量多すぎて、テストならともかく実運用では使いものにならないってのが素直な感想。
0438login:Penguin2016/08/30(火) 19:32:59.61ID:1HApW4sq
そもそもZFSは64GBくらいが最低ライン
そういうシステム向けに作ってある
0439login:Penguin2016/08/30(火) 19:54:41.28ID:nRZCPBe7
4TBをRAID5で4台(12TB)の環境だとdedup使うとメモリ60GB要るんだよね。
流石にむりぽ。
0440login:Penguin2016/08/30(火) 20:18:57.06ID:1HApW4sq
ていうか12TBもdedupするデータってどんなデータだよって話
フツーの個人で使うNASに入ってるようなデータをdedupしてもほとんど意味ない
あとついでにL2ARC使ってる人居ると思うけどこれもメモリ膨大に詰んでないと速くなるどころか逆に遅くなる
0441login:Penguin2016/08/30(火) 21:04:13.68ID:LDEicmMs
仮想マシンのせてるけど重複排除ほぼ無駄で無効にした
あらかじめ重複ブロックの発生が確定している用途でなければ無意味
空きメモリ64GB以上あるけどL2ARCもZILもSSD使っても速くならなかったし
クラッシュ時のリスクが増えただけだったのでこれも無効にした
この辺の機能はプランニングとチューニングを詰めて使わないとほとんど効果ない印象
でもRAIDZとスナップショットは大満足なのでもう他のFS使う気しない
0442login:Penguin2016/08/30(火) 21:09:49.49ID:m77t/MrJ
まぁ、何を期待してるのかにもよるだろうな
書き込みとか削除とか、色々あるんだし
0443login:Penguin2016/08/30(火) 21:12:51.06ID:ZMh4IsEl
とりあえずbtrfsでdedup試してみたい。オフラインでいいから
0444login:Penguin2016/08/31(水) 07:11:16.61ID:6KL7vAyW
zvolでdedupを試したことがあるが、
とりあえず、仮想イメージのクローンを作ると、
使用ディスクの容量が減らず感動できた。

クローン先のVMに変更を加えると、どんどん
ディスクの容量が減るのもビビる。
0445login:Penguin2016/08/31(水) 09:11:52.40ID:CM0BoMfP
>>444
それってCOW(Copy On Write)であってdedupではないと思っていたのですが違います?
dedup はバックアップソフトでは有効そうだけどファイルシステムにはコスト高なんかな。
0446login:Penguin2016/08/31(水) 09:31:53.90ID:6KL7vAyW
>>445

学が無いもので、違いがよく判りません。

別の例で、VMの仮想イメージをddで作成するとき、

dd if=/dev/zero of=/vmdata/system.img bs=1M count=4096

とかやると、4Gのファイルが見えているのに、ディスクを
消費していないのがdedupだと思っています。これもCOWなのかな?
0447login:Penguin2016/08/31(水) 20:29:43.00ID:CM0BoMfP
>>446
それは勝手にスパースファイルにしているだけ。 参照元が無い以上 dedup でもCOWでもない。

COW はファイル作成時点で参照元が明らかな場合で、dedup は書き込み終わった段階で
同じファイルを探しにいくってイメージだなぁ。
調べてみたが、cp コマンドでオプション指定しないと COW にならないみたい。
0448login:Penguin2016/09/15(木) 20:13:59.54ID:dV6DiMIf
ZFSで誤ってpoolの乗っているパーティションをいじってしまい、zpool importでインポート出来なくなったんだけど、もう復旧は無理ですか??
当該デバイスファイルをstringsすると、デバイスファイルの先頭に、
pool_guidや見えなくなったpool名の文字列が見えてくるんだけど。
0449login:Penguin2016/09/16(金) 00:13:28.01ID:vg5klPc0
再起動したら、奇跡的に復活したことがある。
ダメなら諦めるしかないと思います。
0450login:Penguin2016/09/16(金) 07:54:46.06ID:8gUnd2mo
間違って消したプールを復活させるコマンドがあったはず
忘れたけど
0451login:Penguin2016/09/16(金) 08:03:36.32ID:8gUnd2mo
ああパーティションか
バイナリいじらんと無理やろ
0452login:Penguin2016/09/16(金) 08:10:22.70ID:MUc2Fh2b
zfsなら某業者がやってくれるよ
0453login:Penguin2016/09/16(金) 10:21:35.59ID:AYG09Hpi
ん?
mirrorなりRAID-Zなり冗長化で組んでれば、
HDD1つのpartitionいじったぐらいで、import出来なくなるなんて事は無いはず。

元のpoolの構成書かれてないんだが、なに組んでんの。
0455login:Penguin2016/09/18(日) 04:44:14.30ID:b2QSN2F5
JFSとXFSとNILFS2って比較するとどうなの?
XFSはエラー検出があるけど、他の2つは検出や訂正ってあるのかな
0456login:Penguin2016/09/18(日) 10:38:41.21ID:kL9ML8H9
XFSのエラー検出が如何なる物かしらんが、HDD/SSDの故障パターンって時代時代で違うから
今時の機器に対して有効かは疑問があるなあ。

その手の故障パターンは RAID コントローラやRAID 装置側でサポートするもんだと思う。
特に、HDD単体では修復不可能でもRAID全体では回復可能なエラーの修正や、スクラブする
タイミング等はRAID装置側でしか対応できない。
0457login:Penguin2016/09/18(日) 13:35:37.72ID:guGJomoZ
exFAT-FUSEってNTFSと比べて安定性どう?
0458login:Penguin2016/09/19(月) 09:24:04.86ID:sjmc4/xU
現在3TBのHDD1台をzfsで運用しています。
これに1TB+2TBのHDDをraid0でストライピングして3TBにし、
既存の3TBの環境にミラーリングすることは可能でしょうか。

例;
sdb(3TB)
mirror
 sdc(1TB)
 sdd(2TB)

一度3TBを1TBと2TBにパーティション分割して以下の構成にするしか
方法はないでしょうか。

例;
mirror-0
 sdb1(1TB)
 sdc(1TB)
mirror-1
 sdb2(2TB)
 sdd(2TB)
0459login:Penguin2016/09/20(火) 12:51:56.32ID:3eRKoQSH
>>458
それしかないと思う
0460login:Penguin2016/09/20(火) 13:28:43.60ID:0v70f30e
sdbの3Tに合わせて、sdc、sddも3TのHDDに
すれば、合計で6Tのraidになると思うのだが。

昔ベンチマークをとってみたら、
書き込みは3台中2台への書き込みになるので約2倍
読み込みは3台同時に読み込むので約3倍になった
記憶がある。

SSDを使ってLOG領域を追加すると、書き込みは更に
速くなる。
0461login:Penguin2016/09/20(火) 23:25:25.28ID:Qg0SMv/5
>>458
出来ないはず。安物カード買えばいいんじゃない?
0462login:Penguin2016/09/28(水) 05:12:12.94ID:fuWRM1WK
おまえらReFS使ってますか
0463login:Penguin2016/09/29(木) 01:28:38.28ID:HzGLi7wy
zfsってインポート中にミスってフォーマットしちゃっても、
エクスポートするまでは普通に操作できるんだな。

おかけで助かったわ
0464login:Penguin2016/10/10(月) 10:20:12.66ID:HZtrIc8y
zfsやbtrfsはスナップショットをsend/receiveで送信できる機能があり、
これを使ってネットワーク越しに別媒体へ差分バックアップを取ろうと思っているのですが、
データが正しく送信できていることはどうやって確認したら良いでしょうか。

以前NICの不具合で数百ギガバイト程度送信すると、一つくらいファイルが化ける
現象にあったことがあり、現在は
0465login:Penguin2016/10/10(月) 10:21:00.28ID:HZtrIc8y
zfsやbtrfsはスナップショットをsend/receiveで送信できる機能があり、
これを使ってネットワーク越しに別媒体へ差分バックアップを取ろうと思っているのですが、
データが正しく送信できていることはどうやって確認したら良いでしょうか。

以前NICの不具合で数百ギガバイト程度送信すると、一つくらいファイルが化ける
現象にあったことがあり、現在は"rsync -ac"でバックアップを取っています。

ドライバやハブの不具合でデータが化けてしまった場合、
再送してくれるような仕組みがあったりするのでしょうか。
それとも、結局は各ファイルのハッシュを送信前と送信後のファイルシステム
それぞれで比較するくらいしかないものなのでしょうか。

すいません。途中で送ってしまいました。
0466login:Penguin2016/10/10(月) 14:04:08.09ID:cT0d7Kt8
>>465
スナップショットが転送先に生成されればうまくいっている。
SSHはTCPだから化けないと思うが。
0467login:Penguin2016/10/10(月) 14:40:59.34ID:8p8X9GRP
ブロック毎にチェックサム取ってるからなぁ>zfs
fletcher4 とか sha256 とか
0468login:Penguin2016/10/11(火) 22:49:48.29ID:+/XbymNF
>>466-467
ありがとうございます。
つまり既存データの読み書きだけでなく、zfs/btrfs receive時でも
ハッシュ値でのチェックをしているから、エラーがあったら発見してくれるという事ですか。

>>466
>>465では主題と関係ないのでNICの不具合と書きましたが、
実際は、遊びでLAN内であるPCのNICをbonding(balance-alb)してみた時に、ifconfigでerrorsだかdroppedだかが見られたので、
そのPCのsambaの共有ディレクトリ宛にrsyncでファイルコピー/チェックをしてみたらファイルが破損していたという事です。
(bonding化以前では特にエラーが無かった/memtestでもエラーが無かったので原因を決めつけていました)
言われてみればTCPなら再送される筈なので原因は別だったかもしれません。
0469login:Penguin2016/10/12(水) 00:38:40.12ID:J/OGrr4x
NILFS2使ってる人いる?
0470login:Penguin2016/10/12(水) 16:38:28.08ID:3mw3o4iy
Cephの評価をしているのだが、ceph.comにアクセスが出来なくなって
ceph-deployが動かない。
いつ治るのやら。
0471login:Penguin2016/10/12(水) 22:11:27.22ID:ju4yx62/
>>470
OSは何をえらんだ? どれが一番Cephと相性がいいんだろう?
0472login:Penguin2016/10/12(水) 23:20:09.27ID:GhydAQuN
>>469
正直使いどころが分からない
0473login:Penguin2016/10/13(木) 01:06:29.86ID:wpSI4vpI
>>470
Anonymousか誰かに最近クラックされたんじゃなかったっけ
04744702016/10/13(木) 08:14:58.77ID:Mfn0tWQ6
>>471
REDHAT社のストレージパッケージとして
サポートが受けられるので、商用利用ならRHEL7。

馬鹿高い費用を払うのが嫌ならCentOS7で。
うちは評価段階なのでCentOS7でやってます。

海外(ヨーロッパ)はOpenStackも含めて、Ubuntuを
使う事例が多いみたいですねぇ。
04764702016/10/13(木) 10:21:17.81ID:Mfn0tWQ6
>475

ほんとうなの? DreamComputeとCeph.comの関係が
見えないが。Ceph.comのWEBサーバがこのプロバイダで動いて
いるなら笑い話なのだが。
04774702016/10/13(木) 10:52:59.54ID:1kVoiqHT
>>476
そう、ceph.comをホスティングしているところ
04784702016/10/13(木) 10:57:11.36ID:Mfn0tWQ6
>475

レス感謝。これは飲み会の爆笑ネタですね。
Cephの連中が居ないところで使わせていただきます。
0479login:Penguin2016/10/13(木) 20:54:04.82ID:AcV8nhu8
>>475
これは笑う
0480login:Penguin2016/10/13(木) 21:12:51.95ID:LMFSlzXC
検証の答え出たじゃんw
Cephのせいでceph.comが落ちる程度の可用性なので使ってはいけない。
0481login:Penguin2016/10/14(金) 03:17:13.45ID:GGMKDzJc
ダメじゃん(´・ω・`)
0482login:Penguin2016/10/14(金) 05:43:54.69ID:JEHywyEf
システムなので不具合が出るのは仕方がないのが、
その後の復旧に1日以上かかっているところは大減点の評価。

Cephの構築の事例では1000サーバー以上をつなげて、ペタ
バイト級のストレージも運用できるらしいが、これじゃ安心して
使えない。
0483login:Penguin2016/10/14(金) 09:21:24.75ID:ROrK2BvY
ハードウェアを固定しない理屈だけで構成された分散ストレージは大体こけるね。
ハードウェアの故障のパターンのトレンドを追い続けることができ、かつ新しい製品に追随できる製品だけが生き残るって感じだわ。
何年経っても NetApp と EMC 以外名前を聞かないし。
Ceph とか GlusterFS 使えるのって正直消えても良いデータをそこそこの速度でアクセスしたい場合だけでしょ。
0484login:Penguin2016/10/14(金) 10:22:43.02ID:JEHywyEf
Cephのクラスターの障害で、OpenStackのサービスが
停止したのかなぁ。Cephの方もいろいろと冗長化や
障害対策の仕組みで、最悪の状態にならないように
設計してあるはずだが、詳しい状況が知りたい。
0485login:Penguin2016/10/14(金) 21:32:12.35ID:WXtMOL4+
>>469
NIFS2 か、ちゃんと調べてみようとは思ってるんだが。
想像だけで言っちゃうと、小容量で書き込みをコントールしたい用途 - microSD 用のFS - なんかには最適ではないかと 。
 小容量というのは、多分オンメモリの量が相対的に多い。巨大容量は不向きかも知れん。
 逆に COW FS で オンメモリの量が多いと、書き込みがかなり綺麗になる。

まぁちらっと見ただけなんで、想像なんだけどね。
0486login:Penguin2016/10/15(土) 12:02:06.91ID:CkN4yIDw
28 :名無しさん@そうだ登録へいこう:2016/10/08(土) 00:02:02.19 ID:S/EN+T+70
経理、いちやまを解雇しろ

29 :名無しさん@そうだ登録へいこう:2016/10/08(土) 00:02:24.91 ID:S/EN+T+70
営業、わたなべを解雇しろ

30 :名無しさん@そうだ登録へいこう:2016/10/08(土) 00:02:59.66 ID:S/EN+T+70
インフラ第二支店のかわさきを解雇しろ

31 :名無しさん@そうだ登録へいこう:2016/10/08(土) 00:03:31.07 ID:7Rcg+xLX0
はい、了解

32 :名無しさん@そうだ登録へいこう:2016/10/08(土) 00:06:24.42 ID:S/EN+T+70
インフラ第二支店のかわさきを解雇しろ

33 :名無しさん@そうだ登録へいこう:2016/10/08(土) 00:32:25.63 ID:7Rcg+xLX0
OK

34 :名無しさん@そうだ登録へいこう:2016/10/08(土) 00:42:00.49 ID:S/EN+T+70
>29
こいつは、許せねえ。

川越在住だから、家に石投げこんでガラス割ってやれ
0487login:Penguin2016/10/18(火) 23:32:50.07ID:G9ELbZJr
WindowsでZFS使えるようにならねえかなあ

                         みつを
0488login:Penguin2016/10/18(火) 23:35:45.10ID:0fiPLuek
そんなのなかったっけ?オレの木のせいかな
0489login:Penguin2016/10/20(木) 01:03:32.36ID:ic16eK2u
オラクルが公開しているBtrfsの方が良くね?
0491login:Penguin2016/10/21(金) 08:15:44.11ID:nuTqGB0+
PS4内蔵HDDのファイルシステムって何使ってるんだ
0492login:Penguin2016/10/22(土) 17:40:29.56ID:CEzcKQJV
ZFSが出て事実上ファイルシステムの進化は止まっちゃったね。
もう出尽くしたかな
0493login:Penguin2016/10/23(日) 02:48:35.62ID:25RjNEOZ
分散ファイルシステムとかモバイル向けとか組み込み向けの方はまだ伸びしろありそうな気がする
ZFSを超えるファイルシステムなんてアイディアすら湧かんけど、いつかは出てくるんだろうな
0494login:Penguin2016/10/23(日) 03:15:05.36ID:0o3fN8+h
zfs自体はよくできてると思うけど
ライセンスに難があるしraidzはディスク追加できないL2ARCは役に経たないし遅い
など個人的に不満なのでこの辺をbrtfsにがんばってもらいたい
0495login:Penguin2016/10/23(日) 07:12:48.57ID:HPxQivA2
btrfsは使いにくすぎてコレジャナイ感がハンパない
それに問題があるのはGPLだと思うが
0496login:Penguin2016/10/23(日) 10:08:13.35ID:wVAd5oO0
>>495
どの辺が使いにくいの?
0497login:Penguin2016/10/23(日) 11:29:59.85ID:PA9zBq14
DragonflyBSDのHAMMERFSいいと思うんだけど(イメージだけで言ってます)、Linuxにも入らないかな。
0498login:Penguin2016/10/23(日) 16:12:10.79ID:HPxQivA2
>>496
IDでの管理、fstabも運用しなきゃいけないとことか
0499login:Penguin2016/11/02(水) 22:16:22.43ID:mvOuTaW0
f2fs心配になってきた

火が出るんじゃないかと、、
0500login:Penguin2016/11/02(水) 23:16:01.98ID:W3bZsWBY
じゃあReiserFSは人殺すの?
アホか
0501login:Penguin2016/11/02(水) 23:25:52.18ID:NRTRT/SI
火が出るのは>>499の顔だったというオチ
0502login:Penguin2016/11/03(木) 00:30:35.57ID:IgsyeJqa
ミッションクリティカルな分野用にロジックボムを仕掛けておけばあるいは…
0503login:Penguin2016/11/03(木) 20:38:15.96ID:qCOU/zWz
ReiserFSの作者は妻殺害で捕まったけどなw
0504login:Penguin2016/11/03(木) 21:19:12.51ID:EU4tLglA
Reiser4はいつになったらカーネルに取り込まれるの?
0505login:Penguin2016/11/10(木) 17:25:39.93ID:LWwSRrvT
zfs-fuseをCentOS6で使っています。

みなさん、zfsはメモリをよく消費するといっていますが、
自分のところは、200GBほどのZFSプールの運用で、3コアで2GBメモリ環境なんですが
メモリは1GBほど空いています。

消費するとはいっても、使えるだけ全部使うわけではないってことでしょうか。
0506login:Penguin2016/11/10(木) 17:50:46.55ID:zOSrC92K
プールのサイズが大きければ、メモリーの量は多くなるし、
Dedupや圧縮を使うと更にメモリーが必要になるよ。
0507login:Penguin2016/11/10(木) 18:00:41.04ID:LWwSRrvT
>>506
レスありがとうございました。

プールの量にただただ比例すると考えると、絶対量がわからないのですが、
ZFS-FUSEのみで搭載メモリをほとんど消費してスワップが増えるようなことになるのかなあ。
0509login:Penguin2016/11/10(木) 21:02:38.82ID:LWwSRrvT
>>508
非常に参考になりました。

2000GBプールでそれを全部使用した場合(64KB/blockとして)、メモリーは10GB必要らしいので、
私の場合のプール200GBなら、十分の一なので、1GBメモリーが食われるということがわかりました。
使われれば使われるほど、メモリーが消費されるのは怖い。

外部ディスクにその管理テーブルを置けるらしいので調べてみたいと思います。

ありがとうございました。
0510login:Penguin2016/11/10(木) 21:12:10.76ID:Kfz3twO0
fuse使ったことないけどメモリの使用量は制限できるでしょ
ていうかfuseじゃないと駄目理由があるの?
0511login:Penguin2016/11/10(木) 21:27:21.44ID:LWwSRrvT
>>510
CentOS6でお手軽にzfs-fuseを使ってきて、数年来問題がないので、
今回も確実な方法を選択しました。

でもいわれてみれば、ネイティブzfsもCentOS6で試してみたいなあ。
ネイティブzfsだとどうして快適になるのかな。
快適になるならぜひトライしてみたいです。
0512login:Penguin2016/11/10(木) 22:19:41.36ID:VmUVX/Re
fuse版は遅いと以前読んだけどそれとは違うやつがあるのかね
0513login:Penguin2016/11/10(木) 22:24:03.96ID:LWwSRrvT
>>512
今つかっているのはこれです。
ベンチマークは取ったことはないです。ファイルサーバや、メール程度の利用です。
rsyncコピー動作中はCPUはコア丸ごとひとつ食います。

Name : zfs-fuse
Arch : x86_64
Version : 0.6.9
Release : 6.20100709git.el6
Size : 4.1 M
Repo : installed
From repo : epel
Summary : ZFS ported to Linux FUSE
0517login:Penguin2016/11/20(日) 09:08:16.19ID:qUUE+Sou
(´;ω;`)
0518login:Penguin2016/11/21(月) 09:40:01.39ID:gXJal9L6
か、仮想マシンで普通に使う分には問題ないしっ
0519login:Penguin2016/11/21(月) 17:48:41.15ID:t55L3l2c
CentOS 6上での、zfs-fuseなんですが、今日ダメになってしまいました。(1年以上問題なくがりがり動作してくれていた。)
マウント先ディレクトリにアクセスできなくなり、データを喪失しました。サイズは150GBほどで、パーティションを丸ごとプールにしていました。

# df -h
df: `/home/mount': Transport endpoint is not connected
df: `/zfspool': Transport endpoint is not connected


service zfs-fuse restartでもダメでした。
こんなことは初めてです。ちょっと使うのが怖くなってしまった。
0520login:Penguin2016/11/22(火) 13:39:13.93ID:uKf06faX
ZFS使うならBSD系一択でしょ
0521login:Penguin2016/11/22(火) 13:46:53.49ID:R1fkJ9hE
>>519
それだけじゃプールが壊れてるのかわからんけど
USBメモリでFreeNAS起動してインポートしてみたら?

>>520
linuxでnative zfs使って手今のところ問題ないけど
なんか既知の問題とかBSD系のメリットってあるの?
0522login:Penguin2016/11/22(火) 14:25:46.50ID:NU9uxALX
>>521
SSD併用してる場合はtrim対応してるのが地味に便利ではある
ZoLのtirm対応も最終テスト段階には入ってるんだけど、もうちょいかかりそう(nexentaから移植してきたコードを二年越しぐらいでテスト中)
今はそれ以外ではZoLでも極端な差はないけどね
でもあえて「一択」と宣言しちゃうんならsolaris系じゃないのと愚考
0523login:Penguin2016/11/22(火) 15:50:39.33ID:HyEQFIJ+
>>521
レスありがとうございます。

一日置いて、今日、service zfs-fuse restart をしてみると、

Syncing disks [ OK ]
Unmounting ZFS filesystemscannot open '/dev/fuse': invalid dataset name
[WARNING]
Stopping zfs-fuse: [ OK ]
Syncing disks again [ OK ]
Starting zfs-fuse: [ OK ]
Immunizing zfs-fuse against OOM kills [ OK ]
Mounting zfs partitions: [ OK ]

と、表示されて、マウントが成功しました。以上の結果から回復した様子が確認できます。
昨日も同様に試したはずなんですが、回復しませんでした。

zpool status を表示させましたが、異常はありませんでした。

昨日と、今日とでコマンドの結果が異なるのはよくわかりません。
いま、zpool scrub を実行中です。
0524login:Penguin2016/11/22(火) 16:21:55.41ID:uKf06faX
>>522
すまんSolarisが現行だったね
単に安定性や信頼性の面で不安があるってだけです
0525login:Penguin2016/11/23(水) 07:05:30.78ID:QfMUsOK2
btrfsのサブボリュームってどのぐらいの粒度でつくってる?
自宅鯖だしroot、homeとsnapshotぐらいでいいのかなーと思ってるんだけど
これ便利だぜってレイアウトある?
0526login:Penguin2016/11/23(水) 10:03:26.91ID:mAyFdxkg
>523

操作ミスでなければ、日によってマウントできたり
できなかったりというのはあり得ないので、外付けUSBの
HDDなり、クラウドサービスなりにデータを退避して、
そのシステムは窓から投げ捨てる事を勧めます。
0527login:Penguin2016/11/23(水) 11:26:24.05ID:/lL10P5X
>>525
そのぐらいでいいと思うけど、データベース(mysqlとかpostgreとか)入れる予定があるのなら
その領域だけはcowの対象外にしておくべし、かな
DBファイルのある場所をcowにしてしまうとえらいことになるんで
0528login:Penguin2016/11/25(金) 00:05:46.85ID:EzQC/k9a
>>526
VPSなので、投げ捨てられません。

scrubしてみてエラーがなければ、大丈夫とみなしてもよいでしょうか。
0529login:Penguin2016/11/25(金) 00:30:47.06ID:b17xciiY
海外の安VPSだと突然/があるsdaがroになったりとかしてびっくりする
0530login:Penguin2016/11/25(金) 10:15:33.10ID:gXoTAwjd
>>529
自分は国内のものです。

I/O性能が極端に低下すると、zfsのマウントが外れたりするんでしょうか。
0531login:Penguin2016/11/25(金) 13:27:41.21ID:Gw1xM7zM
ありえないな。
遊びでUSBディスクを刺して、
ディスクの増設や、取り外しの確認を
したことがあるが、速度の遅いUSBメモリーで
混ぜても問題なかった。
0532login:Penguin2016/11/25(金) 13:30:14.45ID:0qnNERIu
PIO1に遊びで設定して試しても特に問題感じなかった記憶がある
0533login:Penguin2016/11/25(金) 15:47:14.88ID:q5IwoDS6
mdadmならフロッピーディスクでRAID作れるぜ
0534login:Penguin2016/11/25(金) 15:54:27.55ID:Cr1u3Q2N
ていうかzfs-fuseはnativeがない時代の物だし更新もされてないだろ
0535login:Penguin2016/11/26(土) 00:10:17.16ID:4vJqFqFP
>>531-532
レスありがとうございます。
どうして急にマウントが解除されてしまったのか疑問が残ります。

>>534
zfs-fuseって、zfsネイティブがライセンスの問題でLinuxカーネルに統合できなかったためにその代用としてあるものだから、
Linuxでzfsを手軽に利用するには最適なのだと考えていました。
ただ更新もされないとなれば心配だなあ。そういえば、たしかバージョンはまだ1.0にもなっていなかったと思います。
Linuxカーネルからzfsが外されているので、カーネルのアップデート時に不具合が生じそうで怖いです。
その辺りの知識も経験もないので、ネイティブzfsをLinuxで使うことを躊躇してしまいます。

zfs-fuseは数年来同様にして使ってきましたが、今回の件以外ではマウントが勝手に解除されてしまうようなことはなかったです。
いずれの場合もデータが壊れるようなことはありませんでした。
05365352016/11/26(土) 00:20:52.25ID:4vJqFqFP
ちょっとググってみたんですが、今は、カーネルのアップデートのたびに、
再構成をしなくてもzfsネイティブが使えるようになっているみたいですね。
ちょっと勉強してみます。ありがとうございます。
0537login:Penguin2016/11/26(土) 00:29:53.76ID:ZPDyaOzg
zol使ってるけどホスト暗号化してzfsマウントしたままカーネルアップデートすると再起動不能になってまいった
0538login:Penguin2016/11/26(土) 09:10:12.28ID:/82tQRxQ
少しメモリーの多いPCにVirtualBoxでもいれて、
仮想環境でCentOSとZFSの動作確認して下さい。
0539login:Penguin2016/11/26(土) 12:13:40.92ID:4vJqFqFP
>>537
カーネルアップデート時に、動的にモジュールをセットする仕組みでインストールしたネイティブZFSのことですか?
そういう話を聞くと不安だなあ。

zfs-fuseなら実績があるので、安定動作のためにはまだしばらくはfuseの方がよいのかもしれないなあ。

>>538
長期間にわたって、アップデートも含めて、テストしないと駄目ですね。
0540login:Penguin2016/11/26(土) 12:14:29.95ID:ZPDyaOzg
俺のはメモリのせいじゃねーぞ
構成壊れて復号できないだけ
0541login:Penguin2016/11/26(土) 12:19:33.72ID:Au4GRqwJ
そもそもをいえばfuseに関わらずlinux上でのzfsに実績なんてない
zfsガチで使ってる人たちは専用のストレージサーバー建ててんだろ
0542login:Penguin2016/11/26(土) 12:26:55.50ID:19uAIz6H
自分は壊れてもかまわない個人用パソコンだから新しいことを試しでできる
waylandなんか何の意味があるのかわからんけど使ってるし
0543login:Penguin2016/12/19(月) 14:35:37.18ID:FFy3BS3E
Linuxだけどbtrfsのための chattr +C ってなくね?
0544login:Penguin2016/12/21(水) 00:30:37.35ID:rrRAftpu
nodatacowしかないね
0545login:Penguin2016/12/26(月) 21:22:32.14ID:JkEt70Xn
ZFSはSolarisで使うもんだろ
0546login:Penguin2016/12/27(火) 00:23:18.51ID:aQL3qvvP
Solarisは死んだんだよ、、
0547login:Penguin2016/12/27(火) 00:30:34.92ID:RxWVJboC
solarisは二度死ぬ
0548login:Penguin2016/12/27(火) 08:54:15.44ID:LegV5dc6
ククク、なんとでも蘇るさ
0549login:Penguin2016/12/27(火) 12:21:48.51ID:WVd6RHCE
Sunが復活してくれたらなー。
0550login:Penguin2016/12/31(土) 16:51:33.47ID:QIVHQgQV
株式会社テクノプロ 新宿支店近況報告会(勉強会) [転載禁止]c2ch.net

俺がしんみょうじだ。稀代のワルだぜ。

仕事せいや、勉強会に参加しない雑魚は辞めてもらうぜ。

雑魚の前では、スーツは着ないぜ。

話は営業を通してくれ。
0551login:Penguin2016/12/31(土) 17:29:31.37ID:v0QXAp+C
exFATってLinux的にはどうよ
0552login:Penguin2016/12/31(土) 17:55:56.27ID:tmcTGdoC
NTFSでUSBメモリ持ってこられるよりはましになる
0553login:Penguin2016/12/31(土) 18:03:33.03ID:v0QXAp+C
>>552
NTFSよりは安定しているのか
Windowsとの共有パーティションにFAT32を使いたくないので迷っていた
0555login:Penguin2016/12/31(土) 18:34:38.44ID:tmcTGdoC
安定じゃなくて面倒くささね
NTFSはユーザー管理をまともにやろうとするから読み出しは良くても書き込みが怖い
0556login:Penguin2016/12/31(土) 20:37:07.53ID:wUlv6XkE
FAT32の限界は、1つのファイルで、4GBまでだろ

普通、単独で、こんな大きなファイルを作らないから、FAT32で十分
0557login:Penguin2017/01/01(日) 00:29:48.38ID:ZK4Er1jk
>>556
動画扱っているから無理
0558!omikuji2017/01/04(水) 19:12:15.64ID:6w37i3bd
>>555
書き込みが怖いとはどういうこと?

linuxも、ntfsを使えるようにできるよね。
0559login:Penguin2017/01/04(水) 19:13:20.92ID:QVxDB8Qw
↑こいついつものキチガイ
0560login:Penguin2017/01/11(水) 16:33:33.68ID:XBnreabD
samba経由でbtrfsに書き込んだファイルにローカルプログラムからアクセスすると
書き込んで数秒間Permission errorだの起こして読めないのはなんでなんだぜ?
0561login:Penguin2017/01/12(木) 12:39:50.95ID:4CWup3Jk
btrfsつかってる
du /.snapshots/ したら
8172177468 つまり 8G強 もある。
これって 増え続けるの?
0562login:Penguin2017/01/12(木) 16:42:36.50ID:4CWup3Jk
自己解決
Disk Space Consumed by Snapper Snapshots
だった。
0563login:Penguin2017/01/29(日) 21:21:10.88ID:XKK+1iui
>>562
    |┃
    |┃三    ,ィ, (fー--─‐- 、、
    |┃.    ,イ/〃        ヾ= 、
    |┃   N {                \
    |┃  ト.l ヽ               l
 ガラッ.|┃ 、ゝ丶         ,..ィ从    |
    |┃  \`.、_    _,. _彡'ノリ__,.ゝ、  |     / ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄
    |┃三 `ゞf‐>n;ハ二r^ァnj< y=レヽ    <  話は聞かせてもらったぞ!
    |┃.    |fjl、 ` ̄リj^ヾ)  ̄´ ノ レ リ     |   人類は滅亡する!
    |┃三  ヾl.`ー- べl,- ` ー-‐'  ,ン       \____________
    |┃      l     r─‐-、   /:|
    |┃三     ト、  `二¨´  ,.イ |
    |┃     _亅::ヽ、    ./ i :ト、
    |┃  -‐''「 F′::  `:ー '´  ,.'  フ >ー、
    |┃    ト、ヾ;、..__     , '_,./ /l
0564login:Penguin2017/02/03(金) 16:29:23.11ID:jOdD/Rh2
zfs-fuse(CentOS6、yumで導入したもの)で、圧縮、重複排除機能をオンにしてつかっていた。
これで二度も、ディレクトリマウントポイントから勝手に外れるという不具合に遭遇した。

1回目は、マウントポイントが空になったことで、データの喪失かと思って、バックアップからのリストア作業を行った。
このときは冷や汗をかいた。
しかし、service zfs-fuse stopしてから、数分から数時間おいたあとで、再び、startとすると、
元に戻った。

二回目は、またかと思って、上記の再マウント作業を行うと案の定、回復した。

どうして、ダウンしてしまうのかわからない。
他のシステムでも同じOSでzfs-fuseをつかっているがそんな不具合に遭遇したことはない。
一つ違うのは、同時にzfs-fuseのファイルシステムに対して、
コピー、削除、移動などのアクセスが頻繁(samba経由で10セッションほど)にあること。
これがダウンを引き起こしたのではないかと思ったが、そんなに安定していないんでしょうか。

他のシステムでは大量のファイルのバックアップを毎日行い、
コピー、削除(ただし移動はない)したときにはそういう不具合は発生したことがない。

移動に弱いとかあるのかな。
05655642017/02/03(金) 16:32:41.05ID:jOdD/Rh2
自己レス

移動で不具合発生?と思ってググってみたら、次の記事を見つけた。

zfs-fuse crashes during chmod
https://bugzilla.redhat.com/show_bug.cgi?id=924012

多分、これかと思う。
実は、ファイルのコピーに伴ってchmodするスクリプトが走っている。
ああ、これじゃないか。

バグ取れたのかな。
05665642017/02/03(金) 16:36:18.37ID:jOdD/Rh2
「コピー&chmodする」スクリプトの走っていないマシン(同様に、zfs-fuse)では、
これまで4年ほど連続運転しているが、大量コピー、削除でも不具合は発生しなかった。

同時に複数chmodすると発生するバグなのかな。
0567login:Penguin2017/02/07(火) 18:23:27.15ID:OmFMgOE2
プロジェクトとメンテナが消滅してから数年経ち最終更新がいつなのやらって状態のFUSE版とか罰ゲームか何か?
0568login:Penguin2017/02/10(金) 09:52:56.18ID:37zzfOCM
低スペ機(RAM512MB、Pentium3)のFSって何がいいかな?
メモリ使用量よりCPU使用率を低くしたい
JFSがCPU使用率が低いって聞いたけど実際どうなの?
0569login:Penguin2017/02/10(金) 10:51:57.54ID:IXuwJgAN
あぁ^〜NTFS卒業したい

つってもWindowsだからこれ意外まともに使えるファイルシステムがないというジレンマ
0570login:Penguin2017/02/10(金) 11:10:06.87ID:U7jHjCCv
ext3がパフォーマンス最高なんじゃないの?
XFSはメモリ喰いなので
0571login:Penguin2017/02/10(金) 11:25:55.33ID:bGBErRtK
メモリ不足で壊れるとか怖いと思いました
0572login:Penguin2017/02/10(金) 11:43:26.45ID:V38K8h5U
メモリ不足で壊れはしないだろパフォーマンスが落ちるだけで
0573login:Penguin2017/02/10(金) 19:03:52.12ID:U7jHjCCv
XFSはメモリが少ないと、fsck.xfsがちゃんと動かなくてな
延々と修復が動き続け、仕方なくリセットするとまた
fsckの繰り返し。あるいはディスクが昇天してしまう。
最近は改善されたのかな。
0574login:Penguin2017/02/10(金) 21:32:13.49ID:VKx4Slzk
Windowsってまだあったのか。
昔はGUI的な意味があっただろうけど、劣化しまくってLinuxに完全に抜かれてるし、
使う必要性なんてミジンコほどもないやろ
0575login:Penguin2017/02/11(土) 13:35:29.91ID:dCPFxhib
リソースを潤沢に確保できる時代だから
パフォーマンスはXFSが一番だろうね
0576login:Penguin2017/02/11(土) 13:54:44.13ID:02F9HyNV
ext(特にext4)って管理領域を0%にしても使える容量が少ないよね
1TBのHDD全体をext4にフォーマットした直後で2桁GBが使用済みだったりする
0577login:Penguin2017/02/11(土) 15:08:30.91ID:GBnc8RFV
>>570-573 >>575
xfsがメモリ云々といわれていたのは、ファイルシステムよりもLinuxカーネルの実装に問題があった。
そこが、Linuxカーネル3.15で扱いが劇的に改善され、3.16で盤石になった。
https://mag.osdn.jp/14/06/09/153000
https://mag.osdn.jp/14/08/06/091400

この後、RHEL/CentOS ver.7で標準ファイルシステムに採用されたように、安定している。
0578login:Penguin2017/02/13(月) 18:24:30.56ID:soDfiENR
>>567
CentOSでfuseのようにお手軽にzfsが使えるようにするものが他にない。
btrfsはまだまだバグが多いらしいし。
重複排除、圧縮機能がほしい。
0579login:Penguin2017/02/13(月) 18:37:04.21ID:c16QEnIA
XFSってバグ修正後はメモリが1GBも無いようなPCでも快適に動くの?
0580login:Penguin2017/02/13(月) 18:48:31.63ID:F8o+xAlN
>>578
zfsonlinuxの何がダメだと言うんだ
0581login:Penguin2017/02/13(月) 18:55:02.55ID:sMvMSm8t
btrfsでデータ消失したことなんかないわ
不満といえばファイル削除が糞遅いことと、
smb経由で書き込んだファイルにソフトからすぐアクセスするとパーミッションエラーやら吐くことだな
書き換え時のテーブル管理がウンコなのだろう
だからといってメンテ性ゼロのzfsとかイラネ
あんなアホみたいなコマンド群覚えてられるかっつの
0582login:Penguin2017/02/13(月) 19:16:44.79ID:F8o+xAlN
いやコマンドはzfsのほうがわかりやすい
0583login:Penguin2017/02/13(月) 20:28:58.78ID:proh5GQZ
btrfsとzfs逆に読んでても気づかなかったレベル
0584login:Penguin2017/02/13(月) 20:55:15.30ID:soDfiENR
>>580
システム(カーネル)のアップデートを行つとき、zfsネイティブだと問題が生じる。
それを回避する方法も上の方のレスにはあったが、完全ではないらしいから、
zfsならfuseがいいなあと。
epelからインストールできる現行バージョンのzfs-fuseでも、chmod chownさえしなければ、
問題は起きたことない。
0585login:Penguin2017/02/14(火) 08:07:25.44ID:nx2Gz2tQ
zfs-fuseってメンテナ居ないの?
0586login:Penguin2017/02/14(火) 19:55:41.17ID:7u5u/hEK
結局万一のサルベージ考えるとext4なんだなあ
倉庫用ならfdupsでハードリンクにしとけば事足りるし
0587login:Penguin2017/02/14(火) 21:11:19.51ID:+g3S+hKL
SynologyのbtrfsとLinux RAIDのハイブリッド実装がいいとこ取りかも。
0588login:Penguin2017/02/14(火) 23:34:59.33ID:3/+YlJlQ
日本製のファイルシステムってないの。
0590login:Penguin2017/02/15(水) 10:44:33.45ID:afbkfgm/
>>589
さすがに圧縮、重複排除はないようだね
0591login:Penguin2017/02/16(木) 22:08:55.00ID:Im87AZ8B
ext4 on LVMでLVサイズ自由自在が便利だったのに、XFSだとLV縮小するときは作り直すしかないんだよね?
0592login:Penguin2017/02/16(木) 22:13:57.77ID:ADzu5uoZ
LVM関係ない
0593login:Penguin2017/02/16(木) 22:14:33.11ID:pYhKnq/P
XFSが縮小出来ないだけでLVM関係無いだろ
0594login:Penguin2017/02/16(木) 22:55:49.96ID:nhw9aL3L
すまん、言葉足らずだった。LVMが関係無いのは理解してる
個人的にLinuxで環境構築するときはLVMがデフォルトになってるから、ext4のときは良かったのに、XFSだと不便だな、というだけの話
0595login:Penguin2017/02/17(金) 11:07:11.04ID:Y8W4Iyv9
何言ってんだか
どっちも前からあるんだし使いやすい方使えばいいだけだろ
0596login:Penguin2017/02/22(水) 17:21:54.83ID:bv+E3URd
zfsでz_rd_intみたいなプロセスが大量に出るんだけどこれなに?
0597login:Penguin2017/02/22(水) 17:59:07.42ID:nVBlh5QK
カーネルスレッドだろ。
気にすんな。
0598login:Penguin2017/02/26(日) 23:02:32.68ID:+wcNRuoU
あーbtrfsぶっ壊れた。直し方も分からん…
% btrfsck /dev/sdb
root 5 inode 18446744073709551604 errors 2000
root 5 inode 18446744073709551605 errors 1
found 2326089822208 bytes used err is 1
total csum bytes: 1953425020
total tree bytes: 3768508416
total fs tree bytes: 1113550848
btree space waste bytes: 607047087
file data blocks allocated: 8606287585280
referenced 2315255730176
Btrfs Btrfs v0.19
0599login:Penguin2017/02/26(日) 23:47:39.42ID:+wcNRuoU
Linux3.2では btrfs-restore 使えないの?
参ったなこりゃ…
0600login:Penguin2017/02/27(月) 01:24:57.63ID:jJUFV0fP
Btrfsってよく壊れるの?
0601login:Penguin2017/02/27(月) 02:39:53.52ID:j5uIi8Et
壊れるとスライス丸ごとマウントできないからscrubできないところがきつい
logをしっかり見ろってことかもしれないが
ソース弄って無理矢理マウントできれば復旧できるのかもしれないけどそこまで大事ならバックアップすべきだし
0602login:Penguin2017/02/27(月) 06:19:29.41ID:FxRd6atK
btrfs壊れたの始めてだよ
突然再起動してほぼ間違いなく壊れるufsと大違い
とりあえずprogをmakeして、btrfs check --repair /dev/sdb したけど、
直したともなんとも言わずに、
found 2326318764032 bytes used err is 0
よう分からん
一応、scrub startさせてるけど、いつまで経っても返ってこないし
インスコにtexとかでかいの平気で入れさせんのやめてくれんもんかな
0603login:Penguin2017/03/01(水) 20:31:21.52ID:VFViSCbK
>>602
texとかは、ドキュメントのためだけだから無視していい
ドキュメント作れないだけで、プログラムはビルドされる
0604login:Penguin2017/03/01(水) 20:56:21.65ID:VFViSCbK
>>602
treeをなめて、何もエラーなかったから、err is 0と言ってる。
エラーあったら、598のようにerr is 1になる。

>>598 の方は、inodeなんたらって言ってる最初の行がリンク数のミスマッチ、次がそんなinodeないってエラーではあるんだけど…

inode番号が異様にでかいことに注意が必要
それぞれ、-12ULLと-11ULLで、内部管理用の特殊inode(空きinodeのキャッシュしてるとこ)
btrfs-progsのバージョン古すぎて、普通のinodeと思って解釈して、変なinodeだと「誤解」されてた、という話
で、最新のだとちゃんと内部用inodeの範囲知ってるから、そこ読み飛ばしてエラーなかった、と
0605login:Penguin2017/03/02(木) 00:56:38.01ID:ghE4M5Rm
638GiBのパーティションをext4でフォーマットして、Gpartedで見たら10GiB使用されていたのだけど、dfコマンドで見たら70MBしか使われていない
どっちが正確なの?
0606login:Penguin2017/03/02(木) 01:17:30.26ID:v9hvm/1A
どっちも正解です
0607login:Penguin2017/03/02(木) 02:22:43.88ID:gG4FqIJr
見てるところが違う
0608login:Penguin2017/03/02(木) 02:27:29.02ID:GhxUvXHF
mount(8)かext4(5)でも見なさいってこった
0610login:Penguin2017/04/05(水) 15:14:04.60ID:Ure1IfYK
fioでベンチマークを取ってます。(CentOS 7.3 fio 2.2)

--append-terseオプションを付けると、セミコロン区切りの
CSVデータも出力できるのを知人に教わって、ベンチマーク
スクリプトを書き換えていたのだが、Readの時にはCSVに
正しい値が入っているのに、WRITEの場合はすべてゼロを
出力するというトンデモバグがあり、ベンチマーク
スクリプトの書き換えが無駄になってしまった。

この人と同じ状況
http://www.spinics.net/lists/fio/msg03282.html

fioをバージョンアップすれば治るよとの誤報を信じて、
fioの2.18も試してみたが結果は同じだった。
0611login:Penguin2017/04/05(水) 21:10:12.90ID:CU3GqVmn
最新バージョンではないけれど
たまにカーネルが死亡する原因がbtrfsじゃないかと思えてきた
0612login:Penguin2017/04/11(火) 12:40:31.31ID:efnRYkqz
職場に届いたメルマガを見て驚いた。

いわく、
DRBDはバイナリがRHEL/CentOS向けに公開されていない。
ボリュームの最大サイズに2TBという限界があることも後に判明した。

会社名はあえて一部伏字にするがSI○Sというところ。


「DRBD/Heartbeatによる冗長化の限界」というタイトルで、Lifekeeperを
 買ってねという内容だった。

こんな弱点がDRBDにあるとは知らなかった(棒)!!
システム構築はOSSではなく、信頼できる会社にお願いしなけば(笑)。
0614login:Penguin2017/04/12(水) 12:37:48.64ID:QPdGW6k5
>>613

それそれ。

DRBDがこんなに恐ろしいものだと知らなかったぁ(棒)。
Windowsにも対応してなんて、ホントOSSで
システムを構築するとあとが大変だぁ。

ま、自分に都合の良い情報操作をするSI〇S死ね!!
というのが私の感想ですがね。
0615login:Penguin2017/04/13(木) 08:05:59.61ID:CcUAED51
>>614
Windowsは対応出来ないって書いてあると思うんだけど。
0616login:Penguin2017/04/13(木) 08:20:08.79ID:BHVcBxlt
もし言ってることがおかしいと思うのであれば
変に興奮せず普通に反論すればいいんでは

あと意味ない伏せ字やめなよ
0617login:Penguin2017/04/13(木) 23:47:07.89ID:DGeBpH4l
バカっぽい
0618login:Penguin2017/04/14(金) 00:32:46.92ID:GQ62u7hO
それそれwwって
だったら伏字とかキモイことすんな
0619login:Penguin2017/04/14(金) 04:44:28.03ID:lgRx640c
伏字にしておかないと、名誉毀損で訴えられるぞ。
相手が、刑事告訴するのは自由だから

それに日本の法律では、無罪の段階でも、逮捕状も取れるから、
後に無罪が確定するような案件でも、逮捕できる

警察では、無罪の段階で逮捕して、家族を殺すぞなど、
拷問にかけて白状させると、出世できるから、こういうやり方が推奨されている
0620login:Penguin2017/04/14(金) 08:05:48.59ID:pGnTXd6E
それを言うなら推測可能な伏せ字に意味はないですよ。
0621login:Penguin2017/04/14(金) 08:12:11.97ID:B0EPwTVL
などと、訴訟というものを知らないコドモが
0622login:Penguin2017/04/14(金) 08:37:38.57ID:nAYLvOgv
>>614でサイオスだって認めちゃってるからもう意味ないでしょ
つーか名誉毀損になるようなこと書き込むなよ
0623login:Penguin2017/04/14(金) 11:12:06.60ID:rIz6ncl4
OSSよろず相談室などといかにもOSSを応援してますという
ポーズをしながら、OSSには欠陥があるという記事を
公開しているのが問題なのだよ。DRBDはバイナリの提供が
EPELで続いているし、2TBの最大サイズの制限などは無い。
(DRBD/HeartbeatがWindowsに対応してないのは事実だが)

よろず相談室なんて看板は降ろさないとね。
0625login:Penguin2017/04/14(金) 11:49:21.78ID:ZqmfHhTH
準公式のepelと野良のelrepoじゃ大違いだわ
0626login:Penguin2017/04/14(金) 20:22:44.63ID:KfCSOs5y
>>623
みんなが何を指摘してるのか理解できないの?
0628login:Penguin2017/05/10(水) 03:01:24.47ID:rnC4xjJI
btrfsから乗り換える意味あるかね?
0629login:Penguin2017/05/10(水) 06:08:36.59ID:QPjXhq9s
いまだにtrim対応してなかったのか
0630login:Penguin2017/05/11(木) 17:20:30.30ID:10/1+Rwu
>>628
「Linuxで」「SSDで」「RAID5/6を使いたかった/使いたい」人には朗報じゃね?
シングルドライブorRAID-0/1/10でbtrfs使ってる人はわざわざとっかえる必要もないだろうけど

btrfs=RAID5/6:未だに危険 trim:対応済
zfs=RAID-Z/Z2:安定 trim=未対応(FreeBSDは対応済)

っていう状態だったんで

もう2〜3年前から実装始まってたんだけどzfsチームってテスト相当厳密なんでテスト通すまでがすげー大変だった模様
0631login:Penguin2017/05/11(木) 18:43:50.95ID:PiRGcwL+
ZFSでファイルを削除しても空き容量が増えない現象があります。
ExportしてImportすると回復するんだけど、なんかふんじゃった
かな?
0633login:Penguin2017/05/11(木) 20:38:03.13ID:r1sWYdOB
ていうかSSDでZFS使うメリットもあんまないな
0634login:Penguin2017/05/11(木) 20:40:33.89ID:r1sWYdOB
ああZILとL2ARCがあったわ
ZILとL2ARCがそもそもたいして役に立たないってのいうのはあるけど
0635login:Penguin2017/05/12(金) 08:46:10.74ID:wJ1auj8o
そりゃ業務に使わないならな
0636login:Penguin2017/05/12(金) 16:18:13.21ID:EKpJDWXM
ワークステーションで使って感じたけどエンプラみたいに安定的な環境じゃないとかえってトラブルのもとね
0637login:Penguin2017/05/13(土) 10:53:33.69ID:IFkoO0Zz
NetAppやEMC対抗商品を数多の企業が出してもことごとく潰れていく業界だからね。
ハードを固定して故障パターンを限定しても重複排除だのスナップショットの機能が入ったとたん
「次はもう買いたくない」って思わせるクラスの品質に落ちるのに、それを監視や診断機能の無い
ハードと無償で手に入るソフト、保守サポート窓口なしの環境でやればそれの足元にも及ばない訳で。

重複排除、COW、スナップショットはハード固有の監視や診断なしには満足できるレベルの
運用には到達しないんじゃないかな。
0638login:Penguin2017/05/28(日) 14:44:17.48ID:McnND0kw
いまカーネル標準で対応しているFSで重複排除機能が付いているのってあるの?
0639login:Penguin2017/05/28(日) 15:36:58.49ID:I5BN0lnq
無いんじゃないの
重複排除ってリソースめっちゃ喰うから用途かなり限られるよね
仮想マシン大量に建てる鯖やバックアップ鯖くらい?
現状で一番安定して使えそうなのがWindows serverっていうね…
0641login:Penguin2017/05/28(日) 17:06:28.93ID:39Ftlhoj
Btrfsの重複排除ってどうなのよ
0643login:Penguin2017/05/29(月) 04:33:17.73ID:jkT45TVc
重複排除使うためにメモリ買うよりストレージ買ったほうがいいよね
0644login:Penguin2017/05/29(月) 08:11:35.81ID:O1Frxdez
メモリ買わないと動かないようなPCをファイル鯖にするのか・・・
0645login:Penguin2017/05/29(月) 08:25:03.99ID:CUZ1A6M/
重複排除機能なんか使わなければ十分だから
0646login:Penguin2017/06/26(月) 23:14:46.51ID:eQAsqios
Windows10だとREFS(4KBクラスタのv2)ってファイルシステムが使えるがお前等どうしてる?
0648login:Penguin2017/07/03(月) 17:48:58.91ID:Ea/39p5O
Debianスレから紹介いただきました。本スレの皆様に教えていただきたいことがあります。
自宅でServerを運用しており大容量ディスク(20TB以上)のファイルシステムに何が良いのか迷っています。
現在使用しているext4以外でおすすめのファイルシステムがありましたらアドバイスをお願いいたします。

・大量データーのアーカイブ(高速なファイルのやり取りはあまり行わない)
・耐障害性が高く、ファイルシステム破壊が起こっても復旧が早いファイルシステムを希望
・H/W RAID Box(USB接続)を使用するためOSからは大容量1Volumeで見える形です
・snapshotや重複除去を使用する予定はありません

このような質問をした理由ですが、去年22TBのディスクがデーター転送中の問題でエラーが発生、強制停止させたことによりFS破壊、fsckでの復旧に半年かかったためです。
(エラーはカーネル3.16系で発生するUSB3.0の問題と思われる。現在はStretchにあげカーネルを4.xにしています)

現在の構成
サーバー:ProLiant ML110G6(CPU:Celeron 2.27GHz(2core) / メモリ:2GB)
主に使っているソフト:FTP(Proftpd)とSAMBAがメイン
Debian9(Stretch)
08TB(S/W RAID5 md Device,1Partition,ext4)
12TB(H/W RAID5 USB3接続,1Partition,ext4)
22TB(H/W RAID5 USB3接続,1Partition,ext4)
30TB(H/W RAID5 USB3接続,1Partition,ext4)

いきなり長文の質問で申し訳ありません…
0649login:Penguin2017/07/03(月) 18:11:52.40ID:7OKqHyMa
btfsかzfs
0650login:Penguin2017/07/03(月) 20:30:48.99ID:MQZ+B9Jh
バックアップはどうしているのかな?
RAIDなら取る必要はないとか考えてないとは思いますが。
0651login:Penguin2017/07/03(月) 20:39:31.80ID:wfMLF+g0
半年ってすげーな
0652login:Penguin2017/07/03(月) 20:44:14.73ID:OJ5yO1bx
いろいろ突っ込みどころがあるがまず運用方法見直したほうがいい
0653login:Penguin2017/07/03(月) 20:49:58.29ID:MQZ+B9Jh
こわれたら、迅速に直してバックアップから復旧がオススメです。
復旧する時間をかけたくないなら、システムを2重化して、
定期的にrsyncやDRBDで同期すること。
0654login:Penguin2017/07/03(月) 21:22:16.60ID:GtohxWZH
バッテリ付きキャッシュの無い RAID を使う限り、RAID5とか6は危険だと思う。
USB みたいな信頼性の低い線・端子でつなげてるのならなおさら。
その USB RAID を使い続けるというのであれば ZFS が一番適してることになるかな。
0656login:Penguin2017/07/04(火) 00:30:53.03ID:hlZN9BKH
ハードウェアRAIDって言ってるけどハードウェアRAIDじゃないけどな
0657login:Penguin2017/07/04(火) 00:38:24.45ID:zfUC5HDb
>>656
言いたかったのは、zfsを使うなら、直接HDDが見える環境で使うべきだし、
そうじゃないならあまりお勧めできないんじゃないかという事でした。

あと、よく見たらハードウェア要件がメモリ2GBだね。
性能要件次第だけど、zfsはやめたほうがいいね。
0658login:Penguin2017/07/04(火) 03:43:54.63ID:1CcIsrzv
NILFSを使おう
俺は使ったことないけど
06596542017/07/04(火) 19:52:06.07ID:RWkLITa8
>>655
そうだった。 ZFSをバッテリなしのハードウェアRAIDやフェイクRAIDに使っても保護されないね。
0660login:Penguin2017/07/30(日) 10:23:16.69ID:xcw79BRI
マウントしたままfsckできる素敵なFSはないものか
0661login:Penguin2017/07/30(日) 12:33:31.28ID:LnQGAip6
ZFSはSelf-Healingなファイルシステムだから、
そもそもfsckの概念が無いよ。
0663login:Penguin2017/08/03(木) 20:49:20.31ID:1cq9PXcr
btrfsなくなってしまうん?
0664login:Penguin2017/08/03(木) 23:46:50.93ID:GVFrl+UY
答えは、もちろん「ノー」。
0665login:Penguin2017/08/03(木) 23:55:40.40ID:2f97fGTq
なくなりはしないけどだんだん微妙な存在になっていくんだろうな
Reiser4みたいに
でも何がbtrfsの代わりになるんだろ?
ZFSをクリーンルームでGPLで書き直す?
0666login:Penguin2017/08/04(金) 07:36:23.81ID:Mfs2Dhsf
RHにxfsの開発者はいてもbtrfsの開発者はいないみたいだからなあ
xfsの方に機能を拡充していく方向では?という憶測はあるみたい
0667login:Penguin2017/08/04(金) 08:09:10.86ID:duncPD5S
>>665
書き直すなんて無理。
てか、それが出来るなら、今頃、btrfsはもっとまともになってる。

FSのバグは、FSに保存されてるファイル全てを
ぶっ飛ばす事になる。
ZFSはその一番不安定な時期をSunが仕事として作ってたから、今がある。
ファイルが壊れますって言うFSを
好き好んで使う一般人は少ない。

標準で使ってるディストリあるし、
そのうちまともになるよ、いつかは分からんけど。
0671login:Penguin2017/08/04(金) 19:40:29.19ID:i3vaH0o7
安心して利用できないファイルシステムとか使う価値ないから仕方ないね
canonicalもbtrfsではなくzfs採用してたし
SUSEはどうなんだろ
0672login:Penguin2017/08/04(金) 20:12:25.13ID:/yc4KR6i
そもそも仮に安定したとしても使い勝手がzfsの劣化版で投資する価値がないからな
そんなもんのために人柱になったり金払ったりしねーわ
0674login:Penguin2017/08/04(金) 23:41:43.27ID:vIQJfY7w
>>671
インストーラーで/にできない程度のサポートで採用って言われてもな
0675login:Penguin2017/08/05(土) 00:50:57.63ID:O5GzwzMh
>>673
btrfsは捨てられるわ、ZFSも捨てられるわ
もうファイルシステムも何がなんだか
0676login:Penguin2017/08/05(土) 00:52:37.88ID:O5GzwzMh
Oracleはみんなに酷いことをしたよね
0677login:Penguin2017/08/05(土) 03:29:53.06ID:q4qy5xc6
oracle linuxはどうなるんやろな
0679login:Penguin2017/08/05(土) 17:45:30.69ID:RG3lhg52
Zuckerberg STD
0680login:Penguin2017/08/05(土) 20:15:49.56ID:TJDqBBE+
旧SunからSolarisとZFSとMySQLとOpenOfficeが殺された。残るはSpark(ナイアガラは休止だっけ)とJava?
0682login:Penguin2017/08/08(火) 12:51:23.37ID:0JMEX2Mq
>>665
DragonFly BSDのHAMMER2とか
0683login:Penguin2017/08/08(火) 16:50:23.11ID:uxB2sNFj
JavaはOracleが積極的に捨てたほうが良くなる可能性がある
0684login:Penguin2017/08/11(金) 01:45:31.87ID:Lb5/9gJQ
>>682
これに一票
0685login:Penguin2017/08/12(土) 10:36:53.85ID:HR39pHO3
redhatが採用しない=オワコン
という発想の奴が多くてびっくりした
0686login:Penguin2017/08/12(土) 10:41:40.94ID:8M/sjVdK
スナップショットが取れればなんでもいいや…
バグってて消えるのは論外ね
0687login:Penguin2017/08/12(土) 10:53:24.17ID:O3ctFOaZ
lvmのスナップショットは使い物にならない
0688login:Penguin2017/08/12(土) 14:14:08.27ID:LPT9fmQ8
大規模ストレージでもう4年ほどBtrfs使ってるけれど、データが消失したことはないな
ディスク故障時が全般的にタコなのはなんとかしたいけど
0689login:Penguin2017/08/12(土) 15:06:12.16ID:uoskm2VQ
>>686
4年とは凄いな。
私は2年ほどで2回も壊れたよ。
"Btrfs is under heavy development〜"がbtrfs.txtから消えたlinux-4.6以降でも一回壊れた。
所詮自宅サーバの/だから別に平気だけど。

DebianのWiki( https://wiki.debian.org/Btrfs )を見る限り、
Raid5/6は危険だとか、quotaでファイルシステムが壊れるだとか、compress=lzoが危険だとか、
まだまだ問題がありそうで、消えたら困る環境で使うのは怖いよ。罠が多すぎ。
(私はquotaもcompless=lzoも有効にしていた)
06906892017/08/12(土) 15:07:45.82ID:uoskm2VQ
間違えた。>>686>>688
0691login:Penguin2017/08/12(土) 15:14:39.77ID:O3ctFOaZ
いやそりゃあRAID5/6はまだexperimentalでしょ?
0692login:Penguin2017/08/12(土) 15:21:21.48ID:LPT9fmQ8
>>689
meta/data両方mirrorで、quotaは使わず、compress=lzoだな。

ファイルシステムが壊れた、といっていいのかわからないけれど、rsyncで大量のデータを同期するとやがてフリーズするようになる、というのは起きた。
一度起きたらどうやっても戻らない。フリーズするようになるまでのデータ量はどんどん減っていく。
Btrfs自体を作り直すと一旦解消するけど、必ず再現していたな。
どうやって解消したか覚えてないけれど、解消してからもsend/receiveを使うとやっぱりフリーズするという問題が残った。
今でもsend/receiveは使ってない。

復旧力に乏しいので、無停止性が欲しいのでなければ、meta mirror, data singleにして、ハードウェアRaid5上に2組構築して同期するのがベストだと思う。
というかそういう構成に組み直そうと考えている。

間違ってもmd上にbtrfs作っちゃダメだぞ。泣くぞ。
あと、btrfsのraid5なんか信用しちゃダメだぞ。
0693login:Penguin2017/08/12(土) 15:48:24.61ID:037NPuoG
エンタープライズ環境での構成は検証してるのでそれほどバグらないけど未検証の構成ではバグりまくりってことかね
0694login:Penguin2017/08/14(月) 11:50:21.81ID:6Rd+fvae
>>685
オワコン以前に始まってすらいねえよ
06966882017/08/14(月) 18:23:40.98ID:5teHooVn
元記事ちゃんと読んでいないのかな…
RHELとしては安定する様子がないから(エンタープライズユースで)実用的なファイルシステムとして取り扱うのをやめる、という話で、
FedoraでBtrfsをメインにしていくよう変わらず努めるわけだし、
そもそもBtrfsのメイン開発者はRed Hatの人だからね
0697login:Penguin2017/08/14(月) 18:46:05.45ID:d4Wc5sOa
>>696
Fedoraでもやめるし、
btrfsの開発者はもうRed Hatにいないんだが…
06986882017/08/14(月) 18:50:16.97ID:5teHooVn
>>697
WenruoさんRHやめたの?
0699login:Penguin2017/08/14(月) 19:03:17.33ID:AN2sH9yJ
メイン開発者はFacebookだろ。
Facebookが続ける間はRed Hatが止めようと関係ない。
0700login:Penguin2017/08/14(月) 20:59:23.19ID:7QyyrlM4
>>688
ところで、
>> 間違ってもmd上にbtrfs作っちゃダメだぞ。泣くぞ。
ってのは何でなのか聞いて良いですか。
私はLinux md使ったことないので、当たり前なのかもしれないですが、
ハードウェアraidなら大丈夫で、mdだとまずい事が思い浮かばないので。
07016882017/08/14(月) 21:06:28.55ID:5teHooVn
>>700
フリーズするから
07027002017/08/14(月) 21:39:43.19ID:7QyyrlM4
シンプルな返答をありがとう。
btrfsの話は、簡単な使い方の話ばかりで、
本番環境では避けたほうがいい的な結論ばかりなので、
それなりな規模で使った上での話はあまりないので有難いです。

しかし688さんの環境だとbtrfsフリーズしまくりですね。
環境依存もあるのでしょうけど、これはちょっと
何も考えずに使うのは難しいですね。
07036882017/08/14(月) 21:50:37.34ID:5teHooVn
>>702
テストのために検証されてない条件を積極的にやっているので、
実際に普通に使っていれば日常問題が起きることはほとんどないし安定して使えると思う。
もちろん、mdと組み合わせないとか、RAID5/6は使わないとか配慮の上でだけど。

普通に使ってて怖い部分っていうのは、send/receiveがいまいち信頼できないのと、
ディスク故障時にそれがはっきりわからない上に、ファイルシステム保護の働かない動作をすること。
加えて言うなら復旧も割と大変。

ちなみに、ディスク交換してbalanceしてるときに別のディスクが故障したことがあるけど、
この場合データ損失がなくても復旧不能になる。
極めてエッジケースではあるけど、この不具合は報告はしたけど修正は今もされてない。
0704login:Penguin2017/08/15(火) 14:07:42.78ID:LhhxxEyR
俺ってFreeBSDとLinux使いじゃない?
ずっとbtrfs使ってたんだけど新HDDとスタンド買ってFSどうしようかと悩んだ挙げ句
ntfs採用しちまったよ
両方で満足に読み書きできるのってこれくらいだし
あとはbtrfsだった旧HDD2台をバックアップにするけどraid0組みたいし
FSどうしようか考えてるとこ
0705login:Penguin2017/08/15(火) 14:14:54.94ID:5QOiWKQJ
zfsでいいやん
0706login:Penguin2017/08/15(火) 14:17:31.54ID:caLD1QcZ
BSDでNTFSへの書き込みややこしかったのに楽になってるのかー
linuxでUFS2の書き込みできれば個人的に助かるんだけどなかなか採用されぬ
0707login:Penguin2017/08/15(火) 15:58:46.15ID:tih8LOk4
ZoLでネイティブ暗号化のサポートがmasterブランチに入ったね。
次のメジャーリリース(0.8.0 ?)には使えるようになるかもね。
0.7.0ではtrimサポートが入らなかったけど、そのころには使えるようになっているだろうし、
個人的にとても楽しみ。
0708login:Penguin2017/08/15(火) 23:31:11.11ID:xcbd4f/+
zfsって稼働しながらUSB-HDD接続、マウント、アンマウント容易にできるの?
0709login:Penguin2017/08/16(水) 10:40:39.01ID:xF8muGef
操作方法を理解していれば問題なくできるよ
0710login:Penguin2017/08/16(水) 13:14:22.14ID:8kgQyD6v
ググってもサクっと出てこないし、操作方法っていうくらいだからコマンドの羅列なんだろうな
特にRAIDとか大変そう
0711login:Penguin2017/08/16(水) 14:14:46.38ID:z0HBwG41
USBでアレイを組むなんて事を、
常用環境でやらんから、気にする必要がない。

USBでアレイを組まなきゃならん環境でZFS使う事がそもそもの間違い。
0712login:Penguin2017/08/16(水) 14:20:27.44ID:WGQ1XG1x
自宅サーバでUSB3.0に繋いだ2台のHDDを
RAID1で運用するならまだ可能性はある。
0713login:Penguin2017/08/16(水) 14:26:35.05ID:YPKxoO+n
>>704みたいに、3T2台で運用とバックアップやってたところ、
6T買って、3T2台をバックアップのときだけ通電とかよくある話と思うがな
zfsが間違いと言うなら、ntfs-3gでアレイか?、できるのか知らんけど
0714login:Penguin2017/08/16(水) 14:31:51.89ID:xF8muGef
>>710
export、import、clear、online、offlineあたりの理解があれば十分だと思うよ
ぶっちゃけここらの理解があればUSBであるかないかなんて関係ないと思うけど

>>712
まさにそんな感じでバックアップ用途にも使ってる
0715login:Penguin2017/08/16(水) 17:29:47.95ID:tdo2DRPk
メインで常時通電しているraid-zアレイも、
バックアップ用でたまにしか通電しないraid-zアレイも、
どちらもUSB接続の外付けHDDケース(複数入るやつ)でつかっていますよ。

サーバー自体がThin Mini-ITXの自作PCなので、
そもそも3.5HDDが物理的に入らないというのもあるし、
仮にサーバーPCが壊れても、別の古いPCを適当に当てがってやれば
すぐにファイルサーバとして復帰できで便利ですよ。

HDDをSATAで直接つなぐ場合と比べて、
性能面と可用性という観点では当然一段劣りますけど、
USB3.0ならそこまで遅さを感じない使い方しかしないし、
データ破損時に勝手に復旧してくれる点のみでも十分便利なので、
これで満足していますよ。
0716login:Penguin2017/08/16(水) 17:38:08.91ID:PuKqhTjh
>>715
詳しく構築方法晒して欲しいでござる
0717login:Penguin2017/08/16(水) 18:55:16.75ID:tdo2DRPk
詳しくといわれても、HDDケース毎にストレージプールを作って、
メインとバックアップを決めて、
定期的にメインからバックアップへsend/recvで差分転送してるだけですよ。

強いてzfs使用時に気にする点を挙げるなら、
外付け複数HDDケースは、選べるならホットスワップ対応の物がお勧め。
もしくは個別に電源スイッチが付いた物が良いです。
大半の複数HDDケースはホットスワップ非対応なので、
HDDケースの電源を切らないと、ディスクを取り外せません。
せっかくのソフトウェアRAIDの利点が一部無駄になるので勿体ない。
0718login:Penguin2017/08/16(水) 19:35:32.61ID:v1qQ9yJ4
USBなら別に全部止めてもいいだろ
0719login:Penguin2017/08/16(水) 19:40:07.42ID:PovYW5vE
アホかお前
0720login:Penguin2017/08/16(水) 20:46:29.14ID:UxDVoBOY
>>717
1個のストレージプールのraid1構成で片方突然電源切っても、
電源入れたら自動でマウントしてバックアップしてくれんじゃね?
0721login:Penguin2017/08/16(水) 21:05:42.42ID:tdo2DRPk
>>720
冗談で言っていることを承知の上で書くけど、
メインとバックアップのストレージプールは、それぞれ容量が違うので無理です。
例えば、メイン4TB(2TBx4台 raid-z2)、バックアップ3TB(1TBx4台 raid-z)の構成を、
容量増を目指して、メイン8TB(4TBx4台 raid-z2)、バックアップ6TB(2TBx4台 raid-z)、
という構成に変更して、1TBx4台は売却といったサイクルで入れ替えているので。

それに、status: DEGRADEDの状態でzfsのすべてのコマンドが使えるかどうかわかりませんし、
常時DEGRADEDで使い続けるのは精神衛生上辛いです。
0722login:Penguin2017/08/16(水) 23:11:30.86ID:j2uPzj+M
>>721
arcとか調整してる?
0723login:Penguin2017/08/18(金) 19:25:31.65ID:HOWzQKPW
結局、バックアップもntfsにしてしまったw
RAID諦めて2台分割に気を使わにゃならんけど内周フルに使わんでもいいやって判断
こんな運用をする日が来ようとは…
0724login:Penguin2017/08/19(土) 17:15:36.08ID:NIcWAVfP
24時間以上たつのにまだ3TBのバックアップ終わらん
どんだけntfs-3g遅いねん
0725login:Penguin2017/08/20(日) 02:07:15.94ID:vhxHFc2z
ntfs-3gってファイルの更新日時情報が壊れるバグがなくね?
0727login:Penguin2017/08/22(火) 19:44:30.97ID:CVFJb3ef
読んだところ、ボリュームが作れなくなるってだけだね
読み書きは全バージョンで出来るし
EnterPrise版とかなら作るのも問題なく出来るらしいから
0728login:Penguin2017/08/22(火) 23:39:59.48ID:bbuhpxH9
やっぱMSってクソだわ
0729login:Penguin2017/08/22(火) 23:56:49.48ID:ZlM6TZIz
アップデートで意図的にデグレとか許されるの?
せめて既存ユーザは使えるようにしないとだめだろ
0730login:Penguin2017/08/22(火) 23:58:33.07ID:j7yW/mui
上位モデルの優位性を出すために下位モデルの機能を消すのか
そりゃ酷いね
0731login:Penguin2017/08/23(水) 00:12:26.11ID:ItXzf1HM
どうせ評価版で作れば問題ないとかそういうレベルだろ
0732login:Penguin2017/08/23(水) 02:14:16.95ID:Y43Bc48I
Refsの場合FATみたいに読み書きできればOKみたいな用途では使われないでしょ
Refsを使ったこと無いけど、何らかの管理用インターフェースがあって、
日常的、定期的に管理すること前提なんじゃないか?
作成機能が削除される以上、管理用インターフェースも
上位モデルのWindowsと同等のものが残されるとはちょっと考えにくい

ZFSで例えるなら、zfsコマンドが無い状態でも一応読み書きはできるよって状態じゃないか?
そんなの実質使い物にならないよ
0733login:Penguin2017/08/23(水) 05:25:33.18ID:3ifPu6IZ
ntfs-3g使えねー
ファイルシステムが壊れるバグがあるのにchkdskがないから
ウインなにがしがないと使い物にならん
消せないファイルとかふざけんなっつの
0734login:Penguin2017/08/23(水) 22:41:24.10ID:gmppWN8+
>>732
妄想だけで結論出す馬鹿の図
0735login:Penguin2017/08/24(木) 01:18:39.11ID:Nqof61vY
>>733
詳しくは知らないけど、NTFSって仕様非公開で、ntfs-3gってリバースエンジニアリングで開発してる代物だからゴリゴリ常用するにはあんまり向いてないんじゃないのかな?
かといってBSDとLinuxで共通に使えるファイルシステムはどうすんのよって言われたら答えられないんだけど。
0736login:Penguin2017/08/24(木) 01:33:11.56ID:J+xVOENT
元記事ではボリューム作成機能のみ言及されてるけど、ReFSに関係する機能として、
少なくともOneDriveがReFS上で作成できなくなっているらしいね

元々OneDriveの要件にNTFS制限なんてなかったのに、後からこれだよ
確かにReFS上のOneDriveは元々undocumentedな機能ではあったけれど、
逆に言えばドキュメントに無い機能は割とあっさり使えなくなることの査証とも言える。

Creators UpdateのReFSの機能なんて、undocumentedだらけなんだから、
実はあれもこれもできなくなりましたと言われても驚いたら駄目だよ。
現ユーザーは悲観的になっておいたほうが、がっかりしなくて済むよ。

しかしCreators Updateでボリューム作成機能を大きく拡張して期待させておきながら、
Fall Creators Updateで機能削除して落胆させるとか、実に意地が悪いな。
0737login:Penguin2017/08/24(木) 02:08:00.44ID:zBBryOFC
長レスするならせめて読みやすいように書いてくれ
0738login:Penguin2017/08/24(木) 04:53:31.77ID:XRwnwiyZ
今北産業
0739login:Penguin2017/08/24(木) 05:38:11.02ID:KhV4bIOc
ntfs-3gバックアップどころかメインまでおかしくなってきたので運用断念
これから数日かけて巻き戻していじくり回した分サルベージして再構築だわ…
こんなゴミ公開すんじゃねえよクソが
0740login:Penguin2017/08/24(木) 08:30:06.16ID:BvQkczsQ
ネイティブじゃないFSをバックアップ用に使うとか
最初から選択自体に問題があると思うんだが
0741login:Penguin2017/08/24(木) 10:30:50.29ID:Gu09l6wU
むしろもうNFSで。
0742login:Penguin2017/08/24(木) 17:00:53.79ID:1u27edSK
NFSは遅いからISCSIで
0743login:Penguin2017/08/24(木) 17:48:46.94ID:iU6ajAQI
MSはPS3Linuxの時みたいに賠償金払うべき
0744login:Penguin2017/08/24(木) 18:08:51.51ID:Rd9rsc6/
なら集団訴訟起こしてくれよ
0745login:Penguin2017/08/25(金) 07:07:10.37ID:R2fHV6H0
iSCSIは共有できないのでsshfsで
0746login:Penguin2017/08/25(金) 07:51:19.18ID:4x1Jp//C
NFSもiSCSIもその向こうとか上にFSあるんじゃないの?
0747login:Penguin2017/08/25(金) 12:53:13.81ID:PqMP0o1F
異なるOSから共通してアクセスしようとすると、何らかのネットワーク共有が無難だなわなあ
USBメモリ、USB HDDなんかで抜き差しして使いまわせる無難なのって、FATかexFATぐらい?
0748login:Penguin2017/08/25(金) 16:37:28.07ID:VlLzr54e
糞ntfs-3g捨てて元に戻して5TBほどリナからBSDにrsync転送してるけど11MB/sしか出てねえ
単純計算であと5日かかるのか・・・
exFATって手もあったかもしれんけど、また罠にはまりそうだからもういいやw
0750login:Penguin2017/08/25(金) 18:00:08.41ID:PqMP0o1F
なるほどUDFかあ
0751login:Penguin2017/08/25(金) 18:09:17.22ID:PqMP0o1F
exFATだとLinuxのメタデータ落ちるから、LinuxとFreeBSD間だけだったらZFSがいいのかな?
0752login:Penguin2017/08/25(金) 19:37:42.25ID:0v4G/ptY
zfsなんてバカスカカーネルメモリ食う上にmountしにくいもんイラネ
食わないように調整すればいいけどただでさえ激遅なのに(ry
0753login:Penguin2017/08/25(金) 19:57:12.14ID:+D1/+mC5
専用のエンタープライズ向けストレージじゃなきゃ、
ファマイルシステムなんかもう何でもいいよ。
ext4でもXFSでも無難なのでいい。

個人的には、高機能、高性能、可用性を求めるなら専用ストレージ一択。
面倒な苦労せずに信頼性が高いから。
0754login:Penguin2017/08/25(金) 19:57:27.26ID:4x1Jp//C
ポータブルだとパーミッションとか意味なくないか
NIS使ってるならNFSでいいし
バックアップならtarでいいし
0755login:Penguin2017/08/25(金) 22:46:29.84ID:E9piRxFk
>>753
逆じゃね? ファイルサーバ(NAS製品)だと、比較的評判の良い NetApp や Isilon は内部の
FS は非公開でそもそも選択権がない。
07566882017/08/27(日) 14:27:19.83ID:ADXFMNn8
LinuxとFreeBSDでも平等に気持ちよく共有できるファイルシステムなんてない。
少なくともどちらがメインかというのは明確に決める必要がある。
GFSもObsolateだし。

exFATはFUSE実装ということもあってポータブルならマシな選択肢だと思う。
そうでないならネットワーク共有だな。
同一マシンデュアルブートだというのなら、仮想マシン経由でマウントしたほうがマシ。
0757login:Penguin2017/08/27(日) 16:16:55.69ID:lBWGek3p
ネットワーク共有遅いやん
5TB転送せにゃならんのにまだ1.1TBだわ…
しかもFreeBSDのrsync+iconvは糞だからシステムUTF8化しないと使い物にならんし
0758login:Penguin2017/08/27(日) 16:27:32.26ID:ADXFMNn8
>>757
まともな性能なら1GbE+SSHFSで800Mbps程度出るので、ハードディスクの限界なんか簡単に到達する
0759login:Penguin2017/08/27(日) 16:32:49.16ID:k2w6IV/h
rsyncなんかで馬鹿正直に1個ずつファイルをコピーしてたら遅いよ。
open, closeだけでも長いもん。

10年以上前の経験だけど、ディスクが十分に早いなら、コピーを多重化するとマシになる。
5個ぐらい並列でrsyncしても良いと思うよ。
0760login:Penguin2017/08/27(日) 16:37:34.31ID:AqSHjhev
そんなことしたら断片化するやん
0761login:Penguin2017/08/27(日) 16:41:24.90ID:dhZMmuZ1
ディレクトリとかで分けるだろjk
0762login:Penguin2017/08/27(日) 16:45:09.24ID:AqSHjhev
ディレクトリが違えば遠いセクタに配置するかもしれんが、
rsyncって最初に必要ファイルサイズを確保してから転送するわけではないだろ
0763login:Penguin2017/08/27(日) 16:45:43.97ID:k2w6IV/h
そうだよ(笑)
上の階層から分けてコピーを始めるんだよ。
同じディレクトリをコピーしてどうすんだよww
0764login:Penguin2017/08/27(日) 16:49:20.61ID:k2w6IV/h
>>762
ああ、悪い。
話の前提としてはディスクがかなり並列化されてて、
あとファイルは元々断片化しまくってるような、
ファイルサーバーみたいなので話してた。
だからコピー後の断片化なんて考慮してない。

まあ、経験談ということで…
0765login:Penguin2017/08/27(日) 17:43:14.97ID:4l7e6/Be
>>758
ハードディスクの限界達してないじゃん

それはそうとメインのOSを決めてメインじゃない方はVMでマウントしてVMからはネットワークファイル共有ってのが一番速そうな気がした
VMからSATAなりUSBなりでの接続が遅かったらアウトだが
0766login:Penguin2017/08/27(日) 17:46:43.40ID:ADXFMNn8
>>765
ハードディスクのrandom writeは早くても50MB/s程度だから、400Mbpsでしかない。
0767login:Penguin2017/08/27(日) 17:49:38.58ID:4iAcFbG6
何時代のHDDでしょうか…
0768login:Penguin2017/08/27(日) 18:18:33.71ID:dhZMmuZ1
1TBのHDDでもWindowsからファイルコピーするだけで950Mbpsは出るな
0769login:Penguin2017/08/27(日) 20:23:31.49ID:sof8RPx7
でねーよ
0770login:Penguin2017/08/27(日) 21:46:42.41ID:7weySy9R
でるよ
0771login:Penguin2017/08/27(日) 22:44:45.28ID:4l7e6/Be
>>766
ランダムライトならそうかもしれないけど何百GBも転送するならシーケンシャルライトに近い性能が気になるでしょ
そしてランダムライトならスループットじゃなくて各IOごとの遅延のほうが気になってくると思うんだが
0772login:Penguin2017/08/27(日) 22:58:30.94ID:ADXFMNn8
>>771
まっさらなファイルシステムならseqencial writeに近い状況もあるけれど、
既に使っているファイルシステムに対してrsyncでseqになることはまずない。
そしてディスク上で分散しているとしてもデータを流し込む段階では途中で切れるわけではないのでそれもない。
というか、その程度の問題はLinuxの場合十分なメモリを積んでいればバッファリングで解消してしまうので、
*GbEで互いに単独ノードなら* ディスクより遅いという場面はまずない。

というかやってみれば早い。ネットワーク速度よりもディスク速度が速ければ、受ける側のダーティキャッシュはほぼ空になる。
言い方を変えれば、転送中にsyncしても転送終了前にsyncが終わる

>>768
バッファについて学んだほうがいい
0773login:Penguin2017/08/27(日) 23:35:25.23ID:sof8RPx7
>>772
ほんそれ
async/syncくらいわかれよ
0774login:Penguin2017/08/28(月) 00:12:48.85ID:1A8yC8I3
サイズの小さいファイルが沢山ある場合はバッファリングで解消されないでしょ。
ジャーナル(とディレクトリエントリも?)は同期書込になるのでバッファ関係ないんじゃない?

そもそも書き込みの場合OSのバッファ関係ないんじゃ?
「HDD本体搭載/RAIDカード搭載のバッファで解消する」ならわかるんですが。
0775login:Penguin2017/08/28(月) 00:20:14.21ID:4P33EAyU
>>772
200GBくらいのコピーだからメモリに乗らんよ
0776login:Penguin2017/08/28(月) 01:14:57.92ID:4/AO/uEK
>>772
それはディスクより速い場面を想定してるだけに過ぎないのでは?VMイメージや動画のコピーをするときにネットワークがボトルネックになってる例なんていくらでもあると思うんだけど
実際10GB以上のファイルのネットワーク経由でのコピーでは、SSDにコピーしてもHDDにコピーしても100MB/sで頭打ちなんだけどなぁ
0777login:Penguin2017/08/28(月) 03:21:46.14ID:o2bE/9cE
>>774
それはWindows的な発想だなぁ。
まず主だったファイルシステムの挙動はだいたいドキュメントあるからそれを確認すると良いよ。
で、Linuxの場合新規書き込みであっても基本的にキャッシュする。
というか、書き込み時にバッファリングしないならなんのためのsyncだ。
試しにUSBディスクにddでdist imageでも書き込んで、dd終了直後にsyncしてごらんよ

>>775
全部乗らなくてもあまり関係ないね

>>776
それは経路が問題なんじゃないかな。

>>776
うちは家庭用ネットワーク機器を使った環境だけども、nc+bashでの転送ならちゃんと900Mbps近く出るし、
rsync+SSHでも400Mbpsくらい出ている。
データ転送総量は一番多かった時で40TBくらいだけども、rsyncだと途中からかなり速度が落ちる。
だいたい1TBくらいなら速度は落ちずにいける。
いずれにせよ、どれだけのデータを送ろうが、転送が間に合ってないなら受信側でsyncしたら途中で返ってくるよ。
別にafio+ncっていう方法だってあるんだよ
0778login:Penguin2017/08/28(月) 03:54:52.16ID:o2bE/9cE
SSHのが速い、という話は誰がしてたんだっけなぁと思ったら、これだね
ttps://twitter.com/n_soda/status/879551095311179776
うちはスレーブコンピュータの性能が低いので、800Mbpsなんて出ないけど。
0779login:Penguin2017/08/28(月) 05:18:01.80ID:rLCxAY1w
Windowsしか使ったことない人の知識なんてそんなもんだよ親切だね
0780login:Penguin2017/08/28(月) 09:36:23.76ID:1A8yC8I3
>>777
> それはWindows的な発想だなぁ。
仮にそうだとしたらWindowsではリレーショナルデータベース作れない(トランザクションログ
を実装できない)んですがね。 単なるレッテル貼りはやめましょう。

> で、Linuxの場合新規書き込みであっても基本的にキャッシュする。
後の読み込み向けであって書き込みはデバイス待ちのバッファ程度でしょ。

> というか、書き込み時にバッファリングしないならなんのためのsyncだ。
syncはOSのキャッシュに対して行っているのではなくHDDのキャッシュに対してでしょ。
HDDのキャッシュからディスクに書き込みが終わってない状態で電源が切れたら
ファイルシステムやデータベースで一貫性が破たんするわけで。

> それは経路が問題なんじゃないかな。
いや、約100MB/s(800MB/s)っていってるんだから制御系信号含めて帯域目いっぱい使ってるでしょ。
企業向けのディスクが精々10本程度しか入っていないエントリモデルのサーバでも
再現できるクラスです。
0781login:Penguin2017/08/28(月) 09:49:20.45ID:1A8yC8I3
>>778
smbはver2.0までだとレイテンシの悪さでどんどん速度が落ちます。
そこに書いてある内容はやや語弊がありますね。
かつては拠点内だと800Gb/sでるけど拠点間だと遅くなるからって理由でsambaの
導入を渋る/Windows Server 2008が良いって言う企業さんはいました。
0782login:Penguin2017/08/28(月) 09:59:04.50ID:ekInOZa2
大量のコピーならtarが一番速いよ
0783login:Penguin2017/08/28(月) 10:32:06.01ID:e7wOfSsK
今どきのデータベースってファイルシステムを使ってるの?
0784login:Penguin2017/08/28(月) 10:38:29.30ID:56/9VbUR
データベースだけはOS通さずに物理ディスクに直接アクセスするとか、そういう話かしらね
0785login:Penguin2017/08/28(月) 12:20:34.29ID:1A8yC8I3
アプリが必要としているのは「今電源が切れたとして、後でそれが読み出せるか(メディアに
書き込んだか)、読み出せないか(キャッシュどまりで電源断で飛んでしまうのか)」であって
何か特殊なファイルシステムだったり特殊なデバイスアクセスが必要なわけではないです。
0786login:Penguin2017/08/28(月) 13:24:15.27ID:Z1jXug99
>>783
いまどきRAWデバイス使うのはアホ
0787login:Penguin2017/08/28(月) 13:36:58.73ID:7LpYBxLf
>>780
だいぶ古いけど
http://d.hatena.ne.jp/naoya/20070523/1179938637
writeでは基本的にブロックされない代わりに、
データが永続化されたかどうかは
(OSではなく) ソフトがfsyncなどで保証するというのがlinux (unix?) の流儀。
だから、例えばmysqlなら、fdatasyncだったりO_DIRECTでOSのバッファをバイパスして書き込んでる
0788login:Penguin2017/08/28(月) 15:09:33.28ID:1A8yC8I3
>>787
「基本的にブロックされない」んじゃなくて、デフォルトだと非同期書き込みでファイルディスクリプタが
オープンされるってだけでしょ。 プログラマが状況に応じて O_DIRECT つけたり、特定のデータの
区切りでfsync (syncにファイルディスクリプタ指定できるだけの物でsyncとは別物ではない) とか
かけるってだけじゃないですか。
# 「(OSではなく)ソフトがfsyncなどで保証」ってのが? あなたの意図するOSが保証するがわかりません。
0789login:Penguin2017/08/28(月) 22:47:08.36ID:b5+SAxkm
>>786
理由を教えていただけますか?
0790login:Penguin2017/08/29(火) 14:31:00.28ID:k5d6TA+l
たぶん、DB は、自分でバッファを確保して、処理しているのだろう

データをバッファに読み込んで、そのデータが更新されていないのなら、
バッファから読み込む事で、データを再取得しない

例えば、500件を読み込んで、もしデータが更新されていれば、
更新されたレコードだけを、再読み込みするのかも

例えば、3件目と5件目だけを、再読み込みするとか
0791login:Penguin2017/08/29(火) 19:24:30.12ID:gczkt/dU
何が言いたいのかサッパリ分からんな
目新しいひらめきでも含まれていることを前提に読んでるからアホに見えるのかな
0792login:Penguin2017/08/29(火) 20:16:02.35ID:3In0cjjP
>>790
読み込みはHDD→HDD本体付属のキャッシュメモリ(→RAIDコントローラのキャッシュメモリ)→メモリ→
CPUのL3キャッシュ→CPUのL2キャッシュ→CPUのL1キャッシュ→CPUのレジスタの順に読み込まれ、
更新(つまり書き込み)はその逆順になる。 (記憶階層と呼ばれるもの)

なので更新された内容は先にメモリに書き込まれ、その後HDDに書き込まれるから
「HDDから更新されたレコードだけ読み込む」なんてことはあり得ない。
# 3件目のデータがオリジナルの値が100円で、今120円に書き換えたのにディスクには
# 130円って書いてあった、なんてことは普通考えられないでしょう?

あり得るとしたら共有ディスクにデータを置くクラスタ構成のデータベースぐらい。
0793login:Penguin2017/08/29(火) 20:19:11.42ID:p9wy4OF/
ついでにセクタというものも説明してやれや
0794login:Penguin2017/08/29(火) 20:52:10.89ID:pryn6oE6
理由はなかったらしい
0795login:Penguin2017/08/29(火) 20:58:43.08ID:3In0cjjP
>>793
SSDをRAID10で組むのがDBの主流のこのご時世に説明必要?
記憶階層の説明においては理解を阻害する蛇足にしかならんよ。

>>794
DBをRAWで使わない理由かな?
スナップショット取れないから設計段階でハネられるからでしょ。
0796login:Penguin2017/08/29(火) 21:25:11.07ID:pryn6oE6
>>795
なるほどスナップショットですか
でもRDBMSがレプリケーションしてると1つ止めればいいだけだから問題なさそう
0797login:Penguin2017/08/29(火) 21:55:01.01ID:WRG7PEiZ
ご時世ならインメモリだろ
SSDでRAID10でスナップショットとかどんだけコスパ悪いねん
なんでもかんでもDB化する必要ないんやで
0798login:Penguin2017/08/29(火) 22:02:34.62ID:MhoUPyoa
インメモリじゃ消えちゃう
用途ごとに適材適所しようよ
0799login:Penguin2017/08/29(火) 22:27:01.62ID:6qxT7h+p
不揮発性メモリ出てきたしなあ
0800login:Penguin2017/08/30(水) 04:59:07.91ID:g+lrN8sy
不揮発性メモリ1TBとか積んでるの?
おいくら?
0801login:Penguin2017/08/30(水) 05:30:50.07ID:66r6NXMi
別に不揮発性じゃなくても定期的にHDDに排出すればいいだけだろ
突然電源落ちたらぶっ壊れるのは同じだしな
つか1TBのDBとか何に使ってんだよ
0802login:Penguin2017/08/30(水) 06:36:06.83ID:G7f55x89
そういうのはバッテリー積んでんだよ
0803login:Penguin2017/08/30(水) 07:45:07.32ID:C/9hhtk4
突然の電源断に備えて、非常用電源も必要
0804login:Penguin2017/08/30(水) 07:57:00.89ID:Fdv3Sciv
要するにインメモリが最適解というわけですね
わかります
0805login:Penguin2017/08/30(水) 10:52:31.70ID:g+lrN8sy
RDBMSはログを逐次書き込むから定期的とかじゃダメでしょ
チェックポイントから復旧するためのログ
それに書き込めなかったことがすぐにわからなかったら、マスターの切り替えもできないんじゃない
0806login:Penguin2017/08/30(水) 16:17:40.54ID:pDhPtlnD
バックアップ機能すらないRDBMSとか捨てちまえ
0807login:Penguin2017/08/30(水) 21:22:17.65ID:9ozQio4F
>>800
1TBはまだ無理だが、HPのProLiantなら8GBのNVDIMM16枚載るそうな。
マザボ側に電池が必要との事なので8GBのDDR4のDIMM+停電時の退避先の8GBのNAND
メモリの実装だろうから、速度はメインメモリと同じ。

8GBで定価157,000なんで、普通のDIMMの3〜4倍程度の値段、
PCIeに装着するタイプのSSDが1.6TBで定価256万なんで、それと比較すると12倍ぐらい高い。
ファイルシステム目的でみると高すぎるが、DBユーザには現実的な価格だと思う。
0808login:Penguin2017/08/30(水) 21:46:57.89ID:b72OIerS
要するにUPS付きインメモリDBのコスパ最強っていいたいんだろ?
そういや昔、メモリ集めてSATAかIDEかにできる機器があったな
そろそろDDR3が余ってくる頃だしまた出して欲しいわ
うちはまだまだPCI付きIvyBridgeだらけだけどな
0809login:Penguin2017/08/30(水) 22:18:25.42ID:g+lrN8sy
>>807
UPSと比較した場合のメリットがわからない
0810login:Penguin2017/08/30(水) 22:45:47.25ID:9ozQio4F
>>809
前提が間違っているんだよ。
インメモリDBもUPS付けてもマザボ故障したらDIMM上のトランザクションログすっとぶわけで、
トランザクション処理には使っちゃダメな製品だとおもう。 素直にBIの分析だけにしとけと。
そうなるとデータ更新しないわけだからそもそもUPS要らないよね。

極論を言えばUPS付きインメモリDBなんて存在価値の無い代物ってこと。

もちろん故障した時にトランザクションログ壊さないインメモリDBもあるけど、それってSSDで
組んだ普通のリレーショナルDBと何も違わないのよね。
0811login:Penguin2017/08/30(水) 22:59:19.85ID:ONBmy/Hc
マザボ故障してもSSDだとすっとばないってか?w
インメモリはトランザクション処理自体がお前が考えているのような動作はしない
個々のDBについて語っても無意味だが、起動は遅いし、レスポンスは桁が違うし、
HDDへの排出は別スレッドで適時行われるし、根本的にインメモリを前提にした体系だ
0812login:Penguin2017/08/30(水) 23:17:14.48ID:g+lrN8sy
ファイルシステムとDBの話で
インメモリDBの話はしてない
0813login:Penguin2017/08/31(木) 01:25:28.55ID:+PS1dY2B
>>811
> マザボ故障してもSSDだとすっとばないってか?w
マザボやRAIDコントローラがウソのデータを書き込む故障も無いわけではないが、レアなケースだわな。
マシンがコアも吐かずに突然リブートというパターンの発生比率と比べるとね。
要は実際に採用されてるってところだろ。

> インメモリはトランザクション処理自体がお前が考えているのような動作はしない
RDBMSと同じような動きをするなんちゃって製品をディスったのをそう捉えられてもねぇ...

> HDDへの排出は別スレッドで適時行われるし
普通のDBでもするでしょ。 ファイルシステムでさえそうしてるってのに。
0814login:Penguin2017/08/31(木) 01:38:25.44ID:+PS1dY2B
>>812
UPSを使わずに済ますという観点では現状のOS/ミドルウェアの対応状況を鑑みるにNVDIMMにメリットは何もないでしょ。
Intel のビジネス的な都合で出してきた、NVMeに対するコンペ商品だから。
OMNI-Path 同様他社が手を出しにくいインターフェイスで最速のデバイス出してきたってだけさ。
0815login:Penguin2017/08/31(木) 02:04:04.52ID:z1FxG0pG
>>813
おまえはインメモリの圧倒的コスパに対して、
SSDの優位性を一切論理的に説明できない駄レスしかできない無能なんだからすっこんでれば?
0816login:Penguin2017/08/31(木) 03:15:41.56ID:+PS1dY2B
>>815
すまないが、俺はSSD優位とは一言も言ってないぞ。
それどころかインメモリは性能最強だと思ってる。 ただ、コスパは最強という意見はいただけないね。

SSDでもメモリバカ積して逆正規化かけまくったりインデックス貼りまくったり、アイソレーションレベル
に手心加えれば、従来型のRDBMSで充分「立ち上げが遅い」が「レスポンスが速い」物ができるんだよ。

インメモリDBのその製品が優れていて速いわけじゃない。 君が製品カタログに書かれたメーカに
とって都合のいい売り文句のトリックを見破れてないだけだ。
0817login:Penguin2017/08/31(木) 05:47:55.83ID:AVWuStCw
お前は何を目的にレスしてんだ?
だから駄レスって言われんだろ
製品カタログとか言ってる時点で盆暗だと自覚しろ
コスパ以前に盆暗のお前でもコストくらいは調べられるだろ
そんなに駄レスしたけりゃ必要な金額でも書いてみろよ
0818login:Penguin2017/09/03(日) 20:27:44.20ID:W+auMjyF
小さなファイルのバックアップ用に
USBメモリを使用しているんだけれど
windowsとLinuxの混在は不味いっすかね
0819login:Penguin2017/09/03(日) 21:38:08.11ID:oIV36LV5
ウインなにがしとかいうインターネットを危険に陥れる脆弱性だらけのバグバグOSもどきが
いくら乗っ取られていようとLinuxには影響ないから大丈夫じゃね
0820login:Penguin2017/09/03(日) 21:51:57.02ID:W+auMjyF
ごめ説明が下手だった

USBメモリのFAT32フォーマットに
Linuxフォーマットext4で保存したファイルを
混在させてそれを消去させた場合に再びFAT32に戻るものなのかが謎で
そこのセクタだけ壊れそうな雰囲気があってねw
0821login:Penguin2017/09/03(日) 22:08:02.16ID:ioDNt0hG
意味不明だけど大丈夫だから気にするな
0822login:Penguin2017/09/03(日) 22:20:35.33ID:W+auMjyF
ラジャー
0823login:Penguin2017/09/06(水) 07:44:11.50ID:ZP3ThVNL
vxfsを使う
0824login:Penguin2017/09/19(火) 07:34:01.65ID:yeNrsgZz
>>820
あまりにも返信がないからツッコミをいれておこう。

ファイルシステムというのはファイルを管理しているのであってファイルに付随しているわけではないので、
別にEXT4ファイルシステム上に保存されていたファイルをFATファイルシステム上にコピーしたからといって、
FATファイルシステムのそこだけがExtファイルシステムになるわけではない。
0826login:Penguin2017/09/19(火) 19:19:08.36ID:voCagDB6
横レスだけどAndroid(でなくてもいいけど)のfatマウントしてファイルコピーすると属性が変更できませんとか出て怖いよなw
0827login:Penguin2017/09/19(火) 19:24:17.31ID:yeNrsgZz
>>826
そりゃファイルシステムが持っているファイルの属性情報が違うからねぇ…
0828login:Penguin2017/09/19(火) 19:50:34.60ID:p8nnw3Tk
FATなんて日付ぐらいしか属性ないしな…(笑)
0829login:Penguin2017/09/19(火) 20:42:56.16ID:TM128sl3
archive、system、hidden、readonlyだったっけか
0830login:Penguin2017/09/19(火) 20:48:16.54ID:p8nnw3Tk
そうね。しかもそれって重要ですらないような属性だし…
隠しは重要だけど気休めだしね。
0832login:Penguin2017/09/20(水) 12:59:57.99ID:ZwGrdLgU
umsdosって今はどうなったの?
0833login:Penguin2017/09/27(水) 05:22:14.67ID:w7zw7ZYM
ZFSって何に使ってんの?
iSCSIに切りだしたり?
sambaじゃメリット出ないよね速度とか
0834login:Penguin2017/09/27(水) 05:55:25.30ID:YotlcN0P
ZFSどこがどの実装使ってるのかわからん
0835login:Penguin2017/09/27(水) 07:55:52.43ID:TwwVhgKt
今使われてるのは、本家以外、みんなOpenZFSだと思うけど。
0836login:Penguin2017/09/27(水) 10:58:49.64ID:A8X0Al5y
>>833
VSSとsnasnapshot連携できる
0837login:Penguin2017/09/27(水) 12:21:47.88ID:XtrGNnyU
Redhatが重複排除のファイルシステムを
開発してた会社買収したらしい。
ZFSに頼る理由がひとつ減るな。
0838login:Penguin2017/09/27(水) 14:37:50.84ID:YotlcN0P
せんせーZoLはOpenZFSにはいりますかー
0839login:Penguin2017/09/28(木) 18:08:18.20ID:MMr02U4s
>‎APFS形式ドライブは、macOS High Sierra以降のmacOSでしかマウントすることが出来なくなります。

/(^o^)\ナンテコッタイ
0840login:Penguin2017/09/28(木) 18:17:05.76ID:aBW1D5iK
翼安定徹甲弾?
0842login:Penguin2017/10/08(日) 13:13:07.91ID:Lbizb/Ik
要約もできずにリンクだけ貼るバカってまだいんのか
0843login:Penguin2017/10/17(火) 08:23:14.23ID:x3+VmYT2
誰かボスケテ
apt-getでアップデートアップグレードしたらzfsが無反応になって
バージョンが違うって事で一度アンインスコして再度インスコしたらzfsは動くがプールが無くなった
どうすればいいの?
08448432017/10/17(火) 08:26:21.44ID:x3+VmYT2
poolをcreateしちまったがやはり何もでてこない…これもう前のデータ消えた?
0845login:Penguin2017/10/17(火) 08:42:30.51ID:YeuJLEol
>>844
poolをcreateしたら流石にダメなのでは
0846login:Penguin2017/10/17(火) 08:52:16.95ID:xKZgJW1p
諦めてバックアップから復元しろって・・・バックアップとってなさそう
08478442017/10/17(火) 09:24:44.02ID:x3+VmYT2
そっか…だいぶ古いバックアップしかない。
諦めるか…
0848login:Penguin2017/10/17(火) 12:05:47.13ID:YeuJLEol
zpool importするべきだったね
createしたら上書きされるからわからん
0849login:Penguin2017/10/17(火) 13:19:53.98ID:gwtmh/XF
createしなければzpool import -Dで助かったかもしれないのに
0850843,8442017/10/17(火) 15:02:40.09ID:x3+VmYT2
そうか、createじゃなくてimport -Dだったのか…
手痛い勉強になりました。
0851login:Penguin2017/10/17(火) 15:57:49.89ID:YinIxPhJ
2年ぐらい使ったCentOS7のノートPCがあり、OSは16GBのSSDに、
内部ストレージをZpoolにしてました。

訳あって先日Ubuntu16.04に入れ替えました。最悪Zpoolは
初期化を覚悟しましたが、大きな問題なく引き継ぎができました。

元のZFSはzfsonlinux.orgので、UbuntuのはOSに入っているものを
使いました。ストレージのデータに互換性があって良かったです。

てか全く同じバイナリーでしたっけ?
0852login:Penguin2017/10/18(水) 01:03:54.88ID:Nff0WgKA
https://wikileaks.org/vault7/#Angelfire

Angelfireは、Solartime、Wolfcreek、Keystone(以前はMagicWand)、BadMFS、Windows一時ファイルシステムの5つのコンポーネントで構成されたインプラントです。
以前に公開されたVault7シリーズのCIAプロジェクト(GrasshopperとAfterMidnight)と同様に、
Microsoft Windowsオペレーティングシステム(XPまたはWin7)を実行しているターゲットコンピュータにカスタムインプラントを読み込んで実行できる永続的なフレームワークです。

Solartimeはパーティションブートセクタを変更し、Windowsが起動時にデバイスドライバを読み込んだときに実行されたWolfcreekインプラントを読み込んで実行し、
他のAngelfireインプラントをロードして実行することができます。これらの文書によると、追加のインプラントをロードすると、感染したマシンで検出される可能性のあるメモリリークが発生します。

キーストーンは、Wolfcreekインプラントの一部であり、悪意のあるユーザーアプリケーションを開始する責任があります。
読み込まれたインプラントはファイルシステムに決して触れないので、プロセスが実行されたという証拠はほとんどありません。
オペレーティングシステムが別のパーティションまたは別のパスにインストールされている場合、Windowsタスクマネージャーで常に検出され、「C:\Windows\system32\svchost.exe」と表示されます。

BadMFSは、アクティブなパーティションの最後(またはそれ以降のバージョンのディスク上のファイル)に作成される秘密ファイルシステムを実装するライブラリです。

Windows一時ファイルシステムは、AngelFireをインストールする新しい方法です。
独立したコンポーネントをディスク上に置くのではなく、インストール、AngelFireへのファイルの追加、AngelFireからのファイルの削除など、
特定のアクションの一時ファイルを作成することができます。一時ファイルは 'UserInstallApp'に追加されます。

Angelfire 2.0 -- User Guide
https://wikileaks.org/vault7/document/Angelfire-2_0-UserGuide/

BadMFS -- Developer Guide
https://wikileaks.org/vault7/document/BadMFS_Developer_Guide/
0853login:Penguin2017/10/19(木) 06:52:09.35ID:VPs7KBtc
iSCSIで接続したボリューム上にRAID1組めばなんちゃってDRBD引用できるもんなの?
0854login:Penguin2017/10/19(木) 06:52:29.42ID:VPs7KBtc
引用→運用
0855名無しさん@そうだ選挙に行こう! Go to vote!2017/10/22(日) 15:42:13.33ID:K9gBCzNK
xfs微妙Oracleがzfsのライセンスを解放しなきゃ、透過圧縮兼ね備えてて(当然書き込めて)
ブートにも圧縮(解凍)効いて安定しててみたいなファイルシステムは
FreeBSDのしか無くなるんかいね?
0856login:Penguin2017/10/23(月) 20:44:59.13ID:oFyYDCm5
APFSがオープン化されれば変わるか?
0857login:Penguin2017/10/23(月) 21:23:28.75ID:12zhMX/e
透過圧縮あるんだっけ?
0858login:Penguin2017/10/24(火) 04:07:23.17ID:Z5bY5m6I
APFSってmacのやつか
Linuxに組み込めるわけ無いやろ
0859login:Penguin2017/10/24(火) 11:17:53.76ID:XZVw8B+4
Machのコアにすり替えたFreeBSDっつーDarwinをベースに作ったMacOSXの
ファイルシステム回りの作りがどこまでLinuxに近いかで移植しやすいかどうかが決まる
0860login:Penguin2017/10/24(火) 12:29:55.16ID:b7uIfU5r
APFS安定してんの?
0861login:Penguin2017/10/24(火) 13:24:28.00ID:XZVw8B+4
データの信頼性の根幹にかかわる部分が使いモノにならなかったら
MacOSX自体への信頼が揺らぎかねないし、それなりにテストした上で
社内でも実際に無理矢理鯖用途に使ってみたりとか負荷試験してはいるんじゃないかな?
シランケド、HFS Plus を改良したシロモノっぽいし、そう変な事にはならなそうな気はする

ただ、個人的には、鯖用途でもないのに重複云々とか無駄な気がしてならない
複数ユーザでchrootとかjailとかなら効果もあるだろうけど、個人の用途で重複ファイルとか
そんなに出はしないだろうし、FreeBSDのzfsでdedupした事ある奴ならわかるだろうけど
あれすんげーメモリ食う(自前で重複検出する事を考えれば、中で何してるかわかるよな?)

今時はCPUパワーあり余ってんだから透過圧縮だけでいいんだよ
CPUパワー足りないってんならNTFSみたいに compress off にすりゃいい
0862login:Penguin2017/10/24(火) 14:05:31.43ID:O9GFrG5a
Appleがどのオープンライセンスにするかよるけど、SSDに向けに作られた最新設計だけに期待はできるかと
0863login:Penguin2017/10/24(火) 14:06:18.45ID:AN3rj/34
みんなは何をメインで使っているの?
保守的にext3とかext4なの?
0864login:Penguin2017/10/24(火) 14:24:35.41ID:XZVw8B+4
俺はNTFSとext4とufs(今となってはどれだよっていう)だけだなぁ
zfsは未だに色々と潜在的な問題抱えてそうだし、RAIDとかしないなら
オーバーヘッドでか過ぎるしdedupなんて使わないし

板に従うならzfs-fuseの話しろってんだろうけど、あれユーザランドで動いてんだぜ?
Ubuntuはモジュールだけど、まだライセンスの決着ついてないんじゃなかったっけ?
おまけにOracleは「zfsにfsckいらん」とか政治的な理由で信頼性とか検証手段とかを
犠牲にさせまくってきたし、今となっては権利持っていながらにして
もう手は下さないとかのたまってるし、色んな意味でzfsは先行き不安なんだよな・・・
0865login:Penguin2017/10/24(火) 14:53:15.05ID:xZG5WseP
zfsのdedupは1割程度しか効かなかったので結局やめたな
それはそうとオラクソ死ね
0866login:Penguin2017/10/24(火) 17:37:48.21ID:t7SLyDMx
>>863
システムはExt4
ストレージはBtrfs

選択的にはともかく内容的にExt4が保守的かはそこそこ疑問だな。
0867login:Penguin2017/10/24(火) 17:45:06.93ID:AN3rj/34
>>866
システムもbtrfsにしないのはどうして?
0868login:Penguin2017/10/24(火) 17:47:56.14ID:XZVw8B+4
そのBtrfsも赤帽が「技術的な問題諦めてXFS行くでよ」っつって見捨てちゃったからなぁ
0869login:Penguin2017/10/24(火) 19:01:43.75ID:1fWLX9Gz
最近、btrfsが死んでデータ全て消えた...
Raid10だから安心なんてバカだったよ
バックアップしてないから諦めてxfsにしたよ
0870login:Penguin2017/10/24(火) 19:16:37.67ID:XZVw8B+4
zfsも数年前とかたまーに論理的に復旧不能とか話題出てたしなぁ
ファイルってかディレクトリのエントリしくったらそっから下が丸ごとふっ飛ぶ事になるからな
ファイルシステムだけは良く良く吟味せにゃならん
0871login:Penguin2017/10/24(火) 19:48:20.14ID:t7SLyDMx
>>867
Calamaresインストーラの手動パーティショニングが安定しないから。
自動インストールならExt4が選ばれる。
まぁ、システムをBtrfsにするメリットはスナップショットしかないし、するつもりは全くないけど。

>>869
どのように死んだのかわからないけど、RAID10で救出も不能だったの?
うちのBtrfsはさんざんぐっしゃぐしゃになりつつも2重運用でデータ失ったことはないけど。
0872login:Penguin2017/10/24(火) 20:11:40.00ID:1fWLX9Gz
>>871
kernelを4.13にあげて少したったあとにkernel panic起こして死亡したよ
カーネル上げるのってリスクでかいんだね
0873login:Penguin2017/10/24(火) 21:26:59.94ID:NG1Wcg+H
うちはシステムはぶっ壊れてもインストールしなおしゃいいからbtrfsでデータはext4だなぁ

CPUパワーは有り余ってるのにHDDがボトルネックになってるような環境だとbtrfsで透過圧縮を有効にするとext4より結構速くなってイイ
まあSSDが普及した昨今じゃあんま意味ないけど(´・ω・`)
0874login:Penguin2017/10/24(火) 21:33:41.83ID:AN3rj/34
ぼくはSSDの上で、システムもデータもbtrfsで透過圧縮にしてる(´・ω・`)
今の所To LOVEるなし
0875login:Penguin2017/10/24(火) 22:00:19.21ID:XZVw8B+4
gitのファイル鯖とか、飛ばれたらくっそ面倒だから我慢してわざわざcifsで
リモートのNTFSをストレージにしてる

まじNTFS以外で透過圧縮使えて安定してる奴きぼん・・・
そうすりゃファイル鯖にgitやらMariaDBやらTFTP+nfsやら全部ぶっこんでATOM機一機潰せるのに
0876login:Penguin2017/10/24(火) 23:32:57.65ID:Xr4vBigu
NTFSの透過圧縮ってハフマンすら使ってないような古いフォーマットだったような
0877login:Penguin2017/10/24(火) 23:35:32.77ID:XZVw8B+4
>>876
古いっていうか、速い、だね
zfsもlz4とかgzip6以上にすると途端に遅くなるから、
レンジコーダーどころかハフマンなんて使えないって

RLEとかは論外だけど・・・「高圧縮アルゴリズムを採用しました!」とか言われたら逆に困る
0878login:Penguin2017/10/24(火) 23:38:39.67ID:dIybMC7m
>>861
高負荷時の可用性とか、障害発生後の復旧可能性とか、
正直、あんまり注力してない
お金が絡むような用途には使わないほうが吉
0879login:Penguin2017/10/24(火) 23:39:56.98ID:c8X0wWjw
ntfsは昔ファイルが壊れるバグがあって、それ以来ファイルシステムはシンプルに扱うことを心掛けている
0880login:Penguin2017/10/24(火) 23:41:05.92ID:c8X0wWjw
>>879
透過圧縮で壊れるバグね
0881login:Penguin2017/10/25(水) 00:59:53.13ID:hD2Ps5/u
>>872
カーネルパニックとファイルシステム損傷はつながってないと思うけど…
それで不整合が起きたとしても修復すれば良いだけだし
0882login:Penguin2017/10/25(水) 01:25:16.35ID:r7fvXVxh
zfsは修復コマンドあるけどbtrfsにはないのかね
0884login:Penguin2017/10/25(水) 07:38:27.74ID:9LUW18Lh
>>881
スクショとかログとかはないけど(消えたからね)kernel panicがbtrfs関係のエラーで発生してたので関係あったのよ...
何回か復旧させたことがあるので、普通にやったが今回はお釈迦様でしたわ
0885login:Penguin2017/10/25(水) 07:41:36.91ID:9LUW18Lh
ちなみに4.12辺りからbtrfs関連の修正パッチとか含まれてて、4.9から一気に上げてbtrfsが何かしら壊れたかで失敗したんじゃないかな……って気がしてる
0886login:Penguin2017/10/25(水) 07:43:36.62ID:cqd5p/QJ
>>885
こマ?
今、4.10だから4.13に上げるの怖いな
0887login:Penguin2017/10/25(水) 07:49:45.62ID:i2n5SUlW
RedHatが技術的問題点の解決が云々でbtrfsやめちまうから
ファイル単位でバックアップ取って他に行った方がいいんじゃないかな?

・・・いや、他の似た様なので行けそうなのないんだけどさ・・・
0888login:Penguin2017/10/25(水) 09:32:31.09ID:r7fvXVxh
btrfsはもともと悪いバグの噂が絶えなかったからな
0889login:Penguin2017/10/25(水) 12:20:10.71ID:9LUW18Lh
4.12からbtrfsのraid5/6がほぼ使い物になるって言うから上げたら結果的に失敗しちゃった
0890login:Penguin2017/10/25(水) 17:14:55.53ID:hD2Ps5/u
>>884
いや、btrfsモジュールでカーネルパニックしたとしても、ファイルシステムは通常の不整合以上には壊れないでしょう?
というか、現状btrfsモジュールは毒データ与えてもストールするので、カーネルパニックになったならMLで言って欲しかった感…
(ディスクが壊れた場合はカーネルパニックになることが確認されてるけど)

現時点でディスク不良以外でraid1で実損したデータ以外が救出できなくなるケースも確認されているものがほとんどないので、
それもやっぱりMLに投げてほしかった…

なお、4.12のパッチは小規模というか大した変更じゃなかったよ。4.13も小さい。
変更がとても大きかったのは4.11だね。
0891login:Penguin2017/10/25(水) 17:26:27.76ID:cqd5p/QJ
btrfsに詳しい人きてんね
0892login:Penguin2017/10/25(水) 18:33:23.20ID:YZBdzpDG
ツイッターのbtrfs壊すマン?
0894login:Penguin2017/10/25(水) 18:50:46.41ID:9LUW18Lh
>>890
うーん…割とあることなのかと思ってたけど、レアケースだったのね
大変失礼いたしました
あと4.11でしたか
0895login:Penguin2017/10/25(水) 20:24:21.15ID:i2n5SUlW
>>890
btrfsは技術的問題点残ってるって赤帽も言ってる
0896login:Penguin2017/10/25(水) 22:15:50.38ID:P9Arp/eu
技術的問題(自分が好き勝手が出来ない)
0897login:Penguin2017/10/25(水) 22:55:42.86ID:hD2Ps5/u
>>895
いや、balanceできない条件があるとか、
raid5/6の実装が間違ってるとか、
一部コードが汚い上に間違ってるとか、
そりゃ技術的問題はあるけど、だからといってそれ以外の箇所で障害が起こるということにはならないよ。
そんな挙動を示したなら、bugzillaに書くか、エビデンスつきでMLに投げるかしてよ。
0898login:Penguin2017/10/26(木) 03:21:40.65ID:m8CrekcC
>>897
それでもダメだったって報告だとか、噂が絶えなかったってのはガン無視?
大体ファイルシステムの障害とかすんごく報告し辛いよ
btrfsの新しいバージョンが本当に完全に上位互換になれるのか、
HDDかSSDか、セクタorブロックが代替されててデータ失って再現不能なのか、
ECC側のデータ化けをリトライでたまたま合う間違ったデータでリードできた後に代替されかどうか、
報告するにも検証どころか調査が面倒で、腰を据えるだけの気力と勇気が居る

てかその障害が起こったパーティションそのままに、他のパーティションのシステムから
観測し続けにゃならんのだよな・・・面倒どころの話じゃない
0899login:Penguin2017/10/26(木) 11:39:46.76ID:40Q7WJeS
btrfsかハードウェアの問題かすら切り分けできてないけどbtrfsの問題だと言い張るバカという自白
0900login:Penguin2017/10/26(木) 11:43:07.63ID:m8CrekcC
だからML投げたらその切り分けしろとか言われるだろ
0902login:Penguin2017/10/26(木) 12:38:51.65ID:SID6HJTr
なんで頻繁にクラッシュニュースが流れるbtrfsなんて使ってんの?
直った直った詐欺の常習犯じゃん
CentOSのワークステーションで2年位アップデートしながらzfs使ってるけど1度も壊れたことないよ
悪い噂のないzfsを使おう!
0903login:Penguin2017/10/26(木) 12:41:29.30ID:4p0ujET6
>>902
windows上でzfs動かした勇者がいるとか
zfsは安心感はんぱないけど速度は遅いんよね
0904login:Penguin2017/10/26(木) 13:02:04.98ID:SID6HJTr
窓zfsは猛者すぎる
HDDでRAIDZ2だけど安物HDDノートよりは快適に使えてるよ
2年以上窓vmつっこんで定住できる程度には
自動スナップショットにもお世話になりっぱなしだしロールバックもバックアップもレストアも全然失敗しないしもう最高
0905login:Penguin2017/10/26(木) 19:12:11.29ID:pDHoOEM7
RAID10しか使わない俺はZFSが重いと思ったことがない
0906login:Penguin2017/10/26(木) 19:30:55.27ID:4p0ujET6
>>898
なるほど...XeonE5v2の2CPU環境なのにnon-ECCというクソ環境なのももしかしたら関係あったのかも...
次買い換えるときはECCにするよ
0907login:Penguin2017/10/26(木) 19:51:51.38ID:ATxK8MFT
10年越しのC2Dのわいはzfs重すぎで断念したで
0908login:Penguin2017/10/26(木) 20:36:54.81ID:v+u2Dr+Z
なんだか病的だなここ
民生のポンコツNASのファームでも開発してるのかお前ら
0909login:Penguin2017/10/26(木) 21:40:35.70ID:XgmXXSxq
Btrfsをたたくとかっこいいとか思っているんだろうか
それともRedHatの言葉はすべて福音だとか思ってるんだろうか
そして、RHELが採用をやめただけでBtrfsの開発からRedHatが手を引いたとでも思ってるんだろうか
0910login:Penguin2017/10/27(金) 00:17:40.04ID:8vm/O0k/
あれだけ不具合出してたbtrfsにさも問題がないかの様な言い回ししてるキモオタが煽ってるからだろ
あそこまでもぐら叩きだと基本設計に問題があるとしか思えん

FATで例えるとCRCorECCを別のセクタにしただけで滅茶苦茶複雑になるんだぞ
しかも今時はSSDも絡んでくるからHDDと違ってブロックのイレース直後の電源断も考慮せにゃならん
0911login:Penguin2017/10/27(金) 00:48:30.66ID:20SupFDI
>>910
いや、問題があるならBuzillaに書くなり、MLに投げるなりすればいいでしょ。
Issueが直ってないからチケット確認しなよ。
困ってるなら、どういう状況で何が起きるか投げれば対応するわけだし。
使ってもいません、具体的に何が発生するとも言えませんってそれはただのFUDでしょ
0912login:Penguin2017/10/27(金) 00:53:47.09ID:8vm/O0k/
https://www.youtube.com/watch?v=6muZNaTq2tQ
#kernelvm @naota344 バージョン別BtrFSのころしかた

バグ見つけたらここまで検証して特定するまで誰にも言うな掲示板にも書くなってか?
検証用にパーティション切ってファイル放り込んで問題絞り込んでとかどんだけ時間掛かると思ってんだ
0913login:Penguin2017/10/27(金) 01:06:07.35ID:20SupFDI
>>912
いや、バグ見つけたならMLで言うなりBugizllaに書くなりしなよ。
で、あなたの環境でどういう状況で何が起きたの?具体的に教えて?
0914login:Penguin2017/10/27(金) 01:22:47.64ID:20SupFDI
>>906
メモリのECCとファイルシステムアクセスは、ほとんど関係ない。
あるとすれば、ダーティキャッシュがビット劣化して書き出したときにファイルがビット破損するケースだけれども、
これはファイルシステムとは*全く*関係がない事象。

btrfsやzfsの場合は、入出力のたびにチェックサム照合を行うので、RAID化されていればビット腐敗が発生していた場合、
自動的に修復される。
ただし、詳細は省くけれど、別にこれはscrubしなくていいということを意味しない。
ディスク故障時のような「安定した応答が得られない」ケースを除き、
基本的にデータビット破損によってRAID化されたbtrfsあるいはzfs、またはミラー化されたLVMからデータが損なわれるという事態は原理的に起き得ない。
0915login:Penguin2017/10/27(金) 01:24:42.98ID:8vm/O0k/
>>913
btrfs-progsアプデされた後にUUID云々とかエラー吐かれた時点でシステム入れ直したわ
そのパーティションを検証の為に残して他のHDD用意してそっちのシステムから検証とか
義務でも何でもないのにやるかよ
(zfsも初期はアプデでトラブル云々あちこちであったみたいだからbtrfsに限った事じゃないだろうけど)

てかバグ見つけたら必ずMLとかにあげなきゃならんのかよ?
MLに上げない奴は不安定なファイルシステムについても何も言うなってか?
0916login:Penguin2017/10/27(金) 02:08:05.31ID:20SupFDI
>>915
btrfs-progs「だけ」上げたの?だとしたら、ファイルシステム自体は何も変更されてないからファイルシステムはおかしくなるはずがないね。
ほかもあげたなら、btrfsのせいだという根拠が必要だね。
別にこの状況でこんなエラーが出たよ、というだけだから別のHDD云々は何も関係ないね。
具体的にどのようなエラーが出たのか、そしてどのような挙動を示したのかについても述べられてないけど。

別に不具合があっても黙って使い続けるのは自由だし、困るから直してって報告するのも自由だよ。
ただし、根拠も示さず証明もせずにFUDをばらまくのは下品だと思うよ。もちろん、下品に生きるのも自由だけども。
でも、わざわざ人に向かってFUDを吐いてつっかかるのは自由の範疇じゃないからね。
0917login:Penguin2017/10/27(金) 02:18:31.77ID:8vm/O0k/
>>916
「だけ」な訳ないだろ
しかも

https://www.youtube.com/watch?v=6muZNaTq2tQ
#kernelvm @naota344 バージョン別BtrFSのころしかた
>>902も言ってるし

これでFUD云々だとかバカ呼ばわりだとか、印象操作してるbtrfs信者の方が頭おかしい
0918login:Penguin2017/10/27(金) 02:26:43.04ID:20A8S4Fv
btrfs信者はファイルシステムはわかっても自分がセルフネガキャンしてることはわからないの?
まさしくキモオタだな
0919login:Penguin2017/10/27(金) 09:01:45.71ID:weR/Q0Mm
こういう様子を見たら、使いたいとは思わないよな
未完成なのはRHらも認めているのに、不具合があるという報告から
原因を探ろうとかそういうのではなく、不具合ではなく使う側が悪いと強硬に言い張るんだから

普通の人は、「安全で良いファイルシステムを使いたい」のであって「btrfsを良いものにしたい」なんて思ってないんだから
原因究明してMLで報告しろとか大笑いだよ
0920login:Penguin2017/10/27(金) 10:31:19.72ID:20A8S4Fv
まともな人間は使って幸せになれるから使うのであって
トラブルに巻き込まれた挙句キモオタがよってきて奇声を上げる製品なんて使うわけがない
どんな罰ゲームだよ
0921login:Penguin2017/10/27(金) 13:48:43.04ID:PgGfI2sY
CentOS7でBtrfsでインストールしなくて本当に良かったわ
0922login:Penguin2017/10/27(金) 20:49:08.33ID:2VDvBElG
ext5 はいつきますか
0923login:Penguin2017/10/28(土) 01:02:03.31ID:etrugwoe
ext4で特に問題なくね
ext4でだめな人はxfs使ってるでしょ
0924login:Penguin2017/10/29(日) 16:02:23.03ID:OjwFPq2V
ファイルシステムって作るの難しいのか?
0926login:Penguin2017/10/29(日) 16:12:25.51ID:TzA5z2pd
>>924
求めるものによってマチマチかと

ただデータをファイルとして読み書きしたいというだけなら
FATやext2なんかを参考にすれば作れるだろうし、
セキュリティや可用性を求め始めると難しくなるし
0927login:Penguin2017/10/30(月) 01:20:48.65ID:AS8R9+Hh
FuseFSとか
0928login:Penguin2017/10/31(火) 02:04:58.80ID:FgDKquIR
Fuseはいろんなfs作ってる人がいて面白いよね
まともに使い物になって、さらにメンテまでされてるものはごく僅かだけど
設計と長期的な開発の大事さが伝わってくる
0929login:Penguin2017/10/31(火) 09:31:42.73ID:8eXQ95pK
FAT → エントリを2つ持って、データを書いた後2か所を更新するだけ
書き込み中の最悪のタイミングでの電源断 : お察しください

ジャーナリング+CRCかECCの類の更新
エントリ+データからCRCの類までジャーナリング?二重の書き込みに加えて
他のセクタ(クラスタ)のCRCの類を読んで、該当するCRCの類だけ更新して、
それを更にジャーナルに書き込む?
新規データは空きクラスタに書き込むだけでいいけど、既存ファイルの一部の更新だった場合は
クラスタのチェーンも読み込んで、更新する箇所だけ空きクラスタに書き込んでおいてから
チェーンの部分を読んで該当箇所だけ書き換えてそれもジャーナルに書き込む?
そこまですればDB並に保護は完璧だけどめっちゃパフォーマンス落ちるし
空き容量0の時の既存ファイルの更新は?とかとか考え出したら常人にはとてもじゃないけど
zfsみたいなファイルシステムなんて設計し切れるもんじゃないし、
代替案も出さないのに文句言う奴が必ず出てくる事請け合い無し

SSDの場合はブロックイレースの直後に電源断だと軒並みデータ0になるし
どうせアプリ類の書き込み中の電源断は何かしらファイル壊れる筈だから
どっかで妥協するしかないんだよな
0930login:Penguin2017/10/31(火) 18:07:48.74ID:JFfINNY0
今北産業
0931login:Penguin2017/11/02(木) 22:30:43.02ID:VRhByFj6
現在HDD(4TB)2台にそれぞれ「pool1」「pool2」の2つのzpoolを作製しています。
今度8TBのHDDを購入するため、「pool1」「pool2」の2つのzpoolを、
1つのHDDにまとめたいのですが可能でしょうか。

やはりパーティションで4TB領域2つに分けるか、
「zpool3」のようなzpoolを1つ作って
「zpool3/zpool1」「zpool3/zpool2」のようにzfsで分けるしかないでしょうか。
0932login:Penguin2017/11/02(木) 22:51:47.53ID:Ym6tOrCg
スナップショットを統合するのは無理だろうからファイルコピーかネームスペースを切るしかないやろな
0933login:Penguin2017/11/03(金) 13:42:39.44ID:7yAxdNYW
俺ならrsyncするな、、
0934login:Penguin2017/11/03(金) 14:12:30.06ID:1ZLpOwvG
ん?普通にsend/recvでいいんじゃないの?
0935login:Penguin2017/11/03(金) 15:05:52.21ID:8Srk4nXS
1つのプールのルートに複数のプールをマージはできんやろ
0936login:Penguin2017/11/11(土) 12:35:17.81ID:fEz455xE
https://twitter.com/satoru_takeuchi/status/929134436364333056
sat‏ @satoru_takeuchi
fsckは映らないテレビをどつくとかファミコンのカセットに「フーッ!」ってやるくらいのもんだと受け止めていただければいいかと思います

例えが古いですか、そうですか
8:51 - 2017年11月11日

https://twitter.com/satoru_takeuchi/status/929138273791832066
sat‏ @satoru_takeuchi
fsckはブッ壊れたメタデータを容赦なく捨てることによってなんとかマウントできたら嬉しいですね、くらいのツールなので、
成功したからといって全てのファイルが残っているわけでもなければ整合性が保証されているわけでも無いです。ジャーナルログのリプレイなんかとは全然違うものです
9:06 - 2017年11月11日

https://twitter.com/satoru_takeuchi/status/929139286196207616
sat‏ @satoru_takeuchi
なのでバックアップとってない人が一縷の望みをかけて使うものであって、バックアップをちゃんととってる業務サーバのファイルシステムがマウントできなくなったときに
「fsckしたらマウントできた!やったね、業務継続!」とかやるのはまずい。ちゃんとバックアップからリストアしましょう
9:10 - 2017年11月11日

https://twitter.com/_hito_/status/929156966584262656
hito‏ @_hito_
fsckが-y与えてない状態でなんか確認出してきたら、「これ、ておいけど目をつぶる?」って確認されてるんだと思ってください。
10:20 - 2017年11月11日

https://twitter.com/_hito_/status/929157667817263104
hito‏ @_hito_
-y与えたfsckなんて、Twitterのタイムラインぐらいのておさは平気だぜって覚悟完了した状態を示すものなんやで。
10:23 - 2017年11月11日
0937login:Penguin2017/11/12(日) 19:09:02.23ID:fSQ3xxsV
ジャーナリングを嫌ってるGoogleとかノードが立ち上がるたびにmkfsしてそうだよな
0938login:Penguin2017/11/14(火) 15:43:12.72ID:3JMMYKF6
btrfsでzstd使えるようになってたんだな
IO速度がクソな環境では有用そう
0940login:Penguin2017/11/14(火) 18:30:15.01ID:1AsaLDsk
ええやん素敵やん
0941login:Penguin2017/11/14(火) 18:31:51.76ID:Hld5hQog
zstandardを開発したのlz4の人なんだな
天才か
0942login:Penguin2017/11/16(木) 01:44:13.97ID:aPSKyvbS
suseとかでデフォルトzstd圧縮有効になったりしないかな
0943login:Penguin2017/11/19(日) 07:18:15.82ID:mzgo2vbw
exfatを古いandroidに指したらぶっ壊れたんだけど復旧方法ある?
teatdiskのクイックスキャンはダメだった
これからディープスキャン予定
0944login:Penguin2017/11/19(日) 10:08:41.56ID:GW0MhMrM
>>943
復旧方法というかそれ以前の事前確認なんですが、カードリーダーの方が
壊れてないか確認(別のmicroSD挿してみる)して、その後は microSD のハード
不良なのかFSのメタデータ破損なのかを確認(dd で読み出せるかあたりか?)かな。
0945login:Penguin2017/11/19(日) 12:06:59.55ID:ZpSLMMU3
943っす
ディープスキャンダメだった
カードリーダーは複数使ってチェックしてるからハードのエラーではないっす
xxd -a /dev/sdcして何か出てくるので何か入ってるぽいんだけどexfatの構造はよくわからない
sudo fsck.exfat /dev/sdc1
exfatfsck 1.2.3
ERROR: exFAT file system is not found.
いわれるんだよねー。最近のFSだからメタデータのコピーくらいはあるとは思うんだけど

おそらく原因はこれ
ドコモからのお知らせmicroSDXCカードご利用時のご注意について
https://www.nttdocomo.co.jp/info/notice/page/120606_00.html
いやまさか指しただけでフォーマット実行なしで壊れるとは予想外だったわ。どんな処理してるんだか
0946login:Penguin2017/12/04(月) 12:01:30.03ID:anPRfq9b
https://github.com/tex/fusecompress
LZOLayerFSもfuseCOMPdもメンテされてなさすぎてアレだし、
これもProbremとか妙にきな臭いし・・・
NTFS程度の圧縮でいいから、zfs動かすにはメモリが足りないって環境で
透過圧縮でいい方法ってないもんかね?
0947login:Penguin2017/12/04(月) 12:13:24.41ID:nPwxeQQc
btrfsでええやん
0949login:Penguin2017/12/05(火) 19:10:28.53ID:o9jvCgSS
ここまでバグまみれで一向に改善の傾向が見られないのは設計に何か問題でもあるのかねぇ
0950login:Penguin2017/12/05(火) 20:35:47.41ID:xITbzjWg
Deprecatedにぶっこまれるって事はそういう事なんでしょ
0951login:Penguin2017/12/05(火) 21:01:21.78ID:p7vRDzPy
絶対に選んではいけないファイルシステム
0952login:Penguin2017/12/06(水) 19:37:17.39ID:VGGMSTZG
ext4に透過圧縮があれば十分なんだがなあ
以前は/usr以下をsquashfsしてaufs被せる荒業が使えたんだがsystemdが起動に必要なファイル置きやがるからだめになったし
0953login:Penguin2017/12/08(金) 23:03:43.37ID:6zLhmCQN
圧縮機能だけでzfs-fuseを使っていたんだけど、(CentOS 6)
さっきダウンしていた。マウント先ディレクトリにアクセスできなくなっていた。

service zfs-fuse restart を時間を置いて二度行なったら、復帰した。

/var/log/message を確認したら、エラーが記録されていた。
segfault at 70 ip xxxxxxx sp yyyyyyy error 4 in libpthread-2.12.so[zzzzzz]

もう怖くて、zfs-fuse使えない。
重複機能はとっくに諦めていたけど、圧縮機能も諦めて、
もうzfs-fuse使わない。ext4のまま使うことにする。
圧縮効果は1.6倍だったのでもったいないけど、安全の方が大事。
0954login:Penguin2017/12/08(金) 23:16:17.83ID:6zLhmCQN
>>953自己レス

メールのINBOXフォルダとして使っていたので、
大量に入ってくるメールの取扱でバグったのかなあ。
0955login:Penguin2017/12/08(金) 23:43:11.94ID:ZOJyABBF
評判の悪いfuseなんぞわざわざ使ってる方に問題がある
ZoL使え
0956login:Penguin2017/12/09(土) 01:16:59.24ID:ybA/9ws5
>>955
ZFS on Linux ググってみたけど、標準の機能でないために躊躇します。
yum update みたいに、カーネルごとアップデートされるようになったら使いたいなあ。
0957login:Penguin2017/12/09(土) 01:36:43.20ID:FOEDyt7P
fuseのzfsも標準の機能じゃないしw
てかOracleもFSFもLinux界隈もPC衰退期の現状にライセンスが合ってない
もうソースに手入れた人が把握できなくて身動き取れないだけかも知れんけど
0958login:Penguin2017/12/09(土) 18:17:19.19ID:XKNRzaCn
>>956
ZOLが標準に組み込まれないのはライセンスの問題
FUSEはZOLまでの繋ぎで今はメンテもされていない
0959login:Penguin2017/12/09(土) 22:41:04.18ID:FOEDyt7P
事実上、まともな透過圧縮は起動に使うには面倒なZOLだけか
透過圧縮って、パフォーマンス低下させない様にって細工が面倒なのはわかるんだけど
ext4で特定の圧縮アルゴリズムで標準化みたいな動き、出ないもんかな
0961login:Penguin2017/12/09(土) 23:12:17.71ID:ybA/9ws5
>>960
btrfsってもう詰んだんでしょ。

>>958
永久にカーネルに組み込まれないってことでしょうか。
それともオリンピックまでになんとかなる話?
なんとかしてほしい。ド素人にも使えるようにしてほしい。

ZFS on Linuxなんてつかったら、多分、カーネルアップデートしたりしたときに、
データにアクセス不能にしてしまいそうでこわい。
凍結的に使いつづけるのならよいのかも知れないけど。
0962login:Penguin2017/12/09(土) 23:12:47.98ID:xfEywRlo
遅い、不安定、糞サポート
0963login:Penguin2017/12/09(土) 23:16:30.67ID:XOliZqnc
red hatが作るXFSベースのfsに透過圧縮付いたりしたら良いのにね
0964login:Penguin2017/12/09(土) 23:24:22.93ID:xfEywRlo
なければつくるんや!
0965login:Penguin2017/12/09(土) 23:24:35.67ID:xkiGrhs4
正直、圧縮はbtrfsだのzfsだのでなく、ストレージに提供させる機能とした方がよさそうだが
0966login:Penguin2017/12/10(日) 00:01:52.98ID:g66QiYsp
>>961
特定のFSに限らんだろうが暗号化ディスクをマウントしたままカーネルアップデートするとディスク構成壊れて起動不能というのはある
0967login:Penguin2017/12/10(日) 00:23:50.05ID:up+XnWG1
>>965
ブロックレイヤーでってことか?
メタやジャーナルまで圧縮することになるし
FS側で圧縮した方が良さそうじゃない?

俺は使ってないファイルとか圧縮効果の高いファイルだけ圧縮して欲しいわ
0968login:Penguin2017/12/10(日) 00:25:19.66ID:wGxcaYra
起動時のえっらい小さなローダーがパスワード入力とか求めた上で
暗号化解除やら、場合によっては圧縮の解凍しながらとか、相当難しいからね
FreeBSDでも/boot/だけは圧縮とかすらできない様に、あちこちにブロック入ってる
(抜け道があったりで完全じゃないけど(それ言い出したら何でもできるけど))
0969login:Penguin2017/12/10(日) 00:44:32.70ID:wGxcaYra
>>967
ちょいと考えてみたけど、ブロックレベルでってのは、特にSSDで無理があるな
透過圧縮の類って、実際の圧縮は確か16KB単位とかでやってる筈
頻度表を扱うアルゴリズムを使うってなった時点で、最悪値で無条件に
256×出現回数の表現に必要なビット数 の頻度の情報が必要になるから
4KB単位での圧縮なんて(テキストファイル限定とかでもなきゃ)先ず意味がない
0970login:Penguin2017/12/10(日) 01:50:22.76ID:ZifqXvj+
>>967
>>969
内蔵HDDとかというよりかは、FCとかiSCSIとかで接続するような外部ストレージね

OSからは4kbのブロックとして見えるけど、実態はストレージによりそう見せられている
仮想的なブロックの、更に下位のレイヤーでの圧縮や展開
ストレージ内蔵のASICや専用アクセラレータが圧縮や展開をするようなモノ
0971login:Penguin2017/12/10(日) 03:46:19.19ID:N0TrNYo4
Windowsの世界では、透過圧縮、重複排除は安定的に実現できているのかな? > NTFS
smbaclientでくっつけるとか。
0972login:Penguin2017/12/10(日) 08:57:11.81ID:4pWsPUuO
>>969
同じ意見だわ
余談だけど、圧縮で書き込み量減らしてSSDの寿命を延ばすとか試みはあったそうで
効果は不明

>>970
bio下位ならブロックレイヤーだね

ASICとかハード実装ならインライン圧縮になる
平均IOサイズ考えると圧縮効果低くなるからなあ

ポスト、セミポストならデータマージして圧縮効果上げられるけど、今度はファイル読み込み時の伸長コストに無駄が出るしなあ

iSCSIならネットワークに出すデータ量減らせると考えればFSで圧縮するのが良いと思うぞ
0973login:Penguin2017/12/10(日) 10:16:59.64ID:C8L1/GFy
>>961
家のCentOSでなんとなしにカーネルじゃないけどアップデートしたら、OSが壊れた。
というか起動に使ってたUSBメモリが完全死亡。
新しいUSBメモリにOSに入れ直して前と同じ環境にするだけで済むだろうと思ったけど、5,6年前に組んだマシンで、当時何をどうやったかの記憶も記録も全くなくなってたw
ただのファイルバックアップ用マシンだったけど、元のファイルサーバーに不調が出て一新しようとしてる作業中だったから血の気が引いた。
0974login:Penguin2017/12/10(日) 14:37:23.88ID:wGxcaYra
>>970
ファイルシステム回りを眺めて(読んだとは言ってない)思ったけど、
圧縮で空いた分のブロックとか認識して追従するファイルシステムとかめっちゃ複雑そう
zfsみたいに上で全部管理しないとすぐ限界が来るに1ペソ
0975login:Penguin2017/12/10(日) 14:40:30.94ID:N0TrNYo4
https://news.mynavi.jp/article/20170804-a056/

Red Hatはすでに実装し利用している技術を精査し、
当面はXFSとLVM2を機能拡張していくことでZFSと同様の機能を実現していく計画としている。
この取り組みは「Stratis」プロジェクトと呼ばれており、
2018年には最初のリリースを見込んでいる。
0976login:Penguin2017/12/10(日) 17:57:32.78ID:nqYNH5+E
>>971
Windowsで重複排除はReFSからじゃないかったかな
評判は知らないけど
0977login:Penguin2017/12/10(日) 19:37:49.67ID:fs9xD2lp
>>974
ext4で暗号化が実装されてるのに圧縮がされてないのはその辺だろうね
0978login:Penguin2017/12/11(月) 08:12:40.95ID:lx+fHSVz
>>976
逆。
今の所、NTFSでしか使えない。
オフラインなのもあって、まぁ、普通に使えてる。
0979login:Penguin2017/12/11(月) 12:47:32.50ID:OK6Xudye
しかしSUSEはどうすんだろね
0980login:Penguin2017/12/11(月) 13:10:43.52ID:JQ1AKkZN
SUSEは当分xfsとbtrfsでいくんじゃないの
0981login:Penguin2017/12/13(水) 18:58:05.52ID:dzTWqPE0
次スレは?
0982login:Penguin2017/12/18(月) 03:36:58.10ID:GyMlMt5D
Ext4でも標準でジャーナリングシステムをつかっているのだと知りました。
それなら、xfsをわざわざ選択する意義ってなんなのでしょうか。
xfsか、枯れたExt4を使うか迷っています。
0983login:Penguin2017/12/18(月) 05:14:36.61ID:KgitDdCc
>>982
XFSはファイル一つ一つのサイズがデカい場合に良い性能を発揮するらしいので、
普段使いはext4でいいんじゃないだろうか。

> 枯れたExt4
ext4って枯れてるか?絶賛開発中だと思うのだけど。
0984login:Penguin2017/12/18(月) 08:21:54.12ID:x84wA0wv
枯れてるかどうかはわからんけど
xfsのほうがはるこに歴史はあるが
0985login:Penguin2017/12/18(月) 11:20:01.45ID:GyMlMt5D
>>982です。

>>983-984
ext4ってまだ開発中だったんですか。すっかり枯れたものだと思いこんでました。
それどこか、xfsの方が歴史が長かったなんて。
CentOS 7ではxfsが標準になっているので、逆転現象ですね。

IMAPサーバの構築でメールファイルの管理だけをしたいなら、
使い慣れたCentOS 6で、ext4を使う方がいいかなあと思ってきました。
0986login:Penguin2017/12/18(月) 21:55:50.85ID:zF3vE5KP
ext4にしとけ
extundeleteできるのは便利やぞ
0987login:Penguin2017/12/18(月) 22:08:00.85ID:GyMlMt5D
>>986
xfsは復活できないそうですね。
メモリも食うらしいので、
はい。もう少し、CentOS6でいきます。
0988login:Penguin2017/12/28(木) 12:29:00.51ID:bgFTfYxx
SSDのような記録形式は、劣化してくるとコンデンサでいうリフレッシュみたいなことをしないと
あまり頻繁にアクセスしないデータはいつの間にか電荷?の自然消失で壊れると聞いたんですが
ZFSのスクラブはリフレッシュの代わりになりますか?
0989login:Penguin2017/12/28(木) 13:02:12.19ID:vYCrbjN4
そんなことしても気休めにしかならないからバックアップ取ったほうがいいぞ
0990login:Penguin2017/12/28(木) 13:18:13.61ID:fkEzUj9L
>>988
バックアップしたのを丸々リストアするのが一番負担の負担が少ない
細かいファイルを1個1個同じSSD内で完全にコピー→上書き移動とかしてると
ディレクトリのエントリ(ファイルの一覧)への書き込み回数がとんでもない事になる
0991login:Penguin2017/12/28(木) 13:18:59.35ID:fkEzUj9L
負担の負担とかw SSDの負担
0992login:Penguin2017/12/28(木) 17:49:23.94ID:bgFTfYxx
ありです

やっぱりきちんとバックアップも取っておいた方が良いですか

定期的にddでディスクを丸ごとHDDに保存してみようと思います
0993login:Penguin2017/12/28(木) 18:25:04.32ID:W1FLaU/H
SSDも劣化対策にRAIDにしておくべきだよね
0994login:Penguin2017/12/28(木) 18:39:00.12ID:fkEzUj9L
zfsとかReFSみたいなのなら劣化には有効なんだけど、従来のFSじゃ無理
だからデータ化け対策にMSまでもがわざわざ今頃になってReFSとかし始めてる訳で

3DMLCTLCのエラー訂正がどうなるかわからんけど、少なくとも寿命が来たUSBメモリに
ソフトウェアRAID組んでext4辺りで適当なでかいzipとか放り込んでしばらく放っておいた後、
(フラッシュの類の寿命って読み書きできないじゃなくて、
 データを保持できる時間が短くなる、だから待つのが重要)
データレベルでのエラーが検出できないから、エラーが起きたり起きなかったりする
ソフトウェアRAIDだけじゃなくて、ハードウェアRAIDも同じ
あれは律儀に両方の物理ドライブから読み込んで、両方のセクタの内容を比較とかしてない
(ハードウェアRAID0+1だと、先ず間違いなく片方からしか読んでないし、
 普通のミラーリングでも定期的に読み出す物理ドライブを切り替えて寿命を延ばそうとしてる)
Win10の記憶域プールの類も同じで、プールから作った論理ドライブにNTFS切ると同じ問題が起きる

RAIDはヘッドとかモータとかコントローラが死んだ時には止まらず動き続けてくれたり、
片方のデータで助けてくれたりはしてくれるけど、ECCかファイルシステムのどっちかが
データの正当性を検証し続けてくれない環境だと、運用中のデータ化けには無力(特にSSD)
0995login:Penguin2017/12/28(木) 18:56:15.30ID:aFTO9rA1
つまりエンプラSSDは期違いってこと?
0996login:Penguin2017/12/28(木) 19:25:06.39ID:NbmI0QOw
HDD も SSD も同じことだが、
RAID で DISK故障を発見したとき、 他の DISK のデータが一部消えてたという事態は避けなければいけない。
そのために、全データを 定期的に read することが重要。アクセスすることによって 訂正可能な範囲の劣化は修整される。
ダメならダメでデータが消えたことが発見できて RAID 使ってたら 修正も可能。

コピーオンライトなFSは、GC もあるし、そういう機能を持ってると思うけれども、詳細は知らない。
0997login:Penguin2017/12/28(木) 19:25:16.21ID:fkEzUj9L
鯖向けのSSDでも、暗号化の類の保護はあっても、正当性の保証って意味での保護は滅多にない筈
(ちょっと考えればわかる)だからSLCとかで物理的な耐久で耐えようとしてるっしょ
で、わざわざ電源断の保護とか謳ってたりするとこからわかると思うけど、
一般的なSSDの多くは書き込み中に電源落とすと、内部での イレース→書き込み で、
イレース直後に力尽きた時はセクタの内容がオール0とかになる
物理的な書き込みの順番を守ってないジャーナリングだと、
下手するとディレクトリエントリぶっ壊れて、ディレクトリ内のファイルの一部か全部ロストする

鯖向けの3Dは知らん
0998login:Penguin2017/12/28(木) 20:36:57.08ID:W1FLaU/H
複数SSD + ZFS + 定期scrub でいい?
0999login:Penguin2017/12/28(木) 23:22:58.51ID:1cm7+jyT
SSDは記憶場所の再配置も自動でやっているのでscrubなんて無価値だよ
1000login:Penguin2017/12/28(木) 23:27:37.88ID:Q2KhtiDj
ヾ(゚ω゚)ノ゙
10011001Over 1000Thread
このスレッドは1000を超えました。
新しいスレッドを立ててください。
life time: 1076日 0時間 45分 40秒
10021002Over 1000Thread
5ちゃんねるの運営はプレミアム会員の皆さまに支えられています。
運営にご協力お願いいたします。


───────────────────
《プレミアム会員の主な特典》
★ 5ちゃんねる専用ブラウザからの広告除去
★ 5ちゃんねるの過去ログを取得
★ 書き込み規制の緩和
───────────────────

会員登録には個人情報は一切必要ありません。
月300円から匿名でご購入いただけます。

▼ プレミアム会員登録はこちら ▼
https://premium.5ch.net/

▼ 浪人ログインはこちら ▼
https://login.5ch.net/login.php
レス数が1000を超えています。これ以上書き込みはできません。

ニューススポーツなんでも実況