【NAS】 FreeNAS/NAS4Free総合 【FreeBSD】 Part2
レス数が950を超えています。1000を超えると書き込みができなくなります。
FreeNAS : Open Source Storage
http://www.freenas.org/
NAF4Free : The Free Network Attached Storage Project
http://www.nas4free.org/
PCをNAS化するFreeBSDベースのディストリビューション
バックアップや物置にﾏﾀｰﾘ語りましょう
何かエラーのことを質問するなら、まずログを確認
そこには重要なキーワードが書かれているはずですよ
前スレ
【NAS】 FreeNAS/NAS4Free総合 【FreeBSD】
http://mao.2ch.net/test/read.cgi/mysv/1446904490/ >>852
だからそれは書き込み前にARCだL2ARCだに
書き込むからであって。
普通のファイルシステムでもフロントをRAMDISKにして、
プログラム1つ作って、バックグラウンドで書かれたデータを
ディスクにコピーする、って事をやればフロントに帰ってくる速度は何百倍にもなる。
…そんな事しても意味が無いけどね。
>嫌ならcompless切ればいいんじゃない
システム上、圧縮は設定として切れても実際は切れない。
これはちょっと調べればすぐに何故かは分かる。 >>853
>だからそれは書き込み前にARCだL2ARCだに
>書き込むからであって。
書き込みにARC/L2ARCは使わないくない？
データーの書き込みはストリーム圧縮のlz4だからディスクに落とす前にブロックサイズ毎に随時圧縮してると思ってたけど違うのか: Proxmox VEもさくらVPSもストレージZFSなんだよなぁ さくらはクラウドでZFS Storage Appliance入れて痛い目に遭ったと思うが
VPSの時からZFSだったっけ？ >>840
知らなかった。でも、ざっと調べた限りRAIDZとは相性が悪いように思えるが、よくわからない。 https://gigazine.net/news/20120322-sakura-cloud/
>■障害の内容
>ホストサーバとストレージの間において、ディスクアクセスが増加した際に、
>お客様サーバのレスポンス悪化やサーバダウンが発生しておりました。
さくらってアホやな。
正しくこのスレでiSCSI使ってる連中が遅いって言ってるのと同じじゃん。 常識的に、何故このFSでパフォーマンスが出ると判断するのか？
頭おかC。 nfsのプロトコルでマウントしても中身はZFSとかでは？知らんけど。
ZFSアプライアンス使ったんだから。
しかし何れにしても、障害原因が要件手義レベルで「さくらってバカなのね。」
の誹りは逃れられん気がする。
http://www.lares.dti.ne.jp/~foozy/fujiguruma/solaris/nfs_for_hugesystem.html
> 北海道にある4,000ラック規模の石狩データセンターの最初のサービスとして…
> 構成に関する記述を見る限りでは、 ストレージサーバ１台あたり、 1000台規模のクライアントがアクセスするものと思われる。
>
> 本資料では、 100 台規模のシステムでは問題無くても、 1000 台超規模のシステムで問題となるであろう Solaris NFS 実装由来の問題について説明する。
>
> なお、 これらの問題点は、 『Solaris NFS の実装が悪い』というよりも、 元々『NFS が前提としているシステムがせいぜい数 100 台規模』という、 前提条件不一致の問題と言える。
ｗ。 それだそれだスケーリングおかしいだろ詰め込みすぎw >>863
そうはいってもfreenasもZFSもその間（2012〜）にメジャーバージョンアップは2回
位しかしてないんだよなぁ。GUIもほとんど変わらんし。
さくらがZFSの採用やめたのなら改善されなかった可能性は高いだろ。 さくらがミスったのとZFSには何の関連も無いんだよなぁ
>>865が何を言いたいのか全くわからん >>866
>さくらがミスったのとZFSには何の関連も無いんだよなぁ
何で関係ないの？
"ZFS Appliance" を使ったんだよね？ >>854
合ってるよ。
HDDは遅いから、CPUが十分に速ければ、
圧縮して書き込み量を減らした方が、速くなる。
メタデータの操作は、変わらないだろうけれど。 >>868
オイオイ、早くなるわけないじゃん、
そもそも>>854が自分で言っているように「ブロック単位」でデータを受信して終わりのHDD
とブロック単位のデータをある程度まとまって受信した上で圧縮(ZFSの1レコードは128KB
だから、そういうことになる、たとえば10KBのテキストファイル相当数とか。）するZFSを
比較して何でZFSのほうが早くなるのさ？ >>867
ファイルシステムが原因じゃ無いから
報告書ぐらい読めば？ >>871
ほとんど全部ファイルシステムの問題じゃんｗｗｗ
お前は、どこ読んだんだよｗｗ
1.2. 共有ファイルシステム数増加に伴うパフォーマンスの問題
1月初旬より、ユーザの増加にともなってストレージ上で作成される共有ファイルシステム
（ユーザが使用するディスク）数が徐々に増加しました。この増加とともに、CLI
（Command Line Interface）の応答が悪くなるという問題が発生しました。
CLIは、ストレージ装置を操作する際にコマンドを受け付けるインターフェースです。ストレージ
装置上でファイルの作成や削除を行うために、クラウド・システムは CLI を通してコマンドを送信します。
1月頃より、CLI への接続にかかる時間が大きくなる問題が発生しました。これを必要最小
限の数にとどめるため、使われなくなったファイルシステムを頻繁に削除する必要が生じました。
しかしながら、CLI の応答と共にコマンドの処理にも同様に大きな時間がかかるようにな
り、クラウド・システムで実装していた手順では正常にファイルシステムの作成や削除が
行えない事態が発生しました。
1.2.1. 共有ファイルシステムの作成、削除が遅くなる
ユーザのディスク作成や削除の指示は、すべてストレージ上の共有ファイルシステムの作
成、削除を伴います。ファイルシステムの作成の際には、起動時間をごく短くするために、
ストレージのクローン機能、スナップショット機能を利用します。
ファイルシステム数増加にともなって CLI の応答が悪くなると、これらのコマンドの実行
にも非常に長い時間がかかったり、システム上タイムアウトになって正常に完了しなかっ
たりといった問題が発生しました。これらは根本的な解決が難しく、テンプレート機能の
利用停止など、ユーザの皆様に多大なご不便をおかけすることとなりました。
なお、3月19日に実施したファームウェアのアップデートにおいても、当問題は解消でき
ておらず、ファイルシステム数を一定以下に抑えるよう利用されるディスク数を抑制する
ことで顕在化を防いでいる状況です。 1.2.2. ファイルの誤削除
ファイルシステム数が増加することがストレージのパフォーマンスの低下を引き起こす理
由の一つであることから、1月5日の緊急メンテナンスにおいて、負荷によって作成が正常
に完了されていないディスクや、解約済みディスクの削除作業を開始しました。
しかしながら、ストレージの負荷が非常に高い状況であることから、通常の手順では削除
を実行することができず、本メンテナンス専用のバッチコマンドを作成し、不要なファイ
ルシステムの一斉削除を実行しました。
この際、レビューやテストが不十分であったことから、削除すべきファイルシステムの種
類（作成に失敗したものや、解約されたものなど）が誤っていることを発見できず、稼働
中のディスクの一部（53 件）を削除するという重大な事故を引き起こしてしまいました。
誤って削除されたディスクについては、ストレージのパフォーマンス低下を防ぐために、
あらかじめストックとして作成していたファイルシステムであり、これらが正常に作成さ
れていないディスクと誤認識されたことが原因でした。
なお、バックアップを取得する仕組みは用意されていましたが、ストレージの負荷が高く
バックアップ頻度が低下していたことや、該当するディスクは作成されてから日が浅くバ
ックアップが開始される前であったことから、バックアップからの復元も行えない状況となりました。
この事故の後、不要なファイルシステムの削除プロセスを単純化させるとともに、レビューや
テストが十分でないスクリプトは実行させないよう徹底を行うなど、再発防止策を制定しております。
1.3.1. ディスク I/O 処理の問題
ストレージのアクセスが増え、データの読み書きが頻繁になると、徐々にストレージの性
能の上限に近づいていきます。処理可能な最大 IOPS に到達すると、性能が劣化し期待した
処理能力を下回ってしまうことが判明しました。
この問題はストレージ装置の I/O 処理において、利用するバッファの数やプロセスの数、さ
らにはカーネルパラメータ等の内部状態に深く起因するものであり、メーカーとの調整の
上でパラメータの変更の実施、さらにはファームウェア・アップデートを3月19日に行いました。
これらの対処により問題の一部を解消しているものの、設計仕様として期待する性能には
至っておりません。 3. ストレージ装置の変更について
以上ご説明しました障害対応および運用の状況を踏まえ、現行ストレージをまったく別の
新ストレージ装置に変更することといたしました。
弊社では代替となる装置の検討を 2012年3月から行い、安定性と性能の確保、および責任
ある運用を実施するために、自社開発となるストレージ装置への転換を実施することとし
ました。
ZFS戦力外ｗ わかったわかった。BtrFSとかReFS使っとけばいいよ >>875
どうせBtrFSとかReFSも名前位しか知らん癖に
知っタカこきたいんだろｗｗ？ いつもの「ZFSならこれが当然」馬鹿が知ったか連発
完全に間違った投稿を自信満々に投げるからすぐ分かるｗ
お前、投稿止めろよ。
俺は直ぐピンと来るようになったけど、素人は騙されるからね。
ド素人に、完全に間違った情報を吹聴した事何度もあるだろｗｗ？ >>818
よく考えれば、USBもアリなんだね。
3.5 inchHDDなら転送速度は速くても200MB(1.6Gpbs)
USB3.0に接続すれば十分な性能が得られるのか。
USBポートをありったけ使えば接続可能なHDDが相当増えるね。 >>880
そもそもzfsだとキャッシュオーバーしない範囲ならデバイスの速度関係ないしな >>881
そんな事は無いだろ。
書き込みキャッシュに入って永続化されてないデータは停電、HWの故障でロストする可能性が
常にあるという事なので。
少なくともSATAを介してHDDに書き込む時と同程度の性能を確保できないなら
ZFSはHDDに直書きする時と比べて書込信頼性がそれ程変わらない、という事が担保できなくなる。 質問させて下さい。
FreeNAS-11.1-U7、RAID-Z3で運用中です。
このたび、ディスクの一つがremoveを起こし
ボリュームがdegradeになったので、ディスクの交換をしようとしたのですが、
GUIからreplaceボタンを押すと下記のようなエラーが出てしまいます。
Exception Type: MiddlewareError
Exception Value:
[MiddlewareError: Failed to wipe ada0: dd: /dev/ada0: Input/output error
1+0 records in
0+0 records out
0 bytes transferred in 0.016574 secs (0 bytes/sec)
]
色々調べて
https://bitfix.be/freenas-error-unable-to-gpt-format-the-disk-ada0/?lang=en#.XMk9eOgzZaS
等にて
sysctl kern.geom.debugflags=0x10
dd if=/dev/zero of=/dev/ada0 bs=512 count=1
とすれば良いと言う情報が各所のフォーラムであがっていたので
実行してみましたが、状況はかわりません。
交換用ディスクに以前のZFSの情報が残っているからかなと思い
交換用ディスクの中を一度全て0で上書きしましたが、やはり状況は同じです。
交換用ディスク自体に問題があるのかと思い、4つのHDDで試しましたが
全てうまくいかず。
Failed to wipe ada0: dd: /dev/ada0: Input/output error
と出ていますが、CrystalDiskInfo7_5_0では全て正常なディスクです。
何か対応策をご存じの方いらっしゃればアドバイス頂けないでしょうか。
何卒宜しくお願いいたします。 物理的に新しい初期化済みDISK が必要です。障害DISK そのものは初期化後再利用しても弾かれます。障害DISK は後で再利用可能です。 >>883
ディスク交換はコマンドラインからでは？
俺もついこの間ディスク障害で交換した。
https://qiita.com/onodes/items/e74b12828777b8c23f16
scrubに6時間かかったけど、最終的にはデータロスト一切無しで復旧できてZFSスゲーと思ったね。 まあ、ひょっとすると、提示URLの、
https://qiita.com/onodes/items/e74b12828777b8c23f16
> [root@freenas] ~# gpart add -i 2 -t freebsd-zfs ada2
の後からGUIでreplaceすればGUIからでも可能かもしれないけど、俺は9割方この資料どおりで復旧できた。 >>886
レスありがとうございます。
再起動はしてみました。
上記のコマンド打った後にディスクのWIPE
上記のコマンド打った後に再起動してディスクのWIPE
どちらも同じ結果です。
>>887
レスありがとうございます。
上記の資料は私も見たのですが、
[root@freenas ~]# gpart show ada0
gpart: No such geom: ada0.
[root@freenas ~]# gpart create -s gpt ada0
gpart: Input/output error
とInput/output errorが出てしまいます・・・・ i/oエラーはなんかおかしい気がするなぁ、、
livecdとかケーブル変えてみるとかは？ HDD4台試して全部同じなら、HDDはも疑う必要はないしね。 そもそもremoveて稼働中に切断されてるみたいだし
SATAコネクタやケーブル疑った方が速くね？ 皆さんアドバイスありがとうございます。
結局、SATAポート変えたら何事もなかったかのように上手くいきました。
ada0であっています。これは何度も確かめました。
ada0が普通に検出されてディスク交換の際にもディスク一覧から型番が変わっている事が
確認できていましたのでまさかSATAポートに問題があるとは思ってもみませんでした。
勉強になりました。
重ね重ねありがとうございます。 freenasでファイルサーバを組みたいのですが、
Z390マザーボードは使えますか？ >>898
組めるけどスゲー勿体ない気がする。
Z390でしかサポートしない様なハイエンドCPUはnasには全く必要ないし。
マシンパワー殆ど使わないから、最低限度SATA3.0のMBでありさえすれば
何でも良いと思う。
そこでVMも動かしたいなら別だけど。 すみませんよくわかってない素人がfreenasでraidzで組んで使ってたのですが
エラーが出ていたHDD交換の際に間違って違うHDDを入れ替えてreplaceとやってしまったので
これをもとに戻したいのですがどうしたらいいでしょうか？ この手の復旧会社記事で
「RAID-Zめんどくせー」 「ZFSマジうぜー」 と愚痴られるの伝統です
その後に「でも、うちなら復旧できますけどね(キリッ)」って続くのも昔からのお約束 これはRAIDZディスってるの？
データ復旧がRAID0〜6と比べて難易度が高いと言われれば、そらそうだろうな、程度で読んだけど。
寧ろ、データが不定の分散しているしている事が難易度を高くしているとは言っているけど、
データに圧縮掛かっている事は何も言ってない （復旧の難易度に言及しない） のをみて、興味深く読んだわ。
そこは関係ないんだ、と。 >>903
replaceした結果、どうなったのさ？
それで復旧出来たのなら、もうそれで良いじゃん。
どうしてもやり直したいなら、正しいHDDを入れ直して、もう一回replaceすれば良いのでは？
オペレーションした時のdiskID/UUIDは控えてるんでしょ？ >>905
むしろZFS使ってこの会社のお世話になったのなら、大災害とかでもない限りは
大体管理者の不注意だろうから、まぁ、アホな奴だな、と。
不注意の罰金として、100万円くらいお布施させられるのはしょうがない。 常時稼働のシステムは止めるなは定説
HDDは起動時にジェット機レベルの回転が瞬時にかかるので
今まで動いていても止めてしまったせいで起動時に壊れることが多い
ボードの増設なんかでも今まで電気が流れていなかった回路に通電することで
初めて不具合が見つかることがある
あとお高い鯖機は起動時のBIOSチェックだけで5分以上かかって不安になるｗ HDDを適当に入れ替えて繋いでも生きてればプールとして認識してしまえる
zfs最強伝説が面倒臭がりには有り難い まーたZFSならこれが当然坊がなんか言ってるね。
実務では大学であれ、オフィスであれビルのメンテナンスなんかで電源落とされることは
何年かに1回必ずある。その時に起動が出来なくなった、てのは良くある話。ZFSに限らずね。
兎に角、お前は断言をするなよ、間違ってんだから。 そんなもん想定済みでUPS＋自動シャットダウンくらい仕込むだろ UPS、自動シャットダウン全然関係ないね。
停電は何時間も続くし「業後はサーバーをシャットダウンして帰ってください」と業者から言われるんだから。
兎に角、お前はまっっっっっったく実務を理解してないんだから、断言をするな。
「俺はこう思う」とか、そういう書き方なら、そういう意見もあるな、と突っ込んだりはしないから。 知ったかぶりの知識を総動員して何でおかしな反論だすのか？ ビルメンテで電源落としたら起動しなくなるって事象
経験上だとソフトウェア起因よりハードウェア起因が多いんだけど
ZFSが原因で起動不可ってどういう時に起こるんだろ しっ、触っちゃダメ。
気持ちよく語っていただいて帰ってもらわないと。 >>905
何台でプール構築してたのか知らないけど
仮に最低限の3台でRAID-Z1だったとして1台故障
残りの2台の内壊れてない方を交換してreplaseて感じ？
これ試してないからわからんけどその状態で正常なデバイスを入れ替えたとしても
replaseできないんじゃね？RAID-Z1だと正常デバイスを新品デバイスに交換した時点でreplase条件満たしてないし HDD5台でraidz1で構成しています
個人利用のNASなのでデータ自体は無くなっても悲しいだけで済みます
一度Resilverが完了したと思って再起動したらなぜかまたResilverやり直し始めたのですが
別のHDDも怪しかったので交換してreplace開始してしまいました
現状は
入れ替えてデータが不完全と思われるHDD2台のみがONLINEで他3台がDEGRADED状態
プール自体もDEGRADED表示でChecksumにエラーあり
Resilver中となっています
一度1台は元に戻した方がいいのかと思って質問しましたが
このまま完了まで素直に待てばいいのでしょうか？ >>919
まーーーた、役にも立たない揚げ足取りやな。そんな話じゃ無いだろ？
バックアップしていたとしても、故障したら復旧させなきゃならないって話。
バックアップしていたから、復旧不要って話には絶対ならないから。 >>920
とりあえず、Resilver中に余計なことをやったら事態は更にマズイ方に行くだろうね。
何でエラーがでたHDDを交換したら5台中3台がデグレになるのさ？ >>920
もしかしてresilver中に再起動しちゃった？
俺が以前にデバイス異常（実際はSATAケーブルの異常だったけど）でシャットダウンして
SATAケーブル交換後起動したら起動中に自動的にreplaceして起動終わった時点で正常にonlineになってた >>920
背面配線をしていませんか。
裏ぶたがSATA ケーブルを圧迫して不定期に接触不良が起こりResilvering となることがありました もしかしてResilver中に電源入れなおしたから完了後再起動で再開になったんでしょうか？
あまりにも遅いのでシステムの異常を疑い
接続確認や壊れていたファンの交換などをやるために数回シャットダウンしています
現在の状態もResilver継続中だったので当然シャットダウンしちゃってます >>925
どんなにちんたらしてても電源落としちゃダメゼッタイ そう、スゲー時間がかかる。
で再起動とかそんな無茶やって良いの？と思ったら、良いみたいだね。
https://www.ixsystems.com/community/threads/is-it-safe-to-reboot-during-a-resilver.55599/
> Answer is yes. It may be set back slightly by a reboot, but it doesn't start over and it can handle it. Even a crash.
凄いと言えば凄い。 >>927
まーーーーた、調べもせずに知ったかこいててｗｗ >>927みたいなの、ホント止めてくれないか？
ここに質問に来る奴ってのは、多かれ少なかれ、始めてのトラブルで少しでも手がかりを…
的な情報で来てる筈。経験者の癖に知ったかぶりで断言するとか、何なの？
向うは、マジでトラブルでテンパってる可能性もあるからね。
冷静になれば、間違ってると分かる書込みでも、ウッカリ騙される事は在るからね。
スゲー迷惑行為をしてる、って自覚してほしいね。 10TB使用/24TB中で1回目は6日かかりました
メモリやCPUがほとんど使われず断続的にしか動いてませんでした
今朝気づいたのですがHDD接続用基板の4pinペリフェラル電源2本のうち1本が断線してたので
それが原因だったのかもしれません
今はCPU使い切って安定した速度が出ています
それでも100時間程度はかかりそうですが >>925
ZFSは別に回復中に再起動しようが平然と動くけど
再起動やシャットダウンのタイミングでディスクが死ぬ事はたまにあるから
進行してるのが確認出来るならほっとくのがいいぞ。
以前起きたことだが再起動したタイミングで電源ごとディスクが逝ったんで阿鼻叫喚だった。 うちは一度再起動時に ZFS 周りでエラーが出て
起動しなくなり、どうにもならなくなって
再構築したことがある。
エラーメッセージを調べても、復旧は難しいという
サイトが見つかるばかりだったので
見切りをつけてすぐに再構築したのだけど、
どんなエラーだったっけ‥忘れた。 最先端の技術者さんには笑われるかもしれんが
ファイルシステムは枯れていて欲しいので
家のFreeNASは古いバージョンのままufsで満足している >>935
UFSって冗長化されてるの？
HDDが1台死んだらリカバリできるの？ >>940
バターFSは単に昔ライセンスの問題でZFSがlinuxに移植できなかったら代用で作っただけでは？
機能も殆ど一緒だし、ZFSをlinuxに移植可能になった今、もう役割を終えている。
Redhatもサポート止めてるらしいし。 仮想化環境だとコピーオンライト（COW）機能があるファイルシステムの方が向いてるから
今旬の仮想化環境だとUFSは向いていないと思う
btrfs ZFSはCOWありだから仮想化には向いてる
ext4（OpenMediaVaultとか）は動画編集やメディアストリーミングやデータベースに向いてるし
RAID6以上を求めるならRAID-Z2 Z3のZFSが向いてるだろうし
自分が使う用途に合ったファイルシステムを選べばいいと思う
UFSが向いてる用途は思いつかないけど >>941
RAIDが組めるのかって話なら当然組めるぞｗ >>944
そうなの？
それでパフォーマンスがソコソコでるなら、全然UFSで良いじゃん。
俺も別にZFSが欲しかった訳じゃないけど、ver11には選択肢なかったしね。
もうある程度ノウハウ蓄積したから、今更ver8に戻ったりしないけど。 ソフトウェア方式は、
OS自身が普通のドライブコントローラ（IDE、SCSI、FC など）を通して複数台のディスクを管理する。
この方式はハードウェア方式と比較し、CPUへの負荷が高いが、
特別なハードウェアを購入する必要がなく導入コストが低いという利点がある[7]。
しかしながらアクセスコントロールの大半をOSやCPUに依存するため
マシンパワーを消費すること､物理的なキャッシュが存在しないため
ハード的な障害やソフトウェア側の障害発生に伴ってRAID情報に
致命的な問題を引き起こす可能性がハードウェア方式に比べて高いという欠点が存在する｡
Windowsは、RAID機能をサポートしている[9]。
Linuxは、カーネル2.4系以降にてRAID0/1/4/5/6をサポートしている[10]。
FreeBSDは、gmirrorというソフトウェアにてサポートしている[11]。
ファイルシステムのZFSはそれ自身にRAID機能をもち、
RAID5またはRAID6相当の機能としてそれぞれRAID-Z、RAID-Z2が実装されているんや WindowsのソフトウェアRAID5はパフォーマンスが出ないという評判だったが解消されたのかな？ Freenasを試験的に導入、運用して2年半経ちました。
その間にトラブルや何度かの障害、データリカバリを経験し、自信も出てきたので
本格運用に踏み切ろうかと考えています。
試験運用で、3TBx3台(RAIDZ1)だったのを4TBx8台にアップグレードしようかと計画しています。
その上で何か注意したほうが良い事ってありますでしょうか？ >>949
家庭での使用なら電気代だな！
4TBx8台ならHDDだけでアイドル時40W食う。 >>949
poolの空き容量とキャッシュのメタ情報に割り振りに気をつけてな
普通は自動でいいと思うけど
zfsに限らずRAIDでディスク台数増やすと各ディスクの回転待ち、シーク待ちの最悪値に引っ張られてレスポンスタイムが悪化する
zfsの場合poolの空き容量か少なくなると極端に細かいアクセスが増えて元々遅いファイル削除がフリーズしたようになる
fs のメタ情報がキャッシュに乗ってる分にはどうにかなるからチューニング次第 >>949
個人で使うならバックアップは必須。
チームで使うなら、いっそのことOneDrive 365なら１人あたり1Tだし、バックアップ入らずで、履歴機能もある。 レス数が950を超えています。1000を超えると書き込みができなくなります。
