2023年7月の記事一覧

TrueNAS が起動しなくなった

投稿日時 : 2023/07/01

TrueNAS が起動しなくなりました！！

failed to reclaim memory というメッセージを出して、プロセスが死んでしまいます。Kernel は生きてるらしく、Ping には応答するんですが、sh すら起動しないので、なーんにもできません。

この TrueNAS、VMware のストレージにしてるので、仮想マシンの構成ファイルを抱き込んだまま起動できなくなるとかいう、最悪な状態。

さーて、どうしたもんか。

試行錯誤する中で、物理メモリが食いつぶされてることがわかりました。

TrueNAS のダッシュボードにある、メモリ使用率の画面です。物理メモリ 16GB を積んでるんですが、全容量が Services で食いつぶされてます。Cache だったらまだわかるんですが、Services で食いつぶす。はて？

この Services、ってなんじゃらほい？ということなんですが・・・・・よくわかりません。おそらくは Kernel とか Userland とかのシステム領域かな？と思います。そんなもんが 12GB も？？異常ですね

ちなみに、この画面を表示したあと、Web サービスも死んでしまい、計測できなくなりました。

エラーメッセージ、failed to reclaim memory ってなんじゃらほい？そのまま訳すと「メモリを取り戻すことに失敗しました」

メモリ不足でプロセスが死ぬときは、out of swap というエラーが出るはず。ということは、Swap を含めてメモリ容量を食いつぶしてるわけではない？

どうやら、Swap を含めたメモリ容量を使いつぶしたわけではなく、物理メモリが食いつぶされてる状態で Userland プロセスを動かしたいから、Swap 領域からメモリを戻そうとしたんだけど、物理メモリを奪い取れないからどうしようもなくプロセスが死んだ。とそんなシナリオではないかと。

はて？Swap があるんだから、どーしても必要なプロセスを動かすには、ほかの領域を Swap に追い出して必要なプロセスを走らせるのでは？？

そういう動作をしないってことは、Swap 不可な領域ばっかりになってるってことか？

Swap 不可な領域ってことは、おそらく Kernel のメモリ領域。ZFS か！

ということで、ZFS の Kernel 領域がメモリを食いつぶしてるのではないかと思われます。ふつー、こういう起動不能なんて状態は致命的なんで、起こらないように制限とかかけてあるはずなんですが、パフォーマンスを出すためとか、そんな感じの理由で制限を外してるんでしょうね。

おそらくこんなことが起こったのではないかと

FreeBSD ともあろうものが、起動もできなくなって復旧処置ができなくなるようなものを作るか？？

といういうわけで、これは TrueNAS の固有現象だろうと推測。つまり、オリジナルの FreeBSD Kernel なら正常に起動できるのでは？

というわけで、FreeBSD を起動してデータ領域をマウントしてみる。

実際には、別の HDD をつないで、そこにインストールしてやったんですが、LiveCD とか、インストールメディアの Shell でもできそう。

なんとかして FreeBSD を起動する
zpool import pool-Data
- pool-Data は TrueNAS で作ってた Pool 名
- import コマンドは1時間くらいかかる
LiveCD の場合、マウントポイントが作れなくてマウントエラーになるので mount -t zfs pool-Data /mnt を実行
マウントできてることを確認

こんな感じでファイルシステムにアクセスできるようにする。

この段階で ZFS 領域のチェック的なものは終わってるので、FreeBSD を reboot して、本来の TrueNAS を起動すれば、正常に起動できる。

念のため、Reboot する前に、データ領域のファイルを救出しておくべきでしょう。

あと、間違ってもここで電源を引っこ抜いたりしないように、FreeBSD から Unmount しないと、何のために復旧作業やったのかわからなくなります。