Blog PCGS

MastodonインスタンスPCGamer Socialのブログです。

復旧済 | PCGS全体がまた利用できなくなっていました

運用のミスによりPCGSのWebUIおよび外部からの参照や投稿の受け取りなどが利用できなくなっていました。

また、Grafanaによる外形監視で検知はしたもののアラートが上がらなかったため対応が遅れました。

復旧は完了しましたが、障害発生中に他のサーバーから送信されたトゥートは各サーバーが再送信した時点でタイムラインに挿入されるので、しばらくタイムラインの時系列が乱れます。申し訳ありません。

なおローカルタイムラインに影響はありません。

期間

2019/07/14 08:38 ~ 同日 13:43

原因

Webサーバーをcaddyに切り替えたためcertbotによる自動起動を停止していたが実際にはnginxが起動して配信していた。 その後nginxに読み込まれていた証明書の期限が切れた。

SSL Handshakeが失敗した場合Grafanaによってアラートが上がるはずだったがなぜか上がらなかった

復旧手順

systemctl stop nginx
systemctl start caddy

対策

nginx自動起動の停止

systemctl disable nginx

Glafana

調査中


寝てました。なんとかします……。