2022年12月15日（木）にbookendサービスで発生いたしました障害により、お客様ならびに関係の皆様には多大なご迷惑をお掛け致しました事、深くお詫び申し上げます。原因ならびに対策を下記のとおり報告させていただきます。

1.障害発生日時
2022年12月15日（木）17:30頃　～　同日18:30頃　（約1時間）

2.障害の内容
アイドックの管理するサーバ内で作動しているbookendサービスにおいて、外部からのリクエストに対して応答に非常に時間がかかっており、一部タイムアウトしてしまう状態でした。

3.影響範囲
障害によるサービスの影響範囲は以下の通りです。
＜bookendご契約社様の影響範囲＞
・bookendへのAPIリクエストの応答に非常に時間がかかる状態でした
・データの破壊等はありませんでしたが、かなりのAPIリクエストに対しレスポンスできない（タイムアウトエラーとなる）状態でした

＜bookendご利用ユーザーの影響範囲＞
●bookend-view（ブラウザ閲覧）
・問題なく閲覧できておりました

●bookendアプリ
・アプリケーション起動時にエラーが発生する場合がありました

4.障害発生からの経緯
2022年12月15日（木）
17:30 – bookend管理コンソールの処理が重い、bookendに送ったAPIのレスポンスが遅い等の症状を確認
18:00 – bookendご契約ユーザーに通知。bookend公式サイトに「お知らせ」を掲示
18:30 – 症状が改善。正常に動作していることを確認
19:25 – お客様へ復旧完了の連絡メールを送信

5.障害原因
17:20頃にbookendサーバが外部サーバに対してHTTPリクエストを行いましたが、その通信が何らかの原因でクローズされませんでした。その影響で後から実行されたHTTPリクエストもクローズされないままになり、サーバのリソースを徐々に圧迫してしまい、外部からのリクエストへのレスポンスにも非常に多くの時間がかかる状態となっておりました。

6.今回行った復旧対策
仮想サーバを追加し、該当サーバをロードバランサから外して再起動しました。

7.再発防止策
今回原因となったサーバリソースに関する監視項目を追加し、一定の値を超えた場合にアラートを出しようにしました。
アラートが出た場合、仮想サーバの追加および該当サーバをロードバランサから外し再起動するようにしました。