今月も参加してきました。
会場は DMM.com のオフィスでした。毎度ありがとうございます!
CircleCIのインシデントレポートを読む
CircleCIで約2週間に渡って不安定な状態が続いていた障害についてレポートが公開されているので、これを読んで学びを得ようと思いました。
雑なメモ(雑な訳)
- 2019-03-26から2019-04-10の間、CircleCIのプラットフォームは不安定になりダウンタイムも発生。これはビルドのキューを支えるデータストア(=MongoDB)の問題によるもの。
- これにより、ジョブやワークフローが上手く処理できなくなった。また、パブリックAPIのデグレードをももたらした。(デグレードっていい日本語無いですかね?)
- 障害が発生した同時期にJVMのマイナーバージョンアップを行ったが、その中にDockerについての対応が含まれていた
- たぶんこれ https://bufferings.hatenablog.com/entry/2018/11/11/114534
- この影響でサービスの大部分でスレッド数、コネクションプール、スループットが減少していた
- Docker対応をdisableにしたらスレッド数が40%増加した
- 時間をおいて再びMongoDBに問題発生
- このことより一連のインシデントにおいてJVMのバージョンアップは主な原因ではないと認識した
と、まだ全体の三分の一程度しかレポートを読めていませんが、長期に渡ってインシデントが続いたので問題が複雑そうな感じがします。
その他
他の参加者のもくもく内容を聞いて、某中の人と繋げられそう、ということで早速連絡を取ってみることに。来月辺りにお知らせができたら嬉しいです。
懇親会
r.gnavi.co.jpグランピング気分が味わえるということで女性客やデートのお客さんが多い中、Rubyおじさん御一行で一次会!料理は全般的に美味しかったです。席が隣になった @yu_kgr さんと結構喋ってた記憶。オフラインならではの内容が多かった気がしますw あとは恒例のキャンプ話とかポッドキャスト話とか。