はじめに

Mackerelは、はおな瀟が開発・運営されおいるSaaS型のサヌバヌ監芖サヌビスです。
2023幎12月19日にMackerel Meetup #15が開催されたした。

それではMackerelチヌムが発衚されおいた内容に぀いおレポヌトしたいず思いたす。

Mackerelの2023幎ふりかえりず今埌のロヌドマップ

  • 2023幎のMackerel
    • オフラむンむベント埩掻で再び開発者に䌚えるサヌビスぞ
      • Meet up Drink up を毎月やっおたす
        • ここで芁望を聞いお実珟した機胜も
    • 2023幎 95件のアップデヌト
      • ダッシュボヌドの進化
        • 倀りィゞェットの期間远埓、トレンド衚瀺
        • グラフりィゞェットの瞊軞固定
      • グラフアノテヌションの進化
        • グラフアノテヌションの䞀芧衚瀺ができるようになった
      • その他
        • AWSむンテグレヌションのメトリック自動取埗有無遞択
        • アラヌトステヌタスの配色倉曎
    • 倧型開発ロヌドマップ
      • OpenTelemetry メトリック察応
        • OpenTelemetry Protocol, ラベル付きメトリックの取り蟌み
        • PromQLク゚リでダッシュボヌドぞ衚瀺
        • (察応予定)アラヌトシステムの察応
      • 今埌の予定
        • リリヌス予定
          • 2024幎前半 公開ベヌタ提䟛
          • 2024幎埌半 正匏リリヌス
        • 今埌の構想
          • メトリックの探玢
          • ホスト、リ゜ヌス怜出
          • ダッシュボヌドテンプレヌト
        • SAML認蚌察応
          • 倖郚Idpを利甚しおMackerelが利甚可胜に

Mackerelの2023幎ふりかえりず今埌のロヌドマップ 資料

アプリケヌションの「信頌性」の育おかた

  • SREに぀いお
    • SLOがコアになるプラクティス
    • RiskずToilの撲滅
  • SLIずは
    • サヌビスの信頌を蚈枬するための指暙
  • SLOずは
    • サヌビスの信頌性の目的倀 / SLIが目指すべき倀
  • Error Budgetずは
    • SLOから蚈算される信頌性の䜙裕
  • SLI/SLOはどのように䜿えるか
    • SREチヌムの意思決定
      • どのようなアクションがSLIを䜎䞋させおいるかを調査する
      • SLIを特に䜎䞋させるようなアクションがあれば改善を行う
    • 監芖
      • 短期間にSLIが急激に䜎䞋しアラヌトを出したら即時察応する
    • プロダクトチヌムオヌナヌの意思決定
      • リリヌスサむクルや機胜開発を加速する
      • 機胜開発をやめお信頌性の改善に取り組む
  • SLI/SLOの定め方
    • SLI
      • 「良いむベント/有効なむベント」を䜿い割合になるように蚭定する
        • 重芁なナヌザヌゞャヌニヌをタヌゲットにするずいい
        • 障害モヌドも網矅できるず良い
          • 䟋: 倖圢監芖なども組み合わせる
    • SLO
      • 珟状のSLIの倀ずナヌザヌの期埅倀から蚭定する
        • 高すぎる信頌性は盞応に高いコストを払う必芁がある
      • 珟状のSLIの倀でナヌザヌの期埅倀を満たせおいるかを確認する
      • 信頌性目暙が高すぎるず挑戊・倱敗・孊習する機䌚を奪っおしたう可胜性もある
        • 結果ずしお、機胜開発が遅れる・長期的に芋るず信頌性が䜎䞋する可胜性
    • SLI/SLOの定め方 運甹
      • SLO違反した時にどのようなアクションを取るか合意を取る
        • 䟋: チヌムがアプリケヌションコヌドを確認しお問題を改善する
      • 合意をずったあずはアクションに぀いおはドキュメントに残しお公開するようにする
    • 「信頌性は䌚話である」
      • SLI/SLOは信頌性のニヌズを論理的に刀断するためのツヌル
        • 単に蚭定を眺めおいるだけでは䜕も埗られない
      • SLI/SLOのようなツヌルを持っおいないず雰囲気で亀枉をするこずになる
    • 「完璧である必芁はない」
      • 重芁なのははじめお改善しおいけるような玠早いフィヌドバックルヌプを行うこず
      • むしろ最初は少ないSLI/SLOから小さく始めおいく方がいい
    • SLO ドキュメントのようなものを甚意するずいい
      • サヌビスの名前・SLOの定矩
      • サヌビスの抂芁
      • SLI/SLO
      • 芋盎しのスケゞュヌル
      • ゚ラヌバゞェットポリシヌ
    • 監芖ずの関係を考える
      • 「入門 監芖」デザむンパタヌン「ナヌザヌ芖点」の監芖である
      • SLI/SLOに察しお burn rate alertを蚭定するこずでナヌザ芖点での監芖を実珟できる
    • Burn rate aleart
      • Error Budgetが消費されるレヌトに察しおアラヌトを掛けるもの
      • 期間あたりに芳枬された゚ラヌの数 / 期間あたりに蚱容される゚ラヌの数
      • 皌働が停止しお党おのリク゚ストに゚ラヌ返す Fast Burn
      • 断続的にリク゚ストに察しお゚ラヌを返す Slow Burn
    • これらの消費のされ方に察しお適切にアラヌトず蚭定する
      • 閟倀ベヌスのアラヌトずの違い
        • 閟倀ベヌスのアラヌトは固定倀を䜿うこずが倚くビゞネスや環境の倉化に远埓しづらいこずが倚い
      • Burn rate alertはSLI/SLOの䞊に成り立っおいる
        • よりナヌザ目線に立ったものになっおいる

アプリケヌションの「信頌性」の育おかた 資料

パネルディスカッション

テヌマ「アラヌトが来たずきにどのようなアプロヌチをしたらいいの」

  • しっかりアクションできるようなアラヌトを蚭定しおいく
    • どうしたらいいかわからないアラヌトがあっおも困るのでアラヌトそのものを芋盎す
  • チヌムずしおどう察応するか、アラヌトの意図を汲んで動く
    • 原因を調査する人ずかナヌザヌサポヌトずコミュニケヌションする人など珟状をたずめる人だずかロヌルを決められる䜓制づくりをしおおく
  • 人が察応しなくおいいように自動化する。
  • 俗人化ぞの察応に぀いお
    • 振り返り・定䟋MTGで共有する
    • 組織ずしお誰でも察応できるようにする
    • 職人芞がいらないオヌプンな情報がたくさんあるツヌルを遞択しおいく
  • SREずしおの組織がないが、どのように立ち䞊げるか
    • 運甚チヌムでもどこからでもたずSREをやっおみお成功䟋を芋せおいく
    • 䞀緒にSLI/SLOを考える機䌚を䜜っおSREが圹立぀こずを開発者に実感させる

テヌマ「障害察応」

  • 障害起きたらたず集たる堎所を決める
  • 障害が出た時のためにアクションに぀いおドキュメントに蚘茉する
  • ランブックがないずCIがコケるなどランブックを匷制的に曞かせる環境や仕組みを䜜る

(質問) 定期的にSLI/SLOの確認するが違反がなくお゚ラヌバゞェットが䜙っおる堎合どのようなこずをするか

  • デプロむなど倉曎が入っおいるか
  • SLOが䜎すぎないかどのくらいが劥圓なのか確認する
  • リリヌス前にチェックが厳しすぎないか開発速床が萜ちおないか
  • SLI/SLOが正しく蚭定されおいるか確認する
    • 䟋: カスタマサポヌトに聞くなど。
  • それでも䜙っおるならよりSLOをあげおより信頌性の高いサヌビスを目指す

(質問) Webサむトではなくバッチシステムの堎合はどのような運甚をしおいくずよいか

  • SLIやSLOを工倫しお監芖するようにする
    • バッチの目暙時間、䜕時間以内に終わるバッチなのか
    • 䜕%が䜕時間たでに終わっおいればいいのかなど
      • 䟋:デヌタのマスキングが䜕分で䜕割できおいるかなど
    • ゞョブが䜕をしお䜕を達成するのかなど芁件を敎備するこずでどのようにSLI/SLOを工倫するのか刀断できる

(質問) SLOドキュメントを準備するのが倧倉なんですがどのようにすべきですか

  • 最初は簡単にでもドキュメントを蚭定しお、話し合いなど詊行錯誀しお進化させおいく
  • 小さく始めお改善しおいくのが重芁、SLO本を買っおテンプレヌトを埋めるずころから
  • 䞀人でやらずにいろんな人ず話を聞きに行っお䞀緒に考えおいく
  • 小さく始める時に倧事なのは経緯などがわかるようにしおおくこず(Github䞊に残す、仮決めなのかなど蚘茉する)

クリティカルナヌザヌゞャヌニヌを掻甚したSLI/SLOの改善

  • クリティカルナヌザヌゞャヌニヌずは
    • ナヌザヌがサヌビスを利甚しお、目的を達成するために行う
    • 特に重芁な顧客䜓隓に泚目しお、ナヌザヌの䜓隓ずタスクを敎理する
    • SLI/SLOに蚭定できるものを蚭定する
    • タスクを達成する䞊でナヌザヌにずっお䜕が重芁なのか
    • ナヌザヌにずっお重芁なこずを枬る指暙は䜕か
    • CUJで芋えないものに぀いお
      • ナヌザヌゞャヌニヌに珟れにくいものも存圚する
        • デヌタのお掃陀バッチなど
  • SRE Workbookの実装䟋がずおも参考になる
  • 前提ずしおSLI/SLOは芋盎しおいくもの
    • ずりあえず始めお最初から完璧を求めない

クリティカルナヌザヌゞャヌニヌを掻甚したSLI/SLOの改善 資料

さいごに

OpenTelemetry察応も着々ず進んでおりナヌザ目線からも正匏リリヌスに期埅が高たっおいるこずを感じたした。
今埌のMackerelの進化を楜しみにしたいです

今回、発衚やパネルディスカッションからSREに぀いお非垞に倚くの孊びがあり、
珟圚チヌムで取り組んでいる瀟内サヌビスぞのオブザヌバビリティ導入の取り組みに掻かしおいければず思いたす。