Mackerel Meetup #11 に参加して,コンテナ関連の事例紹介をしてきた.参加レポートを書く!(全ての資料が公開されたら追記する予定)
The 2018 Mackerel Product Roadmap
- 最近リリースしたオススメ機能
- アクション支援
- プラグインレジストリ
- イベント通知
- キーボードショートカット
- 公開グラフ
- ロードマップ
- アラートグループ
- コンテナサポート
- カスタムダッシュボード V2
- 機械学習の活用
- Prometheus Affinity
非常にワクワクする発表だった.「コンテナサポート」はとにかく期待で,課金体型の見直しだけじゃなく,コンテナフレンドリーな仕組みでリリースされると良いなと思う.あと「カスタムダッシュボード V2」も気になる.
AWS で実現した Mackerel 時系列データ1分粒度長期保存の裏側
- Graphite → Diamond
- データストアは Redis / DynamoDB / S3
- IO コスト / レイテンシ / 容量コストの違いを意識して使う
- DynamoDB メインで,Redis はバッファ,S3 は長期保管用
- DynamoDB TTL で有効期限が切れるタイミングで Lambda を経由して S3 に保存する
- S3 に高頻度に書き込む
Diamond の話は何度聞いてもキレイなアーキテクチャだなと思う.データストアとして,Redis と DynamoDB と S3 を活用しているという話で,DynamoDB のアイテムに TTL を付与して,有効期限が切れるタイミングで Lambda を起動して,S3 に保存する.また,S3 に高頻度で書き込むときにも,キーを分散させたり,ウォームアップを申請したり,リクエスト数をモニタリングするなど,知見だった.
seesaa meets Mackerel
- オンプレ時代には独自のツールで監視をし,運用担当が張り付いていた
- 過去のメトリクスを残す作りになってなかったり,ツール自体の負荷が高くなったり
- Mackerel を導入して運用不可を
- Mackerel Day の事例紹介が刺さった
- プリンタなどのオフィス機器もモニタリングしている
Mackerel で ECS をどこまでモニタリングできるのか
今回「コンテナ関連の事例紹介をして欲しい」と話を頂いていたので,運用中の ECS モニタリングの話,そして今後の展望として Fargete モニタリングの話をした.勉強会のスケジュールが全体的に押していたので,遅れを取り戻すために超早口で話した結果,前提知識がないと理解が追い付かないような雰囲気になってしまって反省している.
そもそも「ECS 使ってる人はいますか?」と聞いたら半分以下で,そうなの?という気持ちだったし,ロードマップのところで「コンテナサポート」の発表があったので,新機能がリリースされたらオワコンになる事例に興味を持ってもらえるのだろうか?という感じで,直前で不安になったという背景もある.それでも懇親会では参考になったと言ってもらえたりして,救われた感がある.
発表の中でも紹介した「新 ECS モニタリング」の仕組みは以下の記事に詳しく書かれている.現在運用している仕組みは微妙な点が多くあるので,近々作り直したいなと思っている.
まとめ
- ロードマップは非常にワクワクする内容だった
- 特に「コンテナサポート」と「Prometheus Affinity」に期待
- ECS モニタリングの事例紹介をした
- 資料をしっかりと作ったので,少しでも参考になれば嬉しい
関連記事
公式ブログにレポートが出てる!
ElastiCache ではなくて Redis Cluster on EC2 で運用している理由も書かれてた!(懇親会で聞きたかったけど聞けなかった)去年末にオンラインリサイズ機能がリリースされてるから,ElastiCache 3.2.10 を使えば無停止にシャードを増やせるはず.
詳しくまとまってる!僕の発表は別記事に...?w