レポートを書くのが遅れて開催から既に1週間たってしまったけど，8/31 に「Hatena Engineer Seminar #6 〜インフラ編〜」に参加してきた．抽選倍率5倍以上の人気勉強会だったから参加できて良かった！あと東京オフィス（青山）にはじめてお邪魔した！

既に開発者ブログで発表資料が公開されている．

はてなのログ運用これまでとこれから / id:wtatsuru

access_log / error_log / app_log を扱っている
構成図
- access_log
  - rsyslog で飛ばしてストレージサーバに保存する（grep など雑に分析する）
  - ウェブサーバから S3 に飛ばして二重化してバックアップしている（EMR / BigQuery で分析する）
    - EMR を捨てて Embulk + BigQuery に移行中
ベストエフォートでログ転送をしている
- 100 SLA が求められる場合は別途設計して考える
Mackerel にメトリクスを飛ばしたり Elasticsearch + Kibana を使ったりしている

最近 Fluentd + Amazon ES + Amazon ES Kibana を使ったログ基盤を再構築していることもあって，似てるなーと思いながら聞いていた．access_log を2系統に飛ばして冗長化しているのは真似しようと思った．ただログ基盤って側面で考えると，構成図は結構カオスなのでは？と思ったりもした．最初に話があった通り，サービス運用で10年以上の歴史があるからこその複雑さだとは思うけど，分析やモニタリングをすることを考えると，もう少し統一的な整理が必要そう．

はてなのサーバプロビジョニングについて / id:hagihala

プロビジョニング（物理）
プロビジョニング（仮想）
まだ chef-solo を使っている
- パフォーマンスの課題があって使い続けている
リポジトリ名 : chef-repo2（mainline のブランチ名は staging）
Mackerel の Role と Chef の Role を紐付けて管理している
独自の knife-saba コマンドを使ってプロビジョニングができる
Packer を使って AMI を作っている

Chef と Mackerel を紐付けて運用するアイデアは興味深くて，もう少し踏み込んだ事例を聞いてみたかったなー！と思う．Chef attributes は仕様自体がカオスって話は同意だけど，特段 Chef の学習コストが高いとは思わないし，Chef 普通に良いのでは派．Serverspec などのインフラ CI は特にやってないらしく，ちょっと意外だった．

MySQL運用とらぶるすとーり〜² / id:ichirin2501

インフラの仕事ってイベント駆動では？
テーブルの行数制限
- Rows : 4294967295
- MySQL 4.0 & MyISAM → MySQL 5.1 & InnoDB にアップグレード
- configure オプションを見る習慣を
- 多段階スレーブ (4.0/5.0/5.1) と段階的なリリースで切り替え完了
binlog 破損
- バイナリを読んで復旧した

面白かったー！僕はバイナリ読めません...！普通に考えてツライ話なのに楽しそうに障害対応してる姿が想像できた．圧巻の技術力！！！

アプリケーションエンジニアからみたはてなのインフラの話 / id:KGA

エンジニア分類
- アプリケーションエンジニア
- インフラエンジニア（サービス横軸）
- セールスエンジニア（Mackerel 専任）
アプリケーションエンジニアから Chef リポジトリに PR を投げたりする
- レビューしてくれて勉強になる
インフラ担当と雑談する
- 最近流行ってるミドルウェアを試す
- ジワジワと負荷が上がってることを情報共有する
PWG（パフォーマンスワーキンググループ）
- サービス関係者が定期的に集まって情報交換をする会
  - Mackerel のグラフを見たり
  - これ使ってみたいんだけどどう？

雑談は重要！僕も最近似たような課題感があって，PWG に似た会を定期的に開催しているから納得感があった．

東京にいながら仕事のほとんどを京都のエンジニアと一緒にしている私のリモートワークの話 / id:dekokun

チームリーダーなのに東京でリモートワークをしている
Toil など SRE 本に載ってる区分で日報を書いている
毎日終業前に Slack Call で雑談する
1 on 1 を実施している

メンバーとうまく信頼関係が築けているからこそうまく機能してるんだろうなー！と感じた．Slack Call で雑談したりするのも組織的なモチベートを考えると重要．SRE 本に沿って日報を書くのは良かった．是非真似したいところ．SRE 本全然読めてないんだけど...！

セールスエンジニアとして今後身につけていきたい技術 / id:a-know

セールスエンジニアの仕事
- ハンズオンセミナー
- プリセールス
- テクニカルサポート
自鯖で Mackerel を契約して使っている
- テクニカルサポートで再現環境にもなる

セミナーを開催したり，テクニカルサポートを続けることによって，プロダクトの評価を大きく変えることができるし，セールスエンジニアって仕事は難しくもあり，担ってる責任も大きく，素晴らしいなと感じた．テクニカルサポート，デベロッパーアドボケイト，DevRel など関連する役職が最近話題になるけど，個人的にも凄く興味がある．人に教えることが好きな性格だし，情報をアウトプットすることも好きだし，何よりもテクノロジーが好きだから，もっと話聞いてみたい！あと自鯖がガチ構成！w

まとめ

10年以上の歴史的経緯がある中で，安定的にサービスを運用してきた話やチームの話が聞けて良かった．今回の話を聞くと，一般的によく聞く構成だったり，MySQL のバージョンが古かったりもしたけど，開発者ブログを見ると先進的な技術も採用してるようだし，7月にあった技術大会も面白かったし，まだまだ話せるインフラ系のネタがたくさんありそうだなと思った．継続的に開催されるらしいし期待！

あと Web オペレーション職を募集してるとのこと！うおおおお！

hatenacorp.jp

懇親会では id:Songmu さんと id:a-know さんとお話することができて感動！！！もっと Mackerel を使っていきたいと思ってるので，引き続きよろしくお願いします :)