Fluentd

Aurora のスロークエリログを Fluentd 経由で Amazon Elasticsearch Service に転送する

Aurora でスロークエリログを出力して,Fluentd 経由で Amazon Elasticsearch Service に転送する構成を作った.MySQL on EC2 のときは,サーバ内で直接スロークエリログを確認していて非常に面倒だったので(単なる運用上の考慮不足),運用面で大きく改善…

fluent-plugin-aws-elasticsearch-service を使う場合は reload_connections を false にする

最近 Amazon Elasticsearch Service にログを転送している Aggregator の /var/log/td-agent/td-agent.log に以下のログが出力されていて,調査してわかった fluent-plugin-aws-elasticsearch-service を使う場合に必要な設定に関してまとめておく. 2016-10…

mackerel-plugin-fluentd を使うなら "[at]id" を指定するべし

タイトルに @id を書いておくと Twitter でメンションが飛んでしまうため [at]id に修正しました 前置き mackerel-plugin-fluentd を使うと,Fluentd のメトリクス(バッファサイズ/リトライカウントなど)を Mackerel のカスタムメトリックにポストするこ…

Dummer を使ってみた

検証環境で Fluentd の評価したかったので,どう進めようか悩みながら「ログ収集〜可視化編」を眺めてたら sonots/dummer · GitHub っていう Gem を見つけたのでさっそく使ってみた. サーバ/インフラエンジニア養成読本 ログ収集~可視化編 [現場主導のデー…