Digdag を学ぶのに最高な「データ分析基盤構築入門」を読んだ

出版されてから少し時間がたってしまったけど，「データ分析基盤入門」を読み終えた．ページ数が多く，持ち運ぶようなサイズではないので，家でちょこちょこ読み進める感じになってしまって，想定以上に時間がかかってしまった．データ分析基盤構築入門[Flu…

2017-11-05

fluent-logger-golang を使って Go で Fluentd にログを転送する

Fluentd Go

Fluentd でログを収集する場合，例えば nginx のアクセスログであれば in_tail で転送したりするけど，アプリケーションログなら選択肢として in_tail だけじゃなくて in_forward もある．アプリケーションから直接 Fluentd にログを転送できる in_forward …

2017-02-23

Aurora のスロークエリログを Fluentd 経由で Amazon Elasticsearch Service に転送する

Aurora Fluentd Elasticsearch

Aurora でスロークエリログを出力して，Fluentd 経由で Amazon Elasticsearch Service に転送する構成を作った．MySQL on EC2 のときは，サーバ内で直接スロークエリログを確認していて非常に面倒だったので（単なる運用上の考慮不足），運用面で大きく改善…

2016-10-29

fluent-plugin-aws-elasticsearch-service を使う場合は reload_connections を false にする

AWS Elasticsearch Fluentd

最近 Amazon Elasticsearch Service にログを転送している Aggregator の /var/log/td-agent/td-agent.log に以下のログが出力されていて，調査してわかった fluent-plugin-aws-elasticsearch-service を使う場合に必要な設定に関してまとめておく． 2016-10…

2016-09-26

mackerel-plugin-fluentd を使うなら "[at]id" を指定するべし

Mackerel Fluentd

タイトルに @id を書いておくと Twitter でメンションが飛んでしまうため [at]id に修正しました前置き mackerel-plugin-fluentd を使うと，Fluentd のメトリクス（バッファサイズ／リトライカウントなど）を Mackerel のカスタムメトリックにポストするこ…