Fluentd

Fluentd / Embulk / Elasticsearch / Digdag を学ぶのに最高な「データ分析基盤構築入門」を読んだ

出版されてから少し時間がたってしまったけど,「データ分析基盤入門」を読み終えた.ページ数が多く,持ち運ぶようなサイズではないので,家でちょこちょこ読み進める感じになってしまって,想定以上に時間がかかってしまった. データ分析基盤構築入門[Flu…

fluent-logger-golang を使って Go で Fluentd にログを転送する

Fluentd でログを収集する場合,例えば nginx のアクセスログであれば in_tail で転送したりするけど,アプリケーションログなら選択肢として in_tail だけじゃなくて in_forward もある.アプリケーションから直接 Fluentd にログを転送できる in_forward …

Aurora のスロークエリログを Fluentd 経由で Amazon Elasticsearch Service に転送する

Aurora でスロークエリログを出力して,Fluentd 経由で Amazon Elasticsearch Service に転送する構成を作った.MySQL on EC2 のときは,サーバ内で直接スロークエリログを確認していて非常に面倒だったので(単なる運用上の考慮不足),運用面で大きく改善…

fluent-plugin-aws-elasticsearch-service を使う場合は reload_connections を false にする

最近 Amazon Elasticsearch Service にログを転送している Aggregator の /var/log/td-agent/td-agent.log に以下のログが出力されていて,調査してわかった fluent-plugin-aws-elasticsearch-service を使う場合に必要な設定に関してまとめておく. 2016-10…

mackerel-plugin-fluentd を使うなら "[at]id" を指定するべし

タイトルに @id を書いておくと Twitter でメンションが飛んでしまうため [at]id に修正しました 前置き mackerel-plugin-fluentd を使うと,Fluentd のメトリクス(バッファサイズ/リトライカウントなど)を Mackerel のカスタムメトリックにポストするこ…

Dummer を使ってみた

検証環境で Fluentd の評価したかったので,どう進めようか悩みながら「ログ収集〜可視化編」を眺めてたら sonots/dummer · GitHub っていう Gem を見つけたのでさっそく使ってみた. サーバ/インフラエンジニア養成読本 ログ収集~可視化編 [現場主導のデー…