Amazon ES (Amazon Elasticsearch Service) で，例えば「アクセス許可 IP」を追加するなど「アクセスポリシー」を変更する場合，クラスタも再構築されてしまうため，待ち時間が長時間化したり，場合によっては再構築がエラーになって，クラスタが死んでしま…

出版されてから少し時間がたってしまったけど，「データ分析基盤入門」を読み終えた．ページ数が多く，持ち運ぶようなサイズではないので，家でちょこちょこ読み進める感じになってしまって，想定以上に時間がかかってしまった． データ分析基盤構築入門[Flu…

昨日は Elasticsearch をテーマに開催された CA.io に参加してきた．サイバーエージェントグループのマッチング系サービスが対象なのに，友情出演という形で，特別に LT をさせてもらった．楽しかった！ cyberagent.connpass.com 発表資料 タイトルは「Amazo…

PHP から Elasticsearch を操作するために Elastica というライブラリを使っている．今まで EC2 で運用していた Elasticsearch を Amazon ES に移行する話があり，Elastica から Amazon ES を操作するときに悩むことが多かったため，まとめておこうと思う． …

Aurora でスロークエリログを出力して，Fluentd 経由で Amazon Elasticsearch Service に転送する構成を作った．MySQL on EC2 のときは，サーバ内で直接スロークエリログを確認していて非常に面倒だったので（単なる運用上の考慮不足），運用面で大きく改善…

「Amazon Web Services Advent Calendar 2016」20日目の記事を書くぞー！ 最近 Amazon Elasticsearch Service を本番環境で運用していて，そこそこに運用経験がまとまったので，どこかで LT でもしようと思って先に発表資料だけを作っていたんだけど，年内に…

自動スナップショットと手動スナップショット Amazon Elasticsearch Service でクラスタのスナップショットを取得する場合，「自動スナップショット」と「手動スナップショット」の2種類がある． AWS 側で自動的に日次取得してくれるものを「自動スナップシ…

最近 Amazon Elasticsearch Service にログを転送している Aggregator の /var/log/td-agent/td-agent.log に以下のログが出力されていて，調査してわかった fluent-plugin-aws-elasticsearch-service を使う場合に必要な設定に関してまとめておく． 2016-10…

最近ずっと Amazon Elasticsearch Service の Kibana で変な事象に困っていて，現状すぐに解決する目処が立たなそうなため，ワークアラウンドで回避することにした．同じ事象に困る人もいそうだなと思って，簡単にまとめておこうと思う．もし AWS 側で解決し…

最近 Amazon Elasticsearch Service の記事をよく書いてる気がするw 開発用のログ基盤ではあるけど，実際に導入は完了していて，既に運用している．今回はインデックスを Curator でハウスキーピングできるようにした話を書いておく．基本的には Elasticsear…

Amazon Elasticsearch Service に含まれてる Kibana に対して IP ベースのアクセスポリシーを設定したいと思って検証していたが，うまくできなかった．うまくできなかったけど，試したことを残しておこうと思う．もしかしたら僕の調査不足なだけかもしれない…

Amazon Elasticsearch Service を試してみた 近々導入する可能性もあって，検証も兼ねて，先月に Elasticsearch 2 系に対応した Amazon Elasticsearch Service を試してみた． Elasticsearch domain を作成する 作成完了までのステップは計4個ある． Step 1:…

今日は楽しみにしてた「Elastic{ON} Tour 2015 in Tokyo」に参加してきた！ 刺激的な1日だった．キーノートはとにかく圧巻だったし，カスタマー事例は Elasticsearch を筆頭に ELK スタックの可能性が業種を選ばずここまで広がっているんだなというのを知る…

今日は「第12回 Elasticsearch 勉強会」に参加してきた！ せっかくの機会なので発表をさせて頂いたり，懇親会でいろんなお話をさせて頂いたりして，有意義な1日だった！ Elasticsearch 2.0.0 の話 Elasticsearch 2.0.0 の話を全然追えてなかったので凄く参考…

ローカルで Elasticsearch のインデックスを再作成する手順を試してみた． たまに読んでる The Definitive Guide に詳しく書かれているけど，一言で言うと「エイリアスを活用して，再作成したインデックスに向き先を変える」って感じ． CHAPTER 10. Index Ma…

社内で「Elasticsearch ハンズオン」を開催した！ ハンズオン資料 全て GitHub にまとめて，README.md を読みながら試せるようにした． 既に Elasticsearch を実戦投入して運用してる人からすると簡単過ぎるかもしれないけど，未経験なら絶対参考になるはず…

Elasticsearch のノード名はデフォルトだと "Iron Man" や "X-Man" などアメコミのキャラクター名が自動的に設定されるようになっていて，実際にコードを見たら2825種類の候補の中から選ばれるようになっていた． elasticsearch/names.txt at master · elast…

今日は Elasticsearch の勉強会に参加してきたー．凄く良かった！ 第11回elasticsearch勉強会 #elasticsearch #elasticsearchjpelasticsearch.doorkeeper.jp 先週金曜と土曜に続いての勉強会で参加しまくってるけど，先週はハンズオンともくもく会だったし，…

お土産で Elasticsearch のマフラーをした可愛いマスコットをもらったのでデスクに飾ってみた！ とは言え，今まで見たことないし，調べても出てこなかったので，つぶやいて見たところ，@johtani san からレスを頂いて「ヘラジカ（ELK）」であることが判明！…