kakakakakku blog

Weekly Tech Blog: Keep on Learning!

DuckDB

DuckDB で CloudTrail 証跡をクエリする

AWS CloudTrail 証跡をアドホックにサクッと分析したいな〜という場面があって DuckDB を使ってみた もちろん AWS CloudTrail Lake や Amazon Athena を使う選択肢もあるけど,せっかく Amazon S3 にデータ (.json.gz) があるんだし,もっと気軽にクエリでき…

DuckDB で Hugging Face のデータセットにクエリを実行する

DuckDB で hf:// パスを使うと Hugging Face のデータセット (Parquet, CSV, JSON, JSONL など) にクエリを実行できるDuckDB のアナウンスを探したら2024年5月にリリースされていた❗️これは知らなかった.さっそく試していく \( 'ω')/ duckdb.org Hugging …

mcp-server-motherduck と DuckDB でデータ分析をしよう

普段から DuckDB を使う機会があって,少し前から気になっていた MotherDuck's DuckDB MCP Server (mcp-server-motherduck) を試してみることにした mcp-server-motherduck は MotherDuck に統合する機能だけでなく,シンプルにローカル環境の DuckDB を使っ…

GitHub Codespaces のストレージ使用率 90% !? DuckDB で GitHub Usage Report を分析する

最近 GitHub から以下のようなメールが届いていた✉️ [GitHub] You've used 75% of included services for the kakakakakku account [GitHub] You've used 90% of included services for the kakakakakku account GitHub Codespaces では毎月「コア時間」と「…

DuckDB で CUR 2.0 データをクエリする

AWS Data Exports でエクスポートした Cost and Usage Reports 2.0 (CUR 2.0) データを使って詳細な AWS コスト分析をする場合,よく聞く選択肢として Amazon Athena と Amazon QuickSight の組み合わせがある.個人的にクエリ部分で Amazon Athena を使わず…

DuckDB: SELECT * EXCLUDE で 一部のカラムを除外する

DuckDB in Action を読んでいたら,Chapter.3 に SELECT * EXCLUDE というシンタックスが出てきた.ほとんどのカラムが必要だけど,一部のカラムだけ除外したいときに使える.これは使える場面があるな〜と思って実際に試してみた❗️小ネタだけど検証ログを残…

DuckDB: bar 関数で棒グラフを作る

DuckDB in Action を読んでいたら,Chapter.1 / Chapter.10 に「bar 関数」が出てきた たくさん組み込み関数があるんだな〜と思って実際に試してみた❗️小ネタだけど検証ログを残しておく✍ ちなみに DuckDB のドキュメントだと Text Functions のページに載っ…