
はじめに
Floci は Amazon Athena のエミュレーションをサポートしている.
Floci の README を読んでいたら In-process with DuckDB sidecar と書いてあって興味を持った❗️Floci で Amazon Athena の StartQueryExecution API を呼び出すと自動的に DuckDB コンテナが起動されるという仕組みになっているようだった.もちろん DuckDB だと完璧なエミュレーションにはならないけど多少の割り切りをしているのかな?と予想している😀
Floci x Amazon Athena のドキュメントもある.
さっそく試していく \( 'ω')/
準備
今回はサンプルデータとして TLC Trip Record Data の Yellow Taxi Trip Records (PARQUET) 2026 March を使う.
環境
- Floci 1.5.17
Amazon S3 にデータセットをアップロードする
Floci に Amazon S3 バケットを作って,TLC Trip Record Data からダウンロードした Parquet ファイルをアップロードする.
なお今回はパーティションは考慮せずに Amazon S3 バケット直下に直接 Parquet ファイルをアップロードする.
$ export AWS_ENDPOINT_URL=http://localhost:4566 $ export AWS_DEFAULT_REGION=ap-northeast-1 $ export AWS_ACCESS_KEY_ID=DUMMY $ export AWS_SECRET_ACCESS_KEY=DUMMY $ curl -O https://d37ci6vzurychx.cloudfront.net/trip-data/yellow_tripdata_2026-03.parquet $ aws s3api create-bucket \ --bucket taxi-trip-records \ --create-bucket-configuration LocationConstraint=ap-northeast-1 { "Location": "/taxi-trip-records" } $ aws s3api put-object \ --bucket taxi-trip-records \ --key yellow/yellow_tripdata_2026-03.parquet \ --body ./yellow_tripdata_2026-03.parquet { "ETag": "\"499308add281d0c51e3fe4c41f4f0d13\"", "ChecksumCRC64NVME": "nC/fAT+7Tcs=" }
Parquet ファイルのスキーマを確認する
念のため DuckDB で Parquet ファイルのスキーマを確認しておく.
⚫◗ DESCRIBE SELECT * FROM read_parquet('yellow_tripdata_2026-03.parquet'); ┌───────────────────────┬─────────────┬─────────┬─────────┬─────────┬─────────┐ │ column_name │ column_type │ null │ key │ default │ extra │ │ varchar │ varchar │ varchar │ varchar │ varchar │ varchar │ ├───────────────────────┼─────────────┼─────────┼─────────┼─────────┼─────────┤ │ VendorID │ INTEGER │ YES │ NULL │ NULL │ NULL │ │ tpep_pickup_datetime │ TIMESTAMP │ YES │ NULL │ NULL │ NULL │ │ tpep_dropoff_datetime │ TIMESTAMP │ YES │ NULL │ NULL │ NULL │ │ passenger_count │ BIGINT │ YES │ NULL │ NULL │ NULL │ │ trip_distance │ DOUBLE │ YES │ NULL │ NULL │ NULL │ │ RatecodeID │ BIGINT │ YES │ NULL │ NULL │ NULL │ │ store_and_fwd_flag │ VARCHAR │ YES │ NULL │ NULL │ NULL │ │ PULocationID │ INTEGER │ YES │ NULL │ NULL │ NULL │ │ DOLocationID │ INTEGER │ YES │ NULL │ NULL │ NULL │ │ payment_type │ BIGINT │ YES │ NULL │ NULL │ NULL │ │ fare_amount │ DOUBLE │ YES │ NULL │ NULL │ NULL │ │ extra │ DOUBLE │ YES │ NULL │ NULL │ NULL │ │ mta_tax │ DOUBLE │ YES │ NULL │ NULL │ NULL │ │ tip_amount │ DOUBLE │ YES │ NULL │ NULL │ NULL │ │ tolls_amount │ DOUBLE │ YES │ NULL │ NULL │ NULL │ │ improvement_surcharge │ DOUBLE │ YES │ NULL │ NULL │ NULL │ │ total_amount │ DOUBLE │ YES │ NULL │ NULL │ NULL │ │ congestion_surcharge │ DOUBLE │ YES │ NULL │ NULL │ NULL │ │ Airport_fee │ DOUBLE │ YES │ NULL │ NULL │ NULL │ │ cbd_congestion_fee │ DOUBLE │ YES │ NULL │ NULL │ NULL │ ├───────────────────────┴─────────────┴─────────┴─────────┴─────────┴─────────┤ │ 20 rows 6 columns │ └─────────────────────────────────────────────────────────────────────────────┘
AWS Glue にデータベースとテーブルを作る
次に AWS Glue にデータベース taxi とテーブル yellow_trips を作る.
$ aws glue create-database \ --database-input '{"Name":"taxi"}' $ aws glue create-table \ --database-name taxi \ --table-input '{ "Name": "yellow_trips", "TableType": "EXTERNAL_TABLE", "StorageDescriptor": { "Location": "s3://taxi-trip-records/yellow/", "InputFormat": "org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat", "OutputFormat": "org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat", "SerdeInfo": { "SerializationLibrary": "org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe" }, "Columns": [ {"Name": "vendorid", "Type": "int"}, {"Name": "tpep_pickup_datetime", "Type": "timestamp"}, {"Name": "tpep_dropoff_datetime", "Type": "timestamp"}, {"Name": "passenger_count", "Type": "double"}, {"Name": "trip_distance", "Type": "double"}, {"Name": "ratecodeid", "Type": "double"}, {"Name": "store_and_fwd_flag", "Type": "string"}, {"Name": "pulocationid", "Type": "int"}, {"Name": "dolocationid", "Type": "int"}, {"Name": "payment_type", "Type": "bigint"}, {"Name": "fare_amount", "Type": "double"}, {"Name": "extra", "Type": "double"}, {"Name": "mta_tax", "Type": "double"}, {"Name": "tip_amount", "Type": "double"}, {"Name": "tolls_amount", "Type": "double"}, {"Name": "improvement_surcharge", "Type": "double"}, {"Name": "total_amount", "Type": "double"}, {"Name": "congestion_surcharge", "Type": "double"}, {"Name": "airport_fee", "Type": "double"}, {"Name": "cbd_congestion_fee", "Type": "double"} ] } }'
ちなみに Amazon Athena でよく使う CREATE EXTERNAL TABLE でテーブルを作ることはできなさそうだった.実際に試したところ,Amazon Athena のクエリ結果に floci-duck execute returned HTTP 500: {\"status\":\"error\",\"message\":\"Parser Error: syntax error at or near \\\"CREATE\\\"\\n\\nLINE 1: COPY (CREATE EXTERNAL TABLE yellow_trips (\\n ^\"} と出ていた.
Amazon Athena でクエリを実行する①
まずはレコード件数を確認してみる👌 3952451 件だった.
$ aws athena start-query-execution \ --query-string "SELECT COUNT(*) FROM yellow_trips" \ --query-execution-context Database=taxi { "QueryExecutionId": "e5e2199a-bd6a-4c44-a379-e30b5433ecb8" } $ aws athena get-query-results \ --query-execution-id e5e2199a-bd6a-4c44-a379-e30b5433ecb8 { "ResultSet": { "Rows": [ { "Data": [ { "VarCharValue": "count_star()" } ] }, { "Data": [ { "VarCharValue": "3952451" } ] } ], "ResultSetMetadata": { "ColumnInfo": [ { "Name": "count_star()", "Type": "varchar" } ] } }, "UpdateCount": null }
ちなみに Amazon Athena のクエリ結果は floci-athena-results という Amazon S3 バケットに自動的にアップロードされていた.「マネージドクエリ結果 (Managed query results)」的な感じ?
Amazon Athena でクエリを実行する②
次は「乗車回数が多い乗車地点トップ10」を確認してみる👌
$ aws athena start-query-execution \ --query-string " SELECT pulocationid, COUNT(*) AS trips, ROUND(AVG(fare_amount), 2) AS avg_fare, ROUND(AVG(tip_amount), 2) AS avg_tip FROM yellow_trips GROUP BY pulocationid ORDER BY trips DESC LIMIT 10 " \ --query-execution-context Database=taxi { "QueryExecutionId": "de4e56c1-5bd3-4308-a3ad-77278b2d3a27" } $ aws athena get-query-results \ --query-execution-id de4e56c1-5bd3-4308-a3ad-77278b2d3a27 { "ResultSet": { "Rows": [ { "Data": [ { "VarCharValue": "PULocationID" }, { "VarCharValue": "trips" }, { "VarCharValue": "avg_fare" }, { "VarCharValue": "avg_tip" } ] }, { "Data": [ { "VarCharValue": "237" }, { "VarCharValue": "174403" }, { "VarCharValue": "13.8" }, { "VarCharValue": "2.63" } ] }, { "Data": [ { "VarCharValue": "161" }, { "VarCharValue": "165350" }, { "VarCharValue": "18.2" }, { "VarCharValue": "3.1" } ] }, { "Data": [ { "VarCharValue": "236" }, { "VarCharValue": "157296" }, { "VarCharValue": "14.61" }, { "VarCharValue": "2.61" } ] }, { "Data": [ { "VarCharValue": "132" }, { "VarCharValue": "153791" }, { "VarCharValue": "59.76" }, { "VarCharValue": "9.2" } ] }, { "Data": [ { "VarCharValue": "162" }, { "VarCharValue": "121946" }, { "VarCharValue": "16.94" }, { "VarCharValue": "3.08" } ] }, { "Data": [ { "VarCharValue": "186" }, { "VarCharValue": "121232" }, { "VarCharValue": "17.37" }, { "VarCharValue": "3.14" } ] }, { "Data": [ { "VarCharValue": "230" }, { "VarCharValue": "114682" }, { "VarCharValue": "20.39" }, { "VarCharValue": "3.28" } ] }, { "Data": [ { "VarCharValue": "142" }, { "VarCharValue": "111866" }, { "VarCharValue": "15.39" }, { "VarCharValue": "2.73" } ] }, { "Data": [ { "VarCharValue": "79" }, { "VarCharValue": "104033" }, { "VarCharValue": "18.38" }, { "VarCharValue": "2.09" } ] }, { "Data": [ { "VarCharValue": "234" }, { "VarCharValue": "103024" }, { "VarCharValue": "16.84" }, { "VarCharValue": "2.6" } ] } ], "ResultSetMetadata": { "ColumnInfo": [ { "Name": "PULocationID", "Type": "varchar" }, { "Name": "trips", "Type": "varchar" }, { "Name": "avg_fare", "Type": "varchar" }, { "Name": "avg_tip", "Type": "varchar" } ] } }, "UpdateCount": null }
裏側が DuckDB であることを確認する
docker ps コマンドを実行すれば floci-duck コンテナが起動していることを確認できる.
$ docker ps --format 'table {{.ID}}\t{{.Image}}' CONTAINER ID IMAGE 55d672287006 floci/floci-duck:latest 8ed4602b9269 floci/floci:1.5.17
さらに SELECT version() クエリを実行してみたところ v1.5.2 と返ってきた.現時点では DuckDB v1.5.2 ということだ🦆
$ aws athena start-query-execution \ --query-string "SELECT version()" \ --query-execution-context Database=taxi { "QueryExecutionId": "38bdf2bf-9fd4-4a76-a8cf-e0b3d4ad6e6d" } $ aws athena get-query-results \ --query-execution-id 38bdf2bf-9fd4-4a76-a8cf-e0b3d4ad6e6d { "ResultSet": { "Rows": [ { "Data": [ { "VarCharValue": "\"version\"()" } ] }, { "Data": [ { "VarCharValue": "v1.5.2" } ] } ], "ResultSetMetadata": { "ColumnInfo": [ { "Name": "\"version\"()", "Type": "varchar" } ] } }, "UpdateCount": null }
まとめ
Floci で Amazon Athena の StartQueryExecution API を呼び出すと自動的に DuckDB コンテナが起動されるという仕組みを試してみた❗️完璧なエミュレーションではないけど使えそうな場面があったら使ってみようと思う.
ちなみに LocalStack では Amazon Athena は Ultimate プランでサポートされていて,ちゃんと Presto を使ったエミュレーションになっている👏
To utilize the Athena API, LocalStack will download additional dependencies. This involves getting a Docker image of around 1.5GB, containing Presto, Hive, and other tools.