kakakakakku blog

Weekly Tech Blog: Keep Learning!

DuckDB と連携した Floci の Amazon Athena エミュレーションを試す

はじめに

Floci は Amazon Athena のエミュレーションをサポートしている.

Floci の README を読んでいたら In-process with DuckDB sidecar と書いてあって興味を持った❗️Floci で Amazon Athena の StartQueryExecution API を呼び出すと自動的に DuckDB コンテナが起動されるという仕組みになっているようだった.もちろん DuckDB だと完璧なエミュレーションにはならないけど多少の割り切りをしているのかな?と予想している😀

Floci x Amazon Athena のドキュメントもある.

github.com

さっそく試していく \( 'ω')/

準備

今回はサンプルデータとして TLC Trip Record Data の Yellow Taxi Trip Records (PARQUET) 2026 March を使う.

www.nyc.gov

環境

  • Floci 1.5.17

Amazon S3 にデータセットをアップロードする

Floci に Amazon S3 バケットを作って,TLC Trip Record Data からダウンロードした Parquet ファイルをアップロードする.

なお今回はパーティションは考慮せずに Amazon S3 バケット直下に直接 Parquet ファイルをアップロードする.

$ export AWS_ENDPOINT_URL=http://localhost:4566
$ export AWS_DEFAULT_REGION=ap-northeast-1
$ export AWS_ACCESS_KEY_ID=DUMMY
$ export AWS_SECRET_ACCESS_KEY=DUMMY

$ curl -O https://d37ci6vzurychx.cloudfront.net/trip-data/yellow_tripdata_2026-03.parquet

$ aws s3api create-bucket \
    --bucket taxi-trip-records \
    --create-bucket-configuration LocationConstraint=ap-northeast-1
{
    "Location": "/taxi-trip-records"
}

$ aws s3api put-object \
    --bucket taxi-trip-records \
    --key yellow/yellow_tripdata_2026-03.parquet \
    --body ./yellow_tripdata_2026-03.parquet
{
    "ETag": "\"499308add281d0c51e3fe4c41f4f0d13\"",
    "ChecksumCRC64NVME": "nC/fAT+7Tcs="
}

Parquet ファイルのスキーマを確認する

念のため DuckDB で Parquet ファイルのスキーマを確認しておく.

⚫◗ DESCRIBE SELECT * FROM read_parquet('yellow_tripdata_2026-03.parquet');
┌───────────────────────┬─────────────┬─────────┬─────────┬─────────┬─────────┐
│      column_name      │ column_type │  null   │   key   │ default │  extra  │
│        varchar        │   varchar   │ varchar │ varchar │ varchar │ varchar │
├───────────────────────┼─────────────┼─────────┼─────────┼─────────┼─────────┤
│ VendorID              │ INTEGER     │ YES     │ NULL    │ NULL    │ NULL    │
│ tpep_pickup_datetime  │ TIMESTAMP   │ YES     │ NULL    │ NULL    │ NULL    │
│ tpep_dropoff_datetime │ TIMESTAMP   │ YES     │ NULL    │ NULL    │ NULL    │
│ passenger_count       │ BIGINT      │ YES     │ NULL    │ NULL    │ NULL    │
│ trip_distance         │ DOUBLE      │ YES     │ NULL    │ NULL    │ NULL    │
│ RatecodeID            │ BIGINT      │ YES     │ NULL    │ NULL    │ NULL    │
│ store_and_fwd_flag    │ VARCHAR     │ YES     │ NULL    │ NULL    │ NULL    │
│ PULocationID          │ INTEGER     │ YES     │ NULL    │ NULL    │ NULL    │
│ DOLocationID          │ INTEGER     │ YES     │ NULL    │ NULL    │ NULL    │
│ payment_type          │ BIGINT      │ YES     │ NULL    │ NULL    │ NULL    │
│ fare_amount           │ DOUBLE      │ YES     │ NULL    │ NULL    │ NULL    │
│ extra                 │ DOUBLE      │ YES     │ NULL    │ NULL    │ NULL    │
│ mta_tax               │ DOUBLE      │ YES     │ NULL    │ NULL    │ NULL    │
│ tip_amount            │ DOUBLE      │ YES     │ NULL    │ NULL    │ NULL    │
│ tolls_amount          │ DOUBLE      │ YES     │ NULL    │ NULL    │ NULL    │
│ improvement_surcharge │ DOUBLE      │ YES     │ NULL    │ NULL    │ NULL    │
│ total_amount          │ DOUBLE      │ YES     │ NULL    │ NULL    │ NULL    │
│ congestion_surcharge  │ DOUBLE      │ YES     │ NULL    │ NULL    │ NULL    │
│ Airport_fee           │ DOUBLE      │ YES     │ NULL    │ NULL    │ NULL    │
│ cbd_congestion_fee    │ DOUBLE      │ YES     │ NULL    │ NULL    │ NULL    │
├───────────────────────┴─────────────┴─────────┴─────────┴─────────┴─────────┤
│ 20 rows                                                           6 columns │
└─────────────────────────────────────────────────────────────────────────────┘

AWS Glue にデータベースとテーブルを作る

次に AWS Glue にデータベース taxi とテーブル yellow_trips を作る.

$ aws glue create-database \
    --database-input '{"Name":"taxi"}'

$ aws glue create-table \
    --database-name taxi \
    --table-input '{
        "Name": "yellow_trips",
        "TableType": "EXTERNAL_TABLE",
        "StorageDescriptor": {
            "Location": "s3://taxi-trip-records/yellow/",
            "InputFormat": "org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat",
            "OutputFormat": "org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat",
            "SerdeInfo": {
                "SerializationLibrary": "org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe"
            },
            "Columns": [
                {"Name": "vendorid",              "Type": "int"},
                {"Name": "tpep_pickup_datetime",  "Type": "timestamp"},
                {"Name": "tpep_dropoff_datetime", "Type": "timestamp"},
                {"Name": "passenger_count",       "Type": "double"},
                {"Name": "trip_distance",         "Type": "double"},
                {"Name": "ratecodeid",            "Type": "double"},
                {"Name": "store_and_fwd_flag",    "Type": "string"},
                {"Name": "pulocationid",          "Type": "int"},
                {"Name": "dolocationid",          "Type": "int"},
                {"Name": "payment_type",          "Type": "bigint"},
                {"Name": "fare_amount",           "Type": "double"},
                {"Name": "extra",                 "Type": "double"},
                {"Name": "mta_tax",               "Type": "double"},
                {"Name": "tip_amount",            "Type": "double"},
                {"Name": "tolls_amount",          "Type": "double"},
                {"Name": "improvement_surcharge", "Type": "double"},
                {"Name": "total_amount",          "Type": "double"},
                {"Name": "congestion_surcharge",  "Type": "double"},
                {"Name": "airport_fee",           "Type": "double"},
                {"Name": "cbd_congestion_fee",    "Type": "double"}
            ]
        }
    }'

ちなみに Amazon Athena でよく使う CREATE EXTERNAL TABLE でテーブルを作ることはできなさそうだった.実際に試したところ,Amazon Athena のクエリ結果に floci-duck execute returned HTTP 500: {\"status\":\"error\",\"message\":\"Parser Error: syntax error at or near \\\"CREATE\\\"\\n\\nLINE 1: COPY (CREATE EXTERNAL TABLE yellow_trips (\\n ^\"} と出ていた.

Amazon Athena でクエリを実行する①

まずはレコード件数を確認してみる👌 3952451 件だった.

$ aws athena start-query-execution \
    --query-string "SELECT COUNT(*) FROM yellow_trips" \
    --query-execution-context Database=taxi
{
    "QueryExecutionId": "e5e2199a-bd6a-4c44-a379-e30b5433ecb8"
}

$ aws athena get-query-results \
    --query-execution-id e5e2199a-bd6a-4c44-a379-e30b5433ecb8
{
    "ResultSet": {
        "Rows": [
            {
                "Data": [
                    {
                        "VarCharValue": "count_star()"
                    }
                ]
            },
            {
                "Data": [
                    {
                        "VarCharValue": "3952451"
                    }
                ]
            }
        ],
        "ResultSetMetadata": {
            "ColumnInfo": [
                {
                    "Name": "count_star()",
                    "Type": "varchar"
                }
            ]
        }
    },
    "UpdateCount": null
}

ちなみに Amazon Athena のクエリ結果は floci-athena-results という Amazon S3 バケットに自動的にアップロードされていた.「マネージドクエリ結果 (Managed query results)」的な感じ?

kakakakakku.hatenablog.com

Amazon Athena でクエリを実行する②

次は「乗車回数が多い乗車地点トップ10」を確認してみる👌

$ aws athena start-query-execution \
  --query-string "
    SELECT pulocationid,
           COUNT(*) AS trips,
           ROUND(AVG(fare_amount), 2) AS avg_fare,
           ROUND(AVG(tip_amount), 2) AS avg_tip
    FROM yellow_trips
    GROUP BY pulocationid
    ORDER BY trips DESC
    LIMIT 10
  " \
  --query-execution-context Database=taxi
{
    "QueryExecutionId": "de4e56c1-5bd3-4308-a3ad-77278b2d3a27"
}

$ aws athena get-query-results \
    --query-execution-id de4e56c1-5bd3-4308-a3ad-77278b2d3a27
{
    "ResultSet": {
        "Rows": [
            {
                "Data": [
                    {
                        "VarCharValue": "PULocationID"
                    },
                    {
                        "VarCharValue": "trips"
                    },
                    {
                        "VarCharValue": "avg_fare"
                    },
                    {
                        "VarCharValue": "avg_tip"
                    }
                ]
            },
            {
                "Data": [
                    {
                        "VarCharValue": "237"
                    },
                    {
                        "VarCharValue": "174403"
                    },
                    {
                        "VarCharValue": "13.8"
                    },
                    {
                        "VarCharValue": "2.63"
                    }
                ]
            },
            {
                "Data": [
                    {
                        "VarCharValue": "161"
                    },
                    {
                        "VarCharValue": "165350"
                    },
                    {
                        "VarCharValue": "18.2"
                    },
                    {
                        "VarCharValue": "3.1"
                    }
                ]
            },
            {
                "Data": [
                    {
                        "VarCharValue": "236"
                    },
                    {
                        "VarCharValue": "157296"
                    },
                    {
                        "VarCharValue": "14.61"
                    },
                    {
                        "VarCharValue": "2.61"
                    }
                ]
            },
            {
                "Data": [
                    {
                        "VarCharValue": "132"
                    },
                    {
                        "VarCharValue": "153791"
                    },
                    {
                        "VarCharValue": "59.76"
                    },
                    {
                        "VarCharValue": "9.2"
                    }
                ]
            },
            {
                "Data": [
                    {
                        "VarCharValue": "162"
                    },
                    {
                        "VarCharValue": "121946"
                    },
                    {
                        "VarCharValue": "16.94"
                    },
                    {
                        "VarCharValue": "3.08"
                    }
                ]
            },
            {
                "Data": [
                    {
                        "VarCharValue": "186"
                    },
                    {
                        "VarCharValue": "121232"
                    },
                    {
                        "VarCharValue": "17.37"
                    },
                    {
                        "VarCharValue": "3.14"
                    }
                ]
            },
            {
                "Data": [
                    {
                        "VarCharValue": "230"
                    },
                    {
                        "VarCharValue": "114682"
                    },
                    {
                        "VarCharValue": "20.39"
                    },
                    {
                        "VarCharValue": "3.28"
                    }
                ]
            },
            {
                "Data": [
                    {
                        "VarCharValue": "142"
                    },
                    {
                        "VarCharValue": "111866"
                    },
                    {
                        "VarCharValue": "15.39"
                    },
                    {
                        "VarCharValue": "2.73"
                    }
                ]
            },
            {
                "Data": [
                    {
                        "VarCharValue": "79"
                    },
                    {
                        "VarCharValue": "104033"
                    },
                    {
                        "VarCharValue": "18.38"
                    },
                    {
                        "VarCharValue": "2.09"
                    }
                ]
            },
            {
                "Data": [
                    {
                        "VarCharValue": "234"
                    },
                    {
                        "VarCharValue": "103024"
                    },
                    {
                        "VarCharValue": "16.84"
                    },
                    {
                        "VarCharValue": "2.6"
                    }
                ]
            }
        ],
        "ResultSetMetadata": {
            "ColumnInfo": [
                {
                    "Name": "PULocationID",
                    "Type": "varchar"
                },
                {
                    "Name": "trips",
                    "Type": "varchar"
                },
                {
                    "Name": "avg_fare",
                    "Type": "varchar"
                },
                {
                    "Name": "avg_tip",
                    "Type": "varchar"
                }
            ]
        }
    },
    "UpdateCount": null
}

裏側が DuckDB であることを確認する

docker ps コマンドを実行すれば floci-duck コンテナが起動していることを確認できる.

hub.docker.com

$ docker ps --format 'table {{.ID}}\t{{.Image}}'
CONTAINER ID   IMAGE
55d672287006   floci/floci-duck:latest
8ed4602b9269   floci/floci:1.5.17

さらに SELECT version() クエリを実行してみたところ v1.5.2 と返ってきた.現時点では DuckDB v1.5.2 ということだ🦆

github.com

$ aws athena start-query-execution \
    --query-string "SELECT version()" \
    --query-execution-context Database=taxi
{
    "QueryExecutionId": "38bdf2bf-9fd4-4a76-a8cf-e0b3d4ad6e6d"
}

$ aws athena get-query-results \
    --query-execution-id 38bdf2bf-9fd4-4a76-a8cf-e0b3d4ad6e6d
{
    "ResultSet": {
        "Rows": [
            {
                "Data": [
                    {
                        "VarCharValue": "\"version\"()"
                    }
                ]
            },
            {
                "Data": [
                    {
                        "VarCharValue": "v1.5.2"
                    }
                ]
            }
        ],
        "ResultSetMetadata": {
            "ColumnInfo": [
                {
                    "Name": "\"version\"()",
                    "Type": "varchar"
                }
            ]
        }
    },
    "UpdateCount": null
}

まとめ

Floci で Amazon Athena の StartQueryExecution API を呼び出すと自動的に DuckDB コンテナが起動されるという仕組みを試してみた❗️完璧なエミュレーションではないけど使えそうな場面があったら使ってみようと思う.

ちなみに LocalStack では Amazon Athena は Ultimate プランでサポートされていて,ちゃんと Presto を使ったエミュレーションになっている👏

To utilize the Athena API, LocalStack will download additional dependencies. This involves getting a Docker image of around 1.5GB, containing Presto, Hive, and other tools.

docs.localstack.cloud

関連記事

kakakakakku.hatenablog.com