AWS CDK で AWS Step Functions から Amazon SageMaker Processing を .sync で実行する

AWS Step Functions から別のサービスを直接統合するときに「最適化された統合 (Optimized integrations)」と「AWS SDK 統合 (AWS SDK integrations)」という選択肢がある．例えば AWS Step Functions から Amazon SageMaker Processing を実行する場合，AWS…

2024-04-23

データエンジニアリングライフサイクルのステージと底流とは /「データエンジニアリングの基礎」を読んだ

本データ機械学習

2024年3月に出版された「データエンジニアリングの基礎」を読んだ仕事で取り組んでいることに関係していて，何かしら新しい気付きや発見があれば良いな〜と思って読んでみたけど，期待以上に素晴らしい一冊だった❗️データを取り扱うときに考慮すべきポイン…

2024-04-17

AWS Chatbot で AWS Lambda 関数の集約したロググループからログを取得する

AWS Chatbot Lambda CloudWatch

AWS Lambda 関数の Errors メトリクスなどを Amazon CloudWatch Alarm でモニタリングして，エラー発生時に Amazon SNS と AWS Chatbot を組み合わせて Slack に通知すると Show error logs ボタンと Show logs ボタンが表示される✅ そして AWS Chatbot に権…

2024-04-16

PyTorch Tutorials「(optional) Exporting a Model from PyTorch to ONNX and Running it using ONNX Runtime」を試した

Python 機械学習 PyTorch ONNX

PyTorch のチュートリアル「(optional) Exporting a Model from PyTorch to ONNX and Running it using ONNX Runtime」を試した❗️ pytorch.org PyTorch に低解像度の画像を高解像度の画像に変換する「超解像モデル」のサンプルがあって，今回のチュートリア…

2024-04-15

Amazon API Gateway の Lambda オーソライザーで "User is not authorized to access this resource" と出たら

AWS API Gateway Lambda Powertools

Amazon API Gateway の Lambda オーソライザー（旧カスタムオーソライザー）を使ってアクセス制御をするときに，Authorization ヘッダーは正しいはずなのに {"Message":"User is not authorized to access this resource"} というエラーが出てしまう場合，La…

2024-04-09

CloudFormation の IaC ジェネレーター機能をサクッと試せる「IaC Generator Workshop」

AWS CloudFormation

2024年2月にリリースされた AWS CloudFormation の「IaC ジェネレーター機能」を使うとマネジメントコンソール・AWS CLI などを使って作った（作ってしまった）リソースをスキャンして，自動的に AWS CloudFormation テンプレート化 (YAML / JSON) できる❗️…