PyTorch のチュートリアル「(optional) Exporting a Model from PyTorch to ONNX and Running it using ONNX Runtime」を試した❗️ pytorch.org PyTorch に低解像度の画像を高解像度の画像に変換する「超解像モデル」のサンプルがあって，今回のチュートリア…

「テスト駆動 Python 第2版」を読んだ 仕事で pytest を使ってて，もっと自信を持って書けるようになりたいな〜と思っていたら本書を見つけてさっそく読んでみた．pytest の機能・記法・設定・Tips などの理解が深まって本当に読んで良かった❗️フィクスチャ…

pytest の capsys を使うと Python スクリプトで出力する stdout（標準出力）と stderr（標準エラー）をテストできる❗️関数の実行結果ではなく，その途中に出力するログに着目したい場面もあって便利〜 ＼( 'ω')／ docs.pytest.org src/app.py hello() 関数…

AWS CDK で外部パッケージを含む Python の AWS Lambda 関数をデプロイする場合，requirements.txt から依存関係を解決して，デプロイするアセットとして ZIP にまとめる（バンドルする）必要がある 今回は aws-cdk-lib.aws_lambda module と @aws-cdk/aws-l…

Testcontainers を使うと，テストコードを実行するときに必要になるデータベース・キャッシュ・キューなどの依存関係をコード上で管理できて，実行後にはコンテナを自動的に消してくれるという使い捨て可能な仕組みを簡単に作れる❗️Testcontainers のサイト…

AWS Lambda の初期化フェーズ (INIT) は「10秒」に制限されている．例えば，AWS Lambda 関数の「ベストプラクティス」を意識してハンドラ外に実装した処理が長くなったり，AWS Lambda 関数 (Python) で機械学習系のライブラリなどを多く import しようとして…

Playwright for Python でウェブサイトのスクリーンショット（画像形式）を取得するのではなく「PDF 形式で」取得したいこともあると思う（実際に最近あった〜）．Playwright for Python では page.pdf() を使えば簡単に実装できる❗️ そして page.pdf() はデ…

Playwright for Python の page.screenshot() でスクリーンショットを取得するときに指定できる「便利なオプション3選」を紹介する❗️ 1. full_page ウェブサイトのスクリーンショットを「全て」取得する場合 full_page オプションが使えるデフォルトは False…

「自分だけの Technology Radar」を構築できる「Build Your Own Radar」を以下の記事で紹介した kakakakakku.hatenablog.com Build Your Own Radar サービスに入力する Technology Radar ファイルとしては Google Sheets / CSV / JSON を使うことができて，…

Playwright for Python でリンクタグ a タグの href 属性から URL を取得するときは，Locator オブジェクトで get_attribute('href') のように実装する． page.locator('h1#title > a').get_attribute('href') page.locator('h1.entry-title > a').nth(0).ge…

前回の記事では Playwright for Python の Trace Viewer を使って，ブラウザ操作中に「何が起きていたのか❓」を詳細に確認できることを紹介した（以下のリンク参照）．さらに pytest 連携を使って，自動テスト実行中にトレース情報を取得できることも紹介し…

Playwright for Python の Trace Viewer を使うと，ブラウザ操作中に「何が起きていたのか❓」を詳細に探索できる．スクリーンショットや録画だけでは判断できないようなエラーをデバッグするときに使える．また pytest と連携させると自動テスト実行中にトレ…

Textual は Python を使って TUI (Text User Interfaces) アプリを構築できるフレームワークで，ドキュメントには "電卓" や "Color Picker" を実装したサンプルが載っている．アプリのデザインには CSS を使う．Python x CSS という技術スタックで，入門し…

Playwright for Python を使うと iPhone / iPad / Pixel などのデバイスを使ったブラウザ操作を自動化できる． ドキュメントに書いてある通り，playwright.devices の Dict（辞書）にデバイス名を設定して，browser.new_context() でコンテキストを作る．サ…

「python-pptx」は Python で Microsoft PowerPoint ファイルを操作できるライブラリでよく使っている❗️ github.com 最近 Python 3.10（今回の環境だと 3.10.8）で python-pptx を使おうと思ったら，以下のように AttributeError: module 'collections' has …

Playwright for Python を使うとブラウザ操作を簡単に録画できる． ドキュメントに書いてある通り，browser.new_context() でコンテキストを作るときに以下の video 関連のパラメータを設定する．注意点は録画データを最後まで保存するために context.close(…

ID を採番するときによく使われる UUID Version 4 の課題として「順序性がなくソートしにくい」という側面があり，ULID (Universally Unique Lexicographically Sortable Identifier) を使えばソートできるようになるという記事を前に書いた． kakakakakku.h…

ブラウザ操作を自動化して，E2E (End to End) テストやスクレイピングをするときに使えるライブラリ Playwright を試す．Playwright の特徴としてまず「クロスブラウザ」があり，Chromium / Firefox / WebKit をサポートしている．また「複数言語」という特…

ユニークな ID を採番するときに UUID (Universally Unique Identifier) v4 を使う場面は多いと思う．しかし要件によっては UUID だと「順序性がなくソートしにくい」という側面もあったりする．今回はユニーク性を維持しつつミリ秒精度でソートできる ULID …

「Diagrams」を使うと Python コードでアーキテクチャ図を生成できる．サポートされているアイコンセットがとても多く AWS や Google Cloud や Microsoft Azure もあれば，Kubernetes やプログラミング言語なども使える．試してみたけどめちゃくちゃ便利！ま…

Jupyter Notebook で Pandas のコードを実装しているときに「指数表記を無効化」する場合は pd.options の display.float_format を設定する．以下にサンプルとして「桁数 2」と「桁数 6」の例を載せておく． # 小数点以下 桁数 2 pd.options.display.float_…

Pandas で NDJSON (Newline Delimited JSON) を読み込む場合 read_json() 関数に lines=True パラメータを設定すれば OK！ pandas.pydata.org NDJSON サンプル dataset.jsonl { "id": 1, "name": "Alice" } { "id": 2, "name": "Bob" } { "id": 3, "name": "…

2022年3月1日に β リリースになった「一般社団法人 Python エンジニア育成推進協会」の新試験「PythonZen & PEP 8 検定試験」に合格した現在まだ β だけど合格すると「本認定」になる．PythonZen (PEP 20 - The Zen of Python) と PEP 8 から出題されるため…

Jupyter Notebook でコードを書いているときに「検証のために一時的にセルを追加してコードを書いて終わったらセルを消す」という操作を頻繁にしている（表現しにくいけど...）．些細な操作ではあるけど地味に面倒だった． そこで「Scratchpad」を使ったら便…

Kaggle が公開している「Kaggle Courses」で「Feature Engineering」コースを受講した．機械学習モデルを構築するときに重要になる「特徴量エンジニアリング」を多岐にわたる観点から学べる．「特徴量エンジニアリング」の目標は「データセットを目の前の問…

scikit-learn の Pipeline を使うと，データセットの前処理や機械学習アルゴリズムなどを「1つのオブジェクトに」まとめることができる． scikit-learn.org 前回の記事で紹介した「Kaggle Courses」の「Intermediate Machine Learning」コースでも使われてい…

Kaggle が公開している「Kaggle Courses」で「Intermediate Machine Learning」コースを受講した．Kaggle のコンペティション「Housing Prices Competition for Kaggle Learn Users（住宅価格予測）」をテーマに試行錯誤をして，実際にモデルを登録すること…

分類などの機械学習モデルを構築するときにデータセットに偏り（不均衡データ）があると適切に学習できない可能性がある．データセットを強制的に増やす操作を「オーバーサンプリング」と言って，SMOTE (Synthetic Minority Over-sampling Technique) や ADA…

scikit-learn の datasets モジュールの中に libsvm フォーマットのデータセットを扱う関数がある．libsvm フォーマットは以下のフォーマットでデータセットを表現し，1番左にラベル（教師データ）を持つ．例えば Amazon SageMaker の組み込みアルゴリズム X…

Kaggle が公開している「Kaggle Courses」で機械学習に入門できる「Intro to Machine Learning」コースを受講した．Intro と書いてある通り，入門レベルではあるけど，scikit-learn を使って「決定木（回帰）」や「ランダムフォレスト」で「住宅価格予測」を…