Python
ブラウザ操作を自動化して，E2E (End to End) テストやスクレイピングをするときに使えるライブラリ Playwright を試す．Playwright の特徴としてまず「クロスブラウザ」があり，Chromium / Firefox / WebKit をサポートしている．また「複数言語」という特…
ユニークな ID を採番するときに UUID (Universally Unique Identifier) v4 を使う場面は多いと思う．しかし要件によっては UUID だと「順序性がなくソートしにくい」という側面もあったりする．今回はユニーク性を維持しつつミリ秒精度でソートできる ULID …
「Diagrams」を使うと Python コードでアーキテクチャ図を生成できる．サポートされているアイコンセットがとても多く AWS や Google Cloud や Microsoft Azure もあれば，Kubernetes やプログラミング言語なども使える．試してみたけどめちゃくちゃ便利！ま…
Jupyter Notebook で Pandas のコードを実装しているときに「指数表記を無効化」する場合は pd.options の display.float_format を設定する．以下にサンプルとして「桁数 2」と「桁数 6」の例を載せておく． # 小数点以下 桁数 2 pd.options.display.float_…
Pandas で NDJSON (Newline Delimited JSON) を読み込む場合 read_json() 関数に lines=True パラメータを設定すれば OK！ pandas.pydata.org NDJSON サンプル dataset.jsonl { "id": 1, "name": "Alice" } { "id": 2, "name": "Bob" } { "id": 3, "name": "…
2022年3月1日に β リリースになった「一般社団法人 Python エンジニア育成推進協会」の新試験「PythonZen & PEP 8 検定試験」に合格した現在まだ β だけど合格すると「本認定」になる．PythonZen (PEP 20 - The Zen of Python) と PEP 8 から出題されるため…
Jupyter Notebook でコードを書いているときに「検証のために一時的にセルを追加してコードを書いて終わったらセルを消す」という操作を頻繁にしている（表現しにくいけど...）．些細な操作ではあるけど地味に面倒だった． そこで「Scratchpad」を使ったら便…
Kaggle が公開している「Kaggle Courses」で「Feature Engineering」コースを受講した．機械学習モデルを構築するときに重要になる「特徴量エンジニアリング」を多岐にわたる観点から学べる．「特徴量エンジニアリング」の目標は「データセットを目の前の問…
scikit-learn の Pipeline を使うと，データセットの前処理や機械学習アルゴリズムなどを「1つのオブジェクトに」まとめることができる． scikit-learn.org 前回の記事で紹介した「Kaggle Courses」の「Intermediate Machine Learning」コースでも使われてい…
Kaggle が公開している「Kaggle Courses」で「Intermediate Machine Learning」コースを受講した．Kaggle のコンペティション「Housing Prices Competition for Kaggle Learn Users（住宅価格予測）」をテーマに試行錯誤をして，実際にモデルを登録すること…
分類などの機械学習モデルを構築するときにデータセットに偏り（不均衡データ）があると適切に学習できない可能性がある．データセットを強制的に増やす操作を「オーバーサンプリング」と言って，SMOTE (Synthetic Minority Over-sampling Technique) や ADA…
scikit-learn の datasets モジュールの中に libsvm フォーマットのデータセットを扱う関数がある．libsvm フォーマットは以下のフォーマットでデータセットを表現し，1番左にラベル（教師データ）を持つ．例えば Amazon SageMaker の組み込みアルゴリズム X…
Kaggle が公開している「Kaggle Courses」で機械学習に入門できる「Intro to Machine Learning」コースを受講した．Intro と書いてある通り，入門レベルではあるけど，scikit-learn を使って「決定木（回帰）」や「ランダムフォレスト」で「住宅価格予測」を…
先週末に「Python 3 エンジニア認定データ分析試験」を受験して合格したとても良い試験で，特に試験勉強をする過程で知識の幅が広がった．試験の認知度向上のためにも紹介したいと思う．当然ながら試験問題に関しては何も書かず，基本的に公開情報をベースに…
Numpy で dot() 関数を使うと配列同士の「ドット積（内積）」を計算できる．詳しくはドキュメントに載っているけど，dot() 関数は引数 a と b に指定する値（1次元配列／2次元配列）によって挙動が異なる．個人的にわかりにくかったため，具体的に実装しなが…
Pandas で groupby() 関数を使うと，データセットをグループ化して集計できる．さらに Grouper オブジェクトと組み合わせると，より高機能なグループ化を実現できる．今回は groupby() 関数と Grouper オブジェクトを組み合わせて「時系列データの集計」を試…
NumPy で「単位行列」を生成するときに identity() 関数と eye() 関数がサポートされている．それぞれの違いを整理するためにドキュメントを読みながら試してみた．今回は Numpy 1.20.2 を前提にする．ドキュメントには (almost) equivalent function と書い…
NumPy で「n次元配列」を「1次元配列」に変換するときに ravel() 関数と flatten() 関数がサポートされている．ravel() 関数に関しては，正確には numpy.ravel() 関数と numpy.ndarray.ravel() 関数がある．それぞれの違いを整理するためにドキュメントを読…
個人的に Pandas を使ってデータ分析をする機会が増えてきて，今までの浅い経験ではうまく使いこなせず，Pandas を中心に細かく学び直している．最近 Pandas 関連の記事を多く書いていることにも関連しているし，少し前には Pandas を学べる「Kaggle Courses…
前回の記事では Pandas の get_dummies() 関数を使って「カテゴリ変数」の変換（One-Hot エンコーディング）を試した． kakakakakku.hatenablog.com Pandas 以外の選択肢として scikit-learn の sklearn.preprocessing モジュールを使うこともできる．今回は…
Pandas で get_dummies() 関数を使うと「カテゴリ変数」を「ダミー変数」に変換できる．「カテゴリ変数」とは，例えば「血液型」や「職業」など，限られた選択肢の中から選んだ値で，ENUM 型のようなイメージをするとわかりやすい分析業務を前提に考えると A…
Pandas で corr() 関数を使うと DataFrame と Series で「相関係数 (correlation coefficient)」を計算できる．今回は DataFrame の corr() 関数と Seaborn を使った可視化を試す． pandas.DataFrame.corr — pandas 1.2.4 documentation pandas.Series.corr …
先週紹介した学習コンテンツ「Kaggle Courses : Pandas」で「欠損値 (Missing data) : NaN」の取り扱いを学んだけど，その後「Pandas ライブラリ活用入門」を読んでいたら「置換 : fillna() 関数」に多くのパラメータがあり，他にも「補間 : interoperete() …
Jupyter Notebook で Pandas のコードを実装しているときに同じような表示関連設定を繰り返し使うため，メモも兼ねてまとめておく．オプションは他にも多くあり，詳細はドキュメントに載っている．今回は Python 3.9 と Pandas 1.2.4 を前提とする． pandas.…
機械学習コンペティションを開催する Kaggle のサイトを見ていたら「Kaggle Courses」という「学習コンテンツ」が公開されていて，Python や SQL や 機械学習など様々なトピックを学べるようになっていた．なんと無料現時点でコースは「計17種類」もある．今…
python-docx を使うと Python で Word ドキュメントを操作できる．新しく Word ドキュメントを作ることもできるし，既存の Word ドキュメントから文章を抽出することもできる．前に紹介した python-pptx と関連している．最近 PowerPoint の文章を Word に繰…
Python で PowerPoint を操作するライブラリ python-pptx は本当に便利で，前に「発表者ノート」を抽出するサンプルコードを紹介したけど，引き続き今も使っている．PowerPoint ファイルの文章レビューを自動化したり，業務で使うスクリプトも増えてきた．作…
PowerPoint を使ってプレゼンテーションをするときに，原稿や関連情報を「発表者ノート」に書いておく人は多いと思う．最近 PowerPoint ファイルの「発表者ノート」を抽出して別のファイルにコピーする必要があった．具体的にはプロンプターに投影する原稿を…
Redash v9 で「ジョブキューライブラリ」として採用された RQ (Redis Queue) を試した．今までの Redash では Celery を使っていた．RQ は Redis を使って「ジョブ登録 (enqueue)」と「ジョブ実行 (work)」の機能をサポートする．ドキュメントを読むと，多く…
Jupyter Notebook を使ってデモ環境を作るときに while と print を組み合わせて，定期的に表示を更新したかった．例を出すと「時計のように」毎秒表示を更新するイメージとなる．調べたところ IPython.display モジュールに clear_output 関数があり，解決…
