2021-01-01から1年間の記事一覧
仕事や個人作業を進めるときに「ポモドーロ」を実践している．試行錯誤をしながら，もう7,8年は続けていると思う．2016年に紹介記事を書いていて，今も運用は大きく変わらないけど，タイマーアプリは「Tomato One」から「Tomato 2」に乗り換えている．今回は…
Jupyter Notebook でコードを書いているときに「検証のために一時的にセルを追加してコードを書いて終わったらセルを消す」という操作を頻繁にしている（表現しにくいけど...）．些細な操作ではあるけど地味に面倒だった． そこで「Scratchpad」を使ったら便…
Kaggle が公開している「Kaggle Courses」で「Feature Engineering」コースを受講した．機械学習モデルを構築するときに重要になる「特徴量エンジニアリング」を多岐にわたる観点から学べる．「特徴量エンジニアリング」の目標は「データセットを目の前の問…
「仕事ではじめる機械学習 第2版」を読んだ．実は「第1版」を買ってずっと積読をしていたところに「第2版」が出たので書い直した書名に「仕事ではじめる」と書いてある通り，現場の視点で理解しておくべき「機械学習」の知識がまとまっていて良かった．そし…
データセットを分割するときに scikit-learn の train_test_split() をよく使う．今回は train_test_split() に設定できる stratify パラメータを試す．stratify は「層化」という意味で「データセットの特性を考慮した分割」とも言える．特に「不均衡データ…
scikit-learn の Pipeline を使うと，データセットの前処理や機械学習アルゴリズムなどを「1つのオブジェクトに」まとめることができる． scikit-learn.org 前回の記事で紹介した「Kaggle Courses」の「Intermediate Machine Learning」コースでも使われてい…
Kaggle が公開している「Kaggle Courses」で「Intermediate Machine Learning」コースを受講した．Kaggle のコンペティション「Housing Prices Competition for Kaggle Learn Users（住宅価格予測）」をテーマに試行錯誤をして，実際にモデルを登録すること…
「機械学習図鑑」を読んだので簡単にまとめる．正確には今年5月頃に読んでいたけど，まだ書評記事を書いてなかった まず前提として，本書を読んだときには僕は機械学習に詳しくなく入門者だった．機械学習に関連する書籍を何冊か買ってみたけど，そのときの…
今年8月頃から Minecraft に今さらドハマリをして平日深夜や週末に時間を捻出しつつプレイをしている．そして娘と一緒にやるようにもなった．ふと Minecraft をテーマにしたプログラミング的思考を学ぶコンテンツはあるのかな？と思って調べてみたら「Hour o…
分類などの機械学習モデルを構築するときにデータセットに偏り（不均衡データ）があると適切に学習できない可能性がある．データセットを強制的に増やす操作を「オーバーサンプリング」と言って，SMOTE (Synthetic Minority Over-sampling Technique) や ADA…
scikit-learn の datasets モジュールの中に libsvm フォーマットのデータセットを扱う関数がある．libsvm フォーマットは以下のフォーマットでデータセットを表現し，1番左にラベル（教師データ）を持つ．例えば Amazon SageMaker の組み込みアルゴリズム X…
Kubeval で Kubernetes マニフェストを検査する場合に kustomize を使っていると，以下のように kustomization.yaml でエラーになってしまう．kustomization.yaml には kind フィールドがなく，Kubeval の対象外にしたい！ $ kubeval --version Version: 0.1…
リモートワークに移行してから，以下のように大きく「2拠点（部屋）」で日々仕事をしている．それぞれの部屋で微妙に機材も違っていて，今回は Mac (macOS) のディスプレイ設定 Tips を紹介する． 通常業務 自宅 正面ディスプレイ : LG 27UL850-W 左側ディ…
以下のドキュメントを読んでいたら kubectl コマンド（バイナリファイル）をダウンロードした後に checksum を使って検証（改ざんなし）をする手順が載っていた．kubectl に限定する必要はなく kube-apiserver などにも適用できる．さっそく試していく！ kub…
Helmfile のドキュメントを読んでいたら Advanced Features として「Deploy Kustomization with Helmfile（Helmfile で kustomize をデプロイする）」という機能が載っていた．最初はどういう意味？と疑問だったけど，簡単に言うと helmfile apply コマンド…
前回の記事では Helmfile に入門した！Helm Chart を宣言的に管理することができて便利だった 引き続き Helmfile を試していて，GitHub に載っている「The Helmfile Best Practices Guide」を読んでいたら「テンプレート機能」が紹介されていた．Helmfile で…
Helm を使うと Kubernetes クラスタ上に簡単にアプリケーションなどをインストールできる．そして Helm Chart は Artifact Hub で確認できる．また values.yaml と組み合わせれば Helm Chart のデフォルト設定を変更することもできる．しかし helm コマンド…
Kubernetes で Deployment を使うと Pod を安全にデプロイ（ロールアウト）できる．そのときに更新する Pod の割合として Max Unavailable と Max Surge という設定値があり，デフォルト値は以下のようにドキュメントに書いてある．今回は動作確認をしながら…
Argo CD は kustomize をサポートしているため，簡単に kustomize プロジェクトを GitOps 化できる．さっそく試していく！ argo-cd.readthedocs.io 検証環境 前回書いた記事で使った kustomize プロジェクトを使う． Namespace + Service + Deployment (ngin…
今まで kustomize を使って Deployment の replicas を変更するときなどは kustomization.yaml に patchesStrategicMerge を設定していた．例えば，1年前に kustomize に入門したときに書いた以下の記事でもそういう手順になっている． kakakakakku.hatenabl…
textlint で「表記揺れ」を検出するときに prh (proofreading-helper) を組み合わせて使うと思う．例えば .textlintrc の rules.prh.rulePaths を以下のように書くと，ルールを複数設定できる．長くなりがちなルールを分割できるため，よく使っている { "rul…
2021年7月30日に Docker Blog に公開された以下の記事を参考に「Dockerfile で新しく使えるようになった構文 "heredocs"」を試す．Dockerfile で「ヒアドキュメント」を使うと，今まで RUN と && \ を組み合わせて複数コマンドを 1 レイヤーにまとめていた T…
前回の記事では Kubernetes と OPA (Open Policy Agent) を組み合わせて「ラベル強制」を試した．OPA を使ってできることをより把握するために，今回は Deployment の spec.replicas に対して「最低個数」を制限できるようにする．なお OPA のインストール手…
今回は Kubernetes と OPA (Open Policy Agent) を組み合わせて「ラベル強制」を試す． OPA Gatekeeper をインストールする まず，Kubernetes クラスターに OPA Gatekeeper をインストールする．今回は OPA のドキュメントに載っている kubectl apply コマン…
docker run コマンドで使える --pid オプションを試す．Docker では以下のドキュメントに書いてある通り，デフォルトでは PID namespace でコンテナ同士を隔離する．よって，コンテナ同士でプロセスを共有することはできず，各コンテナでは PID 1 を含む「プ…
Kubernetes の kube-apiserver では，デフォルトで「匿名リクエスト」機能が有効になっている（正確な条件は以下のドキュメントに載っている）．今回は「匿名リクエスト」機能の動作確認と kube-apiserver のセキュリティ対策として「匿名リクエスト」機能の…
Kubernetes のセキュリティ対策として，Service Account と Pod に設定できる automountServiceAccountToken フィールド（Secret の自動マウントをオプトアウトするかどうか）の動作確認をした．とは言え，Service Account と Secret の関係性なども整理する…
前回の記事では seccomp (Secure computing mode) に入門するために「Docker と seccomp」を組み合わせて試した．docker run コマンドの --security-opt オプションを使って seccomp プロファイルを指定した． kakakakakku.hatenablog.com 今回は「Kubernete…
seccomp (Secure computing mode) はプロセスに対してシステムコールを制限する Linux kernel の機能で，今回は「Docker と seccomp」を組み合わせて試す．ドキュメントは以下にある． docs.docker.com seccomp デフォルトプロファイル まず，Docker はデフ…
最近 Pandoc 以外の選択肢として Re:VIEW を試している．ビルドを自動化するために GitHub Actions で Re:VIEW プロジェクトをビルドできるように設定してみた．今回は vvakame/review Docker Image を使うことにした．検証日時点で最新となる Re:VIEW v5.1 …
