2022-03-01から1ヶ月間の記事一覧
Kubernetes を使っていると，運用面で起動中の Pod を他のノードに移動（再スケジューリング）したくなる場面がある．以下に具体的な例を挙げる．理由としては，Kubernetes では kube-scheduler によって Pod を起動する前にノードが決まる仕組み（スケジュ…
Kubernetes で「Pod Topology Spread Constraints」を使うと Pod をスケジューリングするときの制約条件を柔軟に設定できる．今回は Zone Spread (Multi AZ) を試す！詳しくは以下のドキュメントに載っている！ kubernetes.io spec.topologySpreadConstraint…
Pandas で NDJSON (Newline Delimited JSON) を読み込む場合 read_json() 関数に lines=True パラメータを設定すれば OK！ pandas.pydata.org NDJSON サンプル dataset.jsonl { "id": 1, "name": "Alice" } { "id": 2, "name": "Bob" } { "id": 3, "name": "…
前回の記事では Airflow 検証環境にプリセットされている DAG を使って BashOperator と PythonOperator と BranchPythonOperator を試した．今回は新しく DAG を作りつつ，気になる他のオペレーターを試す． kakakakakku.hatenablog.com SlackAPIPostOperat…
2022年3月1日に β リリースになった「一般社団法人 Python エンジニア育成推進協会」の新試験「PythonZen & PEP 8 検定試験」に合格した現在まだ β だけど合格すると「本認定」になる．PythonZen (PEP 20 - The Zen of Python) と PEP 8 から出題されるため…
プロダクトのロードマップを公開できるサービス「Roadmap.show」を試した！ サービス自体はとてもシンプルで，例えば「機能 A は開発中だよ！」とか「機能 B は予定してるけどまだ未着手だよ！」という状況をユーザーに伝えることができる．以下の YouTube …
前回の記事では Airflow 検証環境を使って「Airflow Tutorial」を進めた．BashOperator を使った基本的な DAG を理解できるようになった！今回はプリセットされている他の DAG を使って BashOperator と PythonOperator と BranchPythonOperator を試す． ka…
前回の記事で構築した Airflow 検証環境を使って「Airflow Tutorial」を進めていく！今回紹介する「Airflow Tutorial」は本当によくできてて，Airflow の基本的な仕組みや操作を学べる．そして Python で実装された DAG も読めるようになる．どの項目も丁寧…
ワークフローを管理するソフトウェア「Apache Airflow」に入門する．今までは本当にザッと試した程度の経験しかなく，テックブログに記事を書いたことすらなかった．幅広くある機能を試しながら学習ログを記事にしていく．今回は Airflow の検証環境を構築し…
