Jupyter Notebook で Pandas のコードを実装しているときに「指数表記を無効化」する場合は pd.options の display.float_format を設定する．以下にサンプルとして「桁数 2」と「桁数 6」の例を載せておく． # 小数点以下 桁数 2 pd.options.display.float_…

Pandas で NDJSON (Newline Delimited JSON) を読み込む場合 read_json() 関数に lines=True パラメータを設定すれば OK！ pandas.pydata.org NDJSON サンプル dataset.jsonl { "id": 1, "name": "Alice" } { "id": 2, "name": "Bob" } { "id": 3, "name": "…

Pandas で groupby() 関数を使うと，データセットをグループ化して集計できる．さらに Grouper オブジェクトと組み合わせると，より高機能なグループ化を実現できる．今回は groupby() 関数と Grouper オブジェクトを組み合わせて「時系列データの集計」を試…

個人的に Pandas を使ってデータ分析をする機会が増えてきて，今までの浅い経験ではうまく使いこなせず，Pandas を中心に細かく学び直している．最近 Pandas 関連の記事を多く書いていることにも関連しているし，少し前には Pandas を学べる「Kaggle Courses…

Pandas で get_dummies() 関数を使うと「カテゴリ変数」を「ダミー変数」に変換できる．「カテゴリ変数」とは，例えば「血液型」や「職業」など，限られた選択肢の中から選んだ値で，ENUM 型のようなイメージをするとわかりやすい分析業務を前提に考えると A…

Pandas で corr() 関数を使うと DataFrame と Series で「相関係数 (correlation coefficient)」を計算できる．今回は DataFrame の corr() 関数と Seaborn を使った可視化を試す． pandas.DataFrame.corr — pandas 1.2.4 documentation pandas.Series.corr …

先週紹介した学習コンテンツ「Kaggle Courses : Pandas」で「欠損値 (Missing data) : NaN」の取り扱いを学んだけど，その後「Pandas ライブラリ活用入門」を読んでいたら「置換 : fillna() 関数」に多くのパラメータがあり，他にも「補間 : interoperete() …

Jupyter Notebook で Pandas のコードを実装しているときに同じような表示関連設定を繰り返し使うため，メモも兼ねてまとめておく．オプションは他にも多くあり，詳細はドキュメントに載っている．今回は Python 3.9 と Pandas 1.2.4 を前提とする． pandas.…

機械学習コンペティションを開催する Kaggle のサイトを見ていたら「Kaggle Courses」という「学習コンテンツ」が公開されていて，Python や SQL や 機械学習など様々なトピックを学べるようになっていた．なんと無料現時点でコースは「計17種類」もある．今…