データサイエンス チュートリアル

Section 18では、データの変数を分割する「 ビニング処理 」を解説しましたが、このセクションでは、 そのビン（分割区分）に付けたラベルを元データに付与する方法を解説します。 元データに、新たなデータ項目を追加することにより、分析の幅が広がりますので、今回のスキルをしっかりとマスターしましょう。このプログラムは、 機械学習 用のデータを作成するときにもよく使うものです。 それらを実現するプログラムは下記の２つです。 ㊾ 新データ名 = 元データ名.copy() ㊿ 新データ名[“新列名”] = pd.cut(元データ名[“列名”] 　　　　　　　　, [数字1, 数字2, 数字3]  　　　　　　　　, labels=[ラベル1, ラベル2, ラベル3] ) また、Pythonのプログラムを書く際に犯してしまうミスを警告してくれるコラボの機能「 SettingWithCopyWarning 」を体験し、それを防ぐ方法も身に付けていきましょう！  ■ まずは、 概要を理解したい方は、下記の 動画 （8分45秒） をご覧ください。 ■ PowerPoint （パワポ） でじっくりと理解したい方は、下記のスライドを参照してください。 Section １９　ビンのラベルを元のデータに付与する by @Cat_Taro    ■ 参考URL ブログ「naoの学習＆学習」の「【Pandas】 データフレームをコピーしたいときにcopy()を使う意味」のURLは下記のとおりです。 https://www.learning-nao.com/?p=2384

Section 17では、データに含まれていた時間の「ドリルダウン」、すなわち「年」から「年月」への「ドリルダウン」を行いましたが、このセクションでは、「 ドリルダウン 」するための数値を新たに作っていきます。 「商品」に属する「UnitPrice（単価）」を、顧客の特徴をよく表すように分割（これを「 ビニング 」と言います）する方法を身に付けましょう。 それらを実現するプログラムは下記の７つです。 ㊺ pd.cut( データ名[“列名”], 分割数, precision=□, right=True ) ㊻ pd.cut( データ名[“列名”], 分割数 ). value_counts() ㊼ pd.cut( データ名[“列名”], [数字1, 数字2, 数字3] ) ㊽ pd.cut( データ名[“列名”], [数字1, 数字2, 数字3]      , labels=[ラベル1, ラベル2, ラベル3] ) ■ まずは、 概要を理解したい方は、下記の 動画 （6分47秒） をご覧ください。   ■ PowerPo int （パワポ） でじっくりと理解したい方は、下記のスライドを参照してください。 Section １８　データを分割するビニング by @Cat_Taro   ■ 参考URL ●ビニングに関しては、Smart-Hintが運営している「データをビニング（ビン分割）する方法｜cut」がとってもわかりやすかったので、参考にしてみてはいかがでしょうか。 https://smart-hint.com/python/cut/ ●フリーランスのサウンドクリエータ「パンダの中のパンダ」さんがやっている「【AIプログラミング】 ビニングでボストン住宅価格の回帰」が役に立つと思いますので、下記を参考にしてみてくださいね。 https://panda-clip.com/binnning-boston/

それでは、データサイエンス・チュートリアル　第19回目、Section 17「seabornでグラフ描画（２）」を始めます。 このセクションでは、 OLAPキューブ の分析手法に従い、時間に関してドリルダウンを行い、データ分析を試みていきます。 また、それらの結果で説得力あるプレゼンをするために、 seaborn で作成したグラフを見栄えよくする方法を身に付けていきましょう。具体的には、seabornの日本語化、グラフの大きさを指定、軸の単位を整数にする、グラフをクールに表示する（ggplotライク）、グラフのタイトルを表示、 y軸の表示範囲を設定、グラフの画像を保存などを解説します。 Seabornの体裁を整えるプログラムを整理すると、下記のようになります。 今回、解説するプログラムは下記の7つです。あまり、応用することは無いので、そのまま覚えるか、コピペできるようにしておきましょう。 　 ㊳ !pip install japanize-matplotlib 　　 import japanize_matplotlib 　㊴ plt.figure(figsize=(○, △), dpi=□) 　㊵ plt.gca().ticklabel_format(style='plain’,axis='y’) 　㊶ plt.style.use("ggplot") 　㊷ plt.title(“グラフタイトル") 　㊸ plt.ylim(最小値,最大値) 　㊹ from google.colab import files  　    plt.savefig(“画像ファイル名.jpg") 　     files.download("画像ファイル名.jpg") ■ まずは、 概要を理解したい方は、下記の 動画 （11分40秒） をご覧ください。 ■ PowerPoin t （パワポ） でじっくりと理解したい方は、右下のマーク「ページを新しいウインドウで開きます。」をクリックしてください。 Section １７　seabornでグラフ描画（２） by @Cat_Taro

データサイエンス体験動画「データサイエンス　チュートリアル　猫のタロー編」、第18回目、Section 16「seabornでグラフ描画（１）」始めます！ 今回からは、時間の ドリルダウン とライブラリ「 seaborn 」を使ったグラフの描画です。 seabornは、 x、y軸 （場合によってはz軸も） が列 でないとグラフを描いてくれません。groupbyなどを使って年や年月ごとに売上の合計を出すと、年や年月がインデックスになっていますので、列にして直す必要があることに注意して下さい。 それらを実現するプログラムは下記の７つです。 　 ㉖’ データ名.groupby(“列名”).sum() 　㉝ import matplotlib.pyplot as plt 　㉞ import seaborn as sns 　㉟ %matplotlib inline 　㊱ sns.barplot(data=データ名, x=“列名1”, y=“列名2”) 　㊲ データ名.reset_index() 　㊳ データ名.groupby(“列名”, as_index=False).sum() ■ 概要を理解したい方は、下記の 動画 （8分59秒） をご覧ください。 ■ PowerPoint （パワポ） でじっくりと理解したい方は、右下のマーク「ページを新しいウインドウで開きます。」をクリックしてください。 Section １６　seabornでグラフ描画（１） by @Cat_Taro ■ 参考URL seaborn公式ドキュメントのGallery https://seaborn.pydata.org/examples/index.html

データサイエンス体験動画「データサイエンス　チュートリアル　猫のタロー編」、通算第17回目、Section15「分析するための列の作成」を始めます。 今回は、 Section 13で解説したOLAPキューブの分析手法を実践していくために、その前段階であるデータ作成を行います。 「Quantity」（数量）と「UnitPrice」（単価）の積から 合計値の列を追加 、データ型 datetimeから文字列で年、年月を取り出した列の追加 を解説します。 今回の動画は、それらを実現する下記のプログラムを解説します。 　 ㉛ データ名[“新列名”] = データ名[“列名1”] * データ名[“列名2”] 　㉜ データ名[“新列名”] = データ名[“列名”].dt.strftime(“%Y%m”) また、復習になりますが、列の順序を変えるために、下記の⑫を使います。 　⑫ データ名[[“列名”]] （「 Section ６ 列の参照 」を参照） ■ 概要を理解したい方は、下記の 動画 （8分42秒） をご覧ください。 ■ PowerPoin t （パワポ） でじっくりと理解したい方は、 下記のスライドを参照してください。    Section １５　分析するための列の作成 by @Cat_Taro

データサイエンス体験動画「データサイエンス　チュートリアル　猫のタロー編」、 通算第16回目、Section14「csvデータの読込」を始めます。 今回は、 1st STEPで作成したcsvデータ「id_pos4」を読み込みます。 その際、 データ型を指定して読み込ます 。 また、余分な列を削除して、集計や分析の際に分かりやすいきれいなデータにしましょう。 今回の動画は、それらを実現する下記のプログラムを解説します。 　 ㉙ pd.read_csv(“データのある場所”, parse_dates=[“列名"] 　　　　, dtype ={"列名1": データ型 , "列名2": データ型}) 　㉚ データ名.drop("列名", axis=1) axis=0 と axis=1 の違いもよく理解しておきましょう。 ■ 概要を理解したい方は、下記の 動画 （8分42秒） をご覧ください。 ■ PowerPoin t （パワポ） でじっくりと理解したい方は、 下記のスライドを参照してください。 Section １４　csvデータの読込 by @Cat_Taro

データサイエンス体験動画「データサイエンス　チュートリアル　猫のタロー編」は、2nd STEPに進みます！今回は、 2nd STEP「集計とグラフ描画」 のオリエンテーションです。 2nd STEP「集計とグラフ描画」の最初は、通算第15回目、Section 13「どのような集計をして、グラフを描くのか？」です。 これから、1st STEPで作成した「id_pos4」、いわゆる「きれいなデータ」を用いて、データの見える化、および報告書・会議用資料などのレポーティング用の集計を行っていきます。 様々なグラフの描き方、集計表形式がありますが、ビッグデータが格納されている「 OLAP 」で用いられている標準的な分析法に沿って解説していきます。「OLAP」の解説は後程行います。これらは応用範囲が広いため、他のデータでも活用できます。 また、「 seaborn 」を用いて、インパクトのあるグラフを少ないコードで描いていきます。グラフによるデータの見える化で、より深い洞察が得られることと思います。 ■ 概要を理解したい方は、下記の 動画 （7分31秒） をご覧ください。 ■ PowerPoint （パワポ） でじっくりと理解したい方は、 下記のスライドを参照してください。 Section １３　どのような集計をして、グラフを描くのか？ by @Cat_Taro ■ 参考資料は、下記のURLをクリック！株式会社アシストが運営している「WebFOCUS」からの引用です。 https://fobi.ashisuto.co.jp/tech/imasara/olap/