データサイエンス チュートリアル

ジェフリー・ ヒントン は、 ディープラーニング の研究で、2024年のノーベル物理学賞を受賞しました。 ヒントンは、2013年、自身のAI関連スタートアップであるDNNresearchがグーグルに買収されたことで、Googleに入社。以来、Googleと、教授を務めるトロント大学で研究を続けてきました。2019年には、「ディープラーニング革命の父たち」としてルカン氏、ヨシュア・ベンジオ氏とともにチューリング賞をノーベル賞に先立って受賞しています。 そのヒントンが、2023年5月にGoogleをやめました。 彼は、長年にわたり、AIの倫理的な問題を指摘していました。とりわけ気にしていたのが、軍事用途への採用についてです。New York Timesのインタビューでは、Googleを辞めたので、AIのリスクについて自由に話せるようになったと語っています。今となっては自分のライフワークについて後悔しているが「私がやらなくても誰かがやっていただろうと自分を慰めている」とのことです。 開発者自らが自分の研究について後悔していると述べるほど、ディープラーニングが社会にインパクトを与えたわけですが、ディープラーニングを体験することでリスクの一端を知ることに少しでも役に立てばと思い、当ブログでも5th STEPとして、ディープラーニングを取り上げることにします。 5th STEPの最初のSectionとして、まずは、ディープラーニングがどんなものかを解説していきます。 １．ディープラーニングのポジション ディープラーニングは、大量のデータから特徴やパターンを自動で学習する機械学習の手法の一つで、AIに属しています。 ２．ディープラーニングのしくみ ディープラーニングは、人間の脳の記憶の仕組みにヒントを得て、開発されました。まさに、AI（人工知能）ですね。 【出典】　 https://www.wakodo.co.jp/product/special/babyfood/babyfood/global/advice/article01.html その後、各研究者により、コンピュータ上における神経細胞のモデル化が行われました。しかし、コンピュータの性能が低かったり、実験を行うためのビッグデータが未整備だったために、社会実装化されることはなく理論上のものとして扱われていました。 ちなみに、...

「宇都宮大学 コラボレーション・フェア」で 有限会社マイティー千葉重でデータサイエンス事業（主として観光分野）の事業統括をしている 堀江智史 さんとお知り合いになりました。隣のブースだったので、データサイエンス事業の技術的、事業展開上の苦労話で盛り上がりました。この縁をイベントだけで終わらせるのは名残惜しいので、厚かましくも当ブログへの寄稿を原稿料0円でお願いしていましたが、この度、寄稿文を受け取りました。 堀江さんは、データサイエンティストの醍醐味が、「 複雑に絡まったものが、ある瞬間にスッとほどける感覚 」にあると言います。私も、この感覚を感じたことが幾度もあり、非常に共感できました。 前置きはこのくらいにして、早速、データサイエンティストとして、新規事業を率いている堀江さんのリアルな活動に触れてみましょう！ 寄稿文  データ分析にハマった経緯とその楽しさ、心がけている事 宮城・東北の豊かな観光資源を、データの力で呼び覚ましたい。そんな想いを胸に日々活動している、観光データマーケターの立場から寄稿させていただきます。 観光とデータ。一見すると正反対にあるようにも思えるこの二つが掛け合わさることで、地域にどのような変化が生まれるのか。これまでの歩みと、現場で感じてきた「データ分析の仕事」についてお話しします。 ①なぜ、データ分析の事業／仕事を行うようになったのですか？ 私のキャリア、そして会社の原点は、1954年に宮城県で創業した一軒の酒屋です。 弊社代表の祖父の代に始まった酒屋は、地域の暮らしを支える存在でした。その後、代表の父（現在の会長）の代でスーパーマーケットへと業態を変え、現在の代表である三代目の代からは、地酒を全国に届けるためのECサイト運営へと広がっていきました。 私がデータ分析に本格的に関わるようになったのは、このEC事業がきっかけです。 実店舗と違って、ECはとにかく数字がシビアです。 商品を並べただけでは売れないし、広告を出しても検証しなければお金が消えるだけ。 「なんとなく良さそう」は、まったく通用しません。 気づけば、アクセス解析や売上データを独学で追いかける日々でした。 どこでユーザーが離脱しているのか 検索の裏にどんな本音が隠れているのか 打った施策が本当に利益につながっているのか そうやって試行錯誤を繰り返すうちに、一つの...

『#56 分析環境再構築/コラボのPythonバージョンアップ』でも、述べましたが、GoogleコラボのPythonのバージョンアップにより、GoogleコラボでPyCaretは動かなくなります。 https://tutorial4datascience.blogspot.com/2025/09/56.html ★現在の状況 (2026年1月〜2月時点) → デフォルトバージョン: Python 3.12 にアップデートされています。 → サポート終了の目安: Python 3.10環境は2026年2月23日〜8月頃 にかけて、順次利用できなくなっています。 → Pycaretは、Python 3.10までしかサポートされていません。 そこで、『 Dockerコンテナ 』を使って、PyCaretを動かしてみようと思います！ 『Dockerコンテナ』は、アプリケーションのコード、ライブラリ、設定ファイルなどをパッケージ化し、ホストOS上で分離された軽量な仮想環境として実行する技術です。 今回は、『 Docker Desktop 』という自分のPC（ローカル環境）で、手軽にDockerコンテナを動かしたり管理したりするためのオールインワン・ツールを使って、『Dockerコンテナ』を作成します。 手順は以下のとおりです。 　　１. 公式サイトで、ユーザー登録 　　２. Docker Desktopをダウンロード・インストール 　　3. 初回起動 　　４. DockerイメージのPull（ダウンロード） 　　５. ホルダー作成 　　６. コンテナ作成 　　７. ブラウザー起動 　　８. Jupyterノートブックでコードを書く 　　９. Docker Desktop終了 　　10. 再現  データサイエンティストを目指すからと言って、「Dockerコンテナはインフラ系の技術でしょ！」と遠ざけることなく、まず、体験してみましょう。 スクショを中心とした スライドにまとめてみましたので、是非、自分でもDockerコンテナを構築してみてくださいね。 #73 【解決編】 PythonとPyCaretのバージョン問題 by @Cat_Taro

さて、Pycaretでのクラスタリングはいかがでしたか？ #65 Section 20～#71 Section 26を振り返ってみましょう！ 最低限、下記のコードを覚えれば、機械学習の『クラスタリング』で分析することができます。ただし、結果の評価や比較などは、統計的な理解が必要になります。 教師あり学習と較べると、交差検証関連やcompare_models関数が使えないなどの違いがあります。 ↓スライドをクリックすると大きくなります！

クラスタリングの最後は、モデルの保存と再利用の方法を体験していきます。 １．モデルの保存 クラスタリングの最後は、 save_model 関数を使用します。今まで前処理を行って評価してきたモデルをディスクに保存することができます。  save_model(選択したモデルの名前, '保存するモデルの名前') 今回は、モデル『kmeans』を『kmeans_pipeline』という名前で保存します。 『kmeans_pipeline』は、現在の作業ディレクトリに、モデルのIDに *.pkl の拡張子が付いたファイル（* pickle形式 ）として保存されます。これは、後でいつでも利用することができます。 *pickle形式：Pythonのメモリ上にあるデータ構造（例えば、リスト、辞書、クラスのインスタンス、そしてPyCaretの学習済みモデルなど）を、ファイルに書き込んで保存できる形式のことです。そして、保存したファイルから元のPythonオブジェクトを復元できます。 pickle形式のファイルは、path引数で指定した場所、または今回のようにpath引数を省略した場合は現在の作業ディレクトリに保存されます。関数の出力や、ファイルシステムを直接確認することで、保存場所を特定できます。ただし、 pickleファイルはテキスト形式ではなく、コンピュータが効率的にデータを読み書きするためのバイナリ形式で保存されています。そのため、 Googleドライブの検索エンジンでは 、ファイルの内容をテキストとして解析することが難しく、 キーワードで検索することができません 。 ２．モデルの保存 出力 save_model 関数を実行すると、その出力には、個々の処理ステップの詳細と、最終的な学習済みモデルの種類とハイパーパラメータ、そして保存されたファイルの名前が出てきます。 その記載の内容は、下記のスライドを参照願います。 ３．モデルの利用 下記の load_model 関数を使うと、保存されたモデルを読み込む（ロードする）ことができます。 load_model(‘保存したモデル名‘) ４．モデルの利用 出力 load_model 関数を使うと保存されたモデルを読み込むことができますが、その出力には、個々の処理ステップの詳細と、最終的な学習済みモデルの種類とハイパーパラ...

１．predict_model関数 『Prediction』の最初のコードは、 predict_model関数 を使った予測になります。 predict_model(モデル名, data=データ名) predict_model関数は、本来は未知のデータを予測するためのものですが、ここでは未知のデータの用意が無いので、モデル作成時に使ったデータを引数で指定しています。 本来は、新たなデータに作成したモデルを適用させたい場合に、 predict_model関数を使います。 結果は、assign_model関数で付与されたクラスターラベルと同じものが付与されています。 【参考】 データの確認 今回予想した『kmeans_pred』と、 assign_model関数でクラスターラベルを付与した『kmeans_cluster』は、同じデータであるはずです。これを確認してみましょう。 2つのDataFrameが同じものであるかどうかを判定するには、『応用編 Webスクレイピング／#44 Supplement ２　DataFrameの比較』で体験した「equals」を使います。 https://tutorial4datascience.blogspot.com/2025/03/supplement-dataframe.html 96 　 データ1.equals(データ2) を使って確かめてみましょう。 結果は、『False』でした。どこかが、不一致のようです・・・。 値の違うindexと列を特定するには、「 compare 」を使います。 https://tutorial4datascience.blogspot.com/2025/03/supplement-dataframe.html 97 　データ1.compare(データ2) を使って確かめてみましょう。 列『SpendingScore』と列『Savings』の数値が表示されています。 『self』はデータ1にあたる『kmeans_pred』、『other』はデータ2にあたる『kmeans_cluster』の値です。 よく見ると、列『Savings』の数値が微妙に違っています。 『kmeans_cluster』は、setup関数でデータの前処理を行ってからクラスターラベルを付与したデータにモデルを適用したものですが、『km...

assign_model関数で、クラスターラベルの付与を行ったところで、チュートリアルの『Analyze Model（モデルの評価）』に進みましょう。 １．plot_model関数 分類や回帰と同様に、plot_model関数を使用すると、学習済みモデルのパフォーマンスを分析できます。 plot_model(モデル名, plot='グラフの種類′) クラスタリングでplot_model関数のグラフの種類についての詳細は、下記の公式ドキュメントの『Examples by module→Clustering』を参照してください。 https://pycaret.gitbook.io/docs/get-started/functions/analyze#clustering ２．plot_model関数 引数 'cluster' まずは、下記のスライドにあるように引数を『 plot = ‘cluster’ 』としたコードが書かれています。これは、「クラスタリングの結果を可視化せよ」という指示ですが、2次元のグラフに表示するために*PCAという次元圧縮技術が自動的に適用されます。 * PCA （ 主成分分析 ／Principal Component Analysis）：たくさんの変数を持つデータを特徴を保ちながら少数の変数で表現する次元削減の手法の一つ。『第1主成分』、『第2主成分』という新しい2つの指標にまとめ上げることができます。 出力された下記スライドのグラフから、このモデルは「非常に良好にクラスタリングができている」と評価できます。 ● クラスタ間の分離 （Separation） が明確 →4つのグループ（Cluster 0〜3）が、平面上で互いに離れた位置に固まっています。これは、モデルがデータ間の明確な違いを捉えられていることを示します。 ● クラスタ内の凝集度 （Cohesion） が高い →各色がバラバラに散らばることなく、特定のエリアに集中して分布しています。これは、同じクラスタ内のデータが互いに似た性質を持っていることを意味します。 ● ノイズ （混合） が少ない →一部、Cluster 3（赤）とCluster 0（青）の境界付近でデータが混じり合っている箇所がありますが、全体としては境界線がはっきりしています。 ★スライドはク...

チュートリアルの『Assign Model』に進みます。 assign_model関数の実行 assign_model関数 は、どのクラスター（Cluster 0, Cluster 1・・・）に属するかを元の入力データセットに新しい列として追加して返してくれます（ クラスターラベル の付与）。 （）内の引数は、create_model関数で宣言したモデルの名称を記入します。 Section22で、kmeans = create_model('kmeans')としていますので、ここでは、『kmeans』を記入しています。 Section22の参考で、下記のようなモデルを定義しましたが、その『kmeans2』を引数として記入すると、下記のスライドのようになります。 kmeans2 = create_model('kmeans', num_clusters = 3) indexが『500』の行のクラスターが、『Cluster 3』から『Cluster 0』 へ変化しました（ 『Cluster 1』も『Cluster 2』も別物ですが…）。 通常、『kmeans』、『kmeans2』等のクラスターラベルの付いたデータを使って、それぞれの平均値や最大・最小値などの要約統計量を算出すること等により、データ分析を進めていくことになります。  

このSectionでは、『クラスタリング』のcreate_model関数を体験していきます。 １．create model関数の実行 チュートリアルの『Create Model』の項の最初は、 create_model 関数を使っています。 回帰では、前処理を行うsetup関数の次は、『compare_models()』行い、『create model関数』は、モデルの呼び出しと確認に使う程度でした。クラスタリングでのcreate model関数は、次のような機能を持っています。 ① 指定したモデル名に基づいて、モデルを訓練 ② 学習データの各行がどのクラスターに属しているか（Cluster ID）をラベルにして付与 ③ 各評価指標による評価 上記のコードでは、代表的なモデル「 K-means法 」を指定して、①～③を実行しています。 出力は、下記スライドのように、③となります。 ２．create model関数の出力 create model関数の出力は、各評価指標による評価となります。 主な各評価指標は、『Silhouette（シルエット係数）』、『Calinski-Harabasz』、『Davies-Bouldin』があります。 Silhouette （シルエット係数）：1に近く、大きいほど良い Calinski-Harabasz ：大きいほど良い Davies-Bouldin ：0に近く、小さいほど良い なお、なお、残りの右３つの評価指標『Homogeneity（均質性）』、 『Rand Index（ランド指数）』 、『Completeness（完全性）』は、 「外部評価指標」と呼ばれ、「正解（真のラベル）」が分かっている時に使うものです。 『正解（真のラベル）』を与えていない、あるいはデータセットに正解となる列が含まれていない状態の場合、すなわち、今回のような場合、これらの指標は計算できず「 0 」と表示されます。 【参考】 評価指標を使ったクラスタリングのブラッシュアップ シルエット係数をグラフ化したところ、クラスター数がデフォルトの4つでいいのかと感じました。 そこで、エルボー法を用いて最適なクラスター数が3であることを確認し、クラスター数を3にしたkmeansの評価指標を算出してみました。 このように、評価指標を確認しながら、ブラッシュア...