データサイエンス チュートリアル

データがどのようなものかを観察したら、次は、データの前処理を行います。 １．データの目視 トレーニングの前に、データを前処理する必要があります。前処理はピクセルの値がどのようになっているかにより変わってきますので、画像の目視をしながら確認していきましょう。 Matplotlibを使って画像を描画します。コードは下記のようになります。 　plt.figure() 　plt.imshow(train_images[ 0 ]) 　plt.colorbar() 　plt.grid( False ) 　plt.show() ここからは、コードの解説です。 ① plt.figure()  グラフや画像を書き込むための「白いキャンバス（外枠）」を新しく準備する際に使います。今回は引数がありませんが、( )内に次のような引数を指定することができます。 figsize : (width, height)のタプルを渡す。単位はインチ／dpi: 1インチあたりのドット数 facecolor : 背景色／edgecolor: 枠線の色 ② plt.imshow(train_images[0])  imshow は、数字の羅列である画像データを、私たちが目で見られる画像に変換してキャンバスに貼り付ける処理を行います。 ( )内の『train_images[0] 』は、訓練用データセットの「0番目（最初）の画像データ」を指しています。 ③ plt.colorbar()  画像の横にカラーバー（色と数値の対応表）を表示します。コンピュータにとって画像は『ピクセルごとの数値の集まり』です。このチュートリアルの画像は、各ピクセルが 0（黒・背景）から 255（白・衣類の部分）までの数値で表されているため、どの色がどの数値に対応しているかを視覚的に分かりやすくしてくれます。 ④ plt.grid(False)  画像の上に重なるグリッド線（網目状の補助線）を「非表示」にします。True にすると写真の上に方眼紙のような線が引かれてしまい、画像が見づらくなることがあるため、ここでは False にしてすっきりさせています。 ⑤ plt.show()  ここまで準備したキャンバスを、実際に画面として表示させます。1〜4行目までは「こういう画面を作れ」という命...

では、 実際にコードを体験してみましょう。 TensorFlow公式サイト の チュートリアル から、初級の『KerasによるMLの基本』→『基本的な画像分類』を選んでクリックすると、『 はじめてのニューラルネットワーク：分類問題の初歩 』というチュートリアルが現れます。 今回は、この教材を基に解説していきます。 この教材は、TensorFlowのためのものでAPIとして『tf.keras』が用いられていますが、今回はこれを少し変更して、Keras3で進めていきたいと思います。 TensorFlowで『tf.keras』を用いた場合とKeras3の場合では、コードにどのような差があるのかを体験してみてください。 １．Kerasをインポート コラボで Keras3を使うのは、実はとても簡単です！ コラボにプリインストールされている TensorFlow のバージョンはすでに 2.16 以上になっているため、特別なインストール操作をすることなく、最初からKeras3が使える状態になっています。さあ、Kerasをインポートしましょう！ 公式チュートリアルでは、バージョンが「2.11.0」になっていますが、今回はバージョンが「2.20.0」になっていました。 ２．データセットFashion MNIST TensorFlow 公式チュートリアルで使用している『Fashion MNIST』とは、衣料品やバッグなど10種類のファッションアイテムの画像を集めた機械学習・画像認識用のデータセットです。 もともと手書き数字の画像セット『MNIST』が機械学習の入門用として広く使われていましたが、現在のAI技術では簡単になりすぎたので、ソフトウエアの企業Zalandoの研究チームが2017年に公開したものです。 各サンプルは、28×28ピクセル（マス）のグレースケール画像で、サンプル数は70,000、10種類のラベルと関連付けられています。 今回は、このデータセット『Fashion MNIST』をインポートしていきましょう。 ３．データセットFashion MNISTをインポートする 『TensorFlow 公式チュートリアル』の通りに、コードを書くと、下記のようにエラーが出てしまいます。 よく見ると、『 tf.keras. 』という文字があります。これは、TensorFlowのコードで...

ディープラーニングを行う際、使用するツールは、OSSでは TensorFlow か PyTorch が主流です。 しかし、現在、Kerasが『TensorFlowの初心者向けラッパー』という枠組みを完全に超越し、Kerasのシンプルな書き方を1度覚えれば最新の恩恵をすべて受けられる状態になっています。そのため、『5th STEP ディープラーニング』では、Kerasを使っていきます。 Kerasは、ギリシャ語で『角（horn）』を意味する言葉に由来しており、ホルンのようにシンプルで美しく鳴るツールにしたいという開発者の願いが込められています。 ここでは、Kerasの開発者の中心メンバーであるフランソワ・ショレやKeras開発経緯についてまとめてみました。 ショレの思想やKeras開発の経緯を知ることにより、Kerasへの愛着を深めていきましょう。 好きになることが、上達の秘訣です。 １．フランソワ・ショレ（François Chollet） ショレ氏はフランスの出身で、同国のエリート養成機関であるENSTA Paris（国立高等先端技術学校）で学びました。応用数学、コンピュータサイエンス、信号処理、システム工学、そしてオートメーション（自動制御）などを専攻し、高度な科学的・技術的基盤を構築しました。この在学中（2011〜2012年頃）から、すでにニューラルネットワークを用いた研究や実験に関わり始めています。2012年にMaster of Engineeringを取得しました。 学位取得後の2012年から、ショレ氏は日本に渡り、東京大学の大規模システム・知能シミュレーション研究室（國吉康夫教授の研究室）に研究員として籍を置きました。 東大時代は、現実世界のノイズが多いデータストリームを扱うための「自己組織化（非監視下学習）アルゴリズム」や「オンライン推論」、そして人間の幼児が環境に適応しながら知能を獲得していくプロセスを模した「認知発達ロボティクス（Cognitive Developmental Robotics）」の研究に従事しました。 「 AIとは、単に大量の固定データを統計処理するシステムではなく、未知の環境に対して自律的に適応・抽象化を行うシステムである 」という彼の現在のAGI（汎用人工知能）に対する根幹の思想は、この東大研究室時代に深く形成されたと言われて...

ジェフリー・ ヒントン は、 ディープラーニング の研究で、2024年のノーベル物理学賞を受賞しました。 ヒントンは、2013年、自身のAI関連スタートアップであるDNNresearchがグーグルに買収されたことで、Googleに入社。以来、Googleと、教授を務めるトロント大学で研究を続けてきました。2019年には、「ディープラーニング革命の父たち」としてルカン氏、ヨシュア・ベンジオ氏とともにチューリング賞をノーベル賞に先立って受賞しています。 そのヒントンが、2023年5月にGoogleをやめました。 彼は、長年にわたり、AIの倫理的な問題を指摘していました。とりわけ気にしていたのが、軍事用途への採用についてです。New York Timesのインタビューでは、Googleを辞めたので、AIのリスクについて自由に話せるようになったと語っています。今となっては自分のライフワークについて後悔しているが「私がやらなくても誰かがやっていただろうと自分を慰めている」とのことです。 開発者自らが自分の研究について後悔していると述べるほど、ディープラーニングが社会にインパクトを与えたわけですが、ディープラーニングを体験することでリスクの一端を知ることに少しでも役に立てばと思い、当ブログでも5th STEPとして、ディープラーニングを取り上げることにします。 5th STEPの最初のSectionとして、まずは、ディープラーニングがどんなものかを解説していきます。 １．ディープラーニングのポジション ディープラーニングは、大量のデータから特徴やパターンを自動で学習する機械学習の手法の一つで、AIに属しています。 ２．ディープラーニングのしくみ ディープラーニングは、人間の脳の記憶の仕組みにヒントを得て、開発されました。まさに、AI（人工知能）ですね。 【出典】　 https://www.wakodo.co.jp/product/special/babyfood/babyfood/global/advice/article01.html その後、各研究者により、コンピュータ上における神経細胞のモデル化が行われました。しかし、コンピュータの性能が低かったり、実験を行うためのビッグデータが未整備だったために、社会実装化されることはなく理論上のものとして扱われていました。 ちなみに、...

「宇都宮大学 コラボレーション・フェア」で 有限会社マイティー千葉重でデータサイエンス事業（主として観光分野）の事業統括をしている 堀江智史 さんとお知り合いになりました。隣のブースだったので、データサイエンス事業の技術的、事業展開上の苦労話で盛り上がりました。この縁をイベントだけで終わらせるのは名残惜しいので、厚かましくも当ブログへの寄稿を原稿料0円でお願いしていましたが、この度、寄稿文を受け取りました。 堀江さんは、データサイエンティストの醍醐味が、「 複雑に絡まったものが、ある瞬間にスッとほどける感覚 」にあると言います。私も、この感覚を感じたことが幾度もあり、非常に共感できました。 前置きはこのくらいにして、早速、データサイエンティストとして、新規事業を率いている堀江さんのリアルな活動に触れてみましょう！ 寄稿文  データ分析にハマった経緯とその楽しさ、心がけている事 宮城・東北の豊かな観光資源を、データの力で呼び覚ましたい。そんな想いを胸に日々活動している、観光データマーケターの立場から寄稿させていただきます。 観光とデータ。一見すると正反対にあるようにも思えるこの二つが掛け合わさることで、地域にどのような変化が生まれるのか。これまでの歩みと、現場で感じてきた「データ分析の仕事」についてお話しします。 ①なぜ、データ分析の事業／仕事を行うようになったのですか？ 私のキャリア、そして会社の原点は、1954年に宮城県で創業した一軒の酒屋です。 弊社代表の祖父の代に始まった酒屋は、地域の暮らしを支える存在でした。その後、代表の父（現在の会長）の代でスーパーマーケットへと業態を変え、現在の代表である三代目の代からは、地酒を全国に届けるためのECサイト運営へと広がっていきました。 私がデータ分析に本格的に関わるようになったのは、このEC事業がきっかけです。 実店舗と違って、ECはとにかく数字がシビアです。 商品を並べただけでは売れないし、広告を出しても検証しなければお金が消えるだけ。 「なんとなく良さそう」は、まったく通用しません。 気づけば、アクセス解析や売上データを独学で追いかける日々でした。 どこでユーザーが離脱しているのか 検索の裏にどんな本音が隠れているのか 打った施策が本当に利益につながっているのか そうやって試行錯誤を繰り返すうちに、一つの...

『#56 分析環境再構築/コラボのPythonバージョンアップ』でも、述べましたが、GoogleコラボのPythonのバージョンアップにより、GoogleコラボでPyCaretは動かなくなります。 https://tutorial4datascience.blogspot.com/2025/09/56.html ★現在の状況 (2026年1月〜2月時点) → デフォルトバージョン: Python 3.12 にアップデートされています。 → サポート終了の目安: Python 3.10環境は2026年2月23日〜8月頃 にかけて、順次利用できなくなっています。 → Pycaretは、Python 3.10までしかサポートされていません。 そこで、『 Dockerコンテナ 』を使って、PyCaretを動かしてみようと思います！ 『Dockerコンテナ』は、アプリケーションのコード、ライブラリ、設定ファイルなどをパッケージ化し、ホストOS上で分離された軽量な仮想環境として実行する技術です。 今回は、『 Docker Desktop 』という自分のPC（ローカル環境）で、手軽にDockerコンテナを動かしたり管理したりするためのオールインワン・ツールを使って、『Dockerコンテナ』を作成します。 手順は以下のとおりです。 　　１. 公式サイトで、ユーザー登録 　　２. Docker Desktopをダウンロード・インストール 　　3. 初回起動 　　４. DockerイメージのPull（ダウンロード） 　　５. ホルダー作成 　　６. コンテナ作成 　　７. ブラウザー起動 　　８. Jupyterノートブックでコードを書く 　　９. Docker Desktop終了 　　10. 再現  データサイエンティストを目指すからと言って、「Dockerコンテナはインフラ系の技術でしょ！」と遠ざけることなく、まず、体験してみましょう。 スクショを中心とした スライドにまとめてみましたので、是非、自分でもDockerコンテナを構築してみてくださいね。 #73 【解決編】 PythonとPyCaretのバージョン問題 by @Cat_Taro

さて、Pycaretでのクラスタリングはいかがでしたか？ #65 Section 20～#71 Section 26を振り返ってみましょう！ 最低限、下記のコードを覚えれば、機械学習の『クラスタリング』で分析することができます。ただし、結果の評価や比較などは、統計的な理解が必要になります。 教師あり学習と較べると、交差検証関連やcompare_models関数が使えないなどの違いがあります。 ↓スライドをクリックすると大きくなります！

クラスタリングの最後は、モデルの保存と再利用の方法を体験していきます。 １．モデルの保存 クラスタリングの最後は、 save_model 関数を使用します。今まで前処理を行って評価してきたモデルをディスクに保存することができます。  save_model(選択したモデルの名前, '保存するモデルの名前') 今回は、モデル『kmeans』を『kmeans_pipeline』という名前で保存します。 『kmeans_pipeline』は、現在の作業ディレクトリに、モデルのIDに *.pkl の拡張子が付いたファイル（* pickle形式 ）として保存されます。これは、後でいつでも利用することができます。 *pickle形式：Pythonのメモリ上にあるデータ構造（例えば、リスト、辞書、クラスのインスタンス、そしてPyCaretの学習済みモデルなど）を、ファイルに書き込んで保存できる形式のことです。そして、保存したファイルから元のPythonオブジェクトを復元できます。 pickle形式のファイルは、path引数で指定した場所、または今回のようにpath引数を省略した場合は現在の作業ディレクトリに保存されます。関数の出力や、ファイルシステムを直接確認することで、保存場所を特定できます。ただし、 pickleファイルはテキスト形式ではなく、コンピュータが効率的にデータを読み書きするためのバイナリ形式で保存されています。そのため、 Googleドライブの検索エンジンでは 、ファイルの内容をテキストとして解析することが難しく、 キーワードで検索することができません 。 ２．モデルの保存 出力 save_model 関数を実行すると、その出力には、個々の処理ステップの詳細と、最終的な学習済みモデルの種類とハイパーパラメータ、そして保存されたファイルの名前が出てきます。 その記載の内容は、下記のスライドを参照願います。 ３．モデルの利用 下記の load_model 関数を使うと、保存されたモデルを読み込む（ロードする）ことができます。 load_model(‘保存したモデル名‘) ４．モデルの利用 出力 load_model 関数を使うと保存されたモデルを読み込むことができますが、その出力には、個々の処理ステップの詳細と、最終的な学習済みモデルの種類とハイパーパラ...

１．predict_model関数 『Prediction』の最初のコードは、 predict_model関数 を使った予測になります。 predict_model(モデル名, data=データ名) predict_model関数は、本来は未知のデータを予測するためのものですが、ここでは未知のデータの用意が無いので、モデル作成時に使ったデータを引数で指定しています。 本来は、新たなデータに作成したモデルを適用させたい場合に、 predict_model関数を使います。 結果は、assign_model関数で付与されたクラスターラベルと同じものが付与されています。 【参考】 データの確認 今回予想した『kmeans_pred』と、 assign_model関数でクラスターラベルを付与した『kmeans_cluster』は、同じデータであるはずです。これを確認してみましょう。 2つのDataFrameが同じものであるかどうかを判定するには、『応用編 Webスクレイピング／#44 Supplement ２　DataFrameの比較』で体験した「equals」を使います。 https://tutorial4datascience.blogspot.com/2025/03/supplement-dataframe.html 96 　 データ1.equals(データ2) を使って確かめてみましょう。 結果は、『False』でした。どこかが、不一致のようです・・・。 値の違うindexと列を特定するには、「 compare 」を使います。 https://tutorial4datascience.blogspot.com/2025/03/supplement-dataframe.html 97 　データ1.compare(データ2) を使って確かめてみましょう。 列『SpendingScore』と列『Savings』の数値が表示されています。 『self』はデータ1にあたる『kmeans_pred』、『other』はデータ2にあたる『kmeans_cluster』の値です。 よく見ると、列『Savings』の数値が微妙に違っています。 『kmeans_cluster』は、setup関数でデータの前処理を行ってからクラスターラベルを付与したデータにモデルを適用したものですが、『km...