データサイエンス チュートリアル

前回は、【活用編】 所得・給与の第一回目ということで、所得・給与に関して、国の調査についての概要をまとめました。 今後は、それぞれの調査について、詳細を見ていき、実際のデータで分析をしてみます。 まずは、『市町村税課税状況等の調』を取り上げました。 『市町村税課税状況等の調』は、国の調査なのですが、総所得金額、所得割の納税義務者数、一般株式等に係る譲渡所得金額等がすべての市町村別（東京都は区も）にわかります。また、アンケート調査ではなく、実際に徴収された税金額や税金を算出するための所得等のデータですので、客観性、信頼性が高いと思います。 これらが、第一番に取り上げた理由です。 １．市町村税課税状況等の調 『 市町村税課税状況等の調 』は、地方自治法の規定に基づき、 総務省 （総務省 自治税務局）が、全都道府県、全市町村を対象に課税状況等について照会を行い、その報告を集計編さんしたものです。 市町村税の課税状況に関する唯一の統計資料として、地方財政計画における収入見込や、税制改正が行われる場合等における重要な基礎資料として活用されるほか、 個々の市町村 の財政運営の状況、経済動向等を知ることのできる重要な調査となっています。 各年度のデータは、下記の総務省のホームページからダウンロードすることができます。 ● 令和5年度 ～ 令和7年度 https://www.soumu.go.jp/main_sosiki/jichi_zeisei/czaisei/czaisei_seido/czei_shiryo_ichiran.html ● 平成28年度～令和4年度 https://www.soumu.go.jp/main_sosiki/jichi_zeisei/czaisei/czaisei_seido/ichiran09.html ２．税金の知識 さて、整理されている表をざっくり見てみましょう！ 令和7年度_市町村税課税状況等の調_概要一覧 by @Cat_Taro ふーっ、データを分析し、何らかの洞察を得るためには、最低限の税金の知識が必要なことがわかります。 (1) 国税・地方税の税収内訳 内閣が毎年度作成して国会に提出し公表する、翌年度の地方団体の歳入歳出総額の見込額『地方財政計画額』の 令和8年度 版でみると… 金額の内訳は、 国税は約87.4兆円 、...

10月に入って、年収やボーナスの話題が増えてきました。 そろそろ、ボーナスや年末調整の季節になってきたのでしょうね。 ところが、 Yahooで見た限り、その根拠となるデータがそれぞれ異なっています。民間給与実態統計調査、民間給与実態統計調査、毎月勤労統計調査、賃金構造基本統計調査、市町村税課税状況等の調…。 それぞれどんな調査なのか、Geminiの助けを借りて、まとめてみました。 なるほど、Yahooで見つけた記事の根拠となるデータは、それぞれ実施している機関や調査対象などが異なっているようです。 『主な集計項目』に関しては、Geminiでは限界がありそうなので、確認していく必要がありそうです。また、 NDBオープンデータ の時と同様に、年度ごとの集計になっていますので、時系列で見たときに新たな知見が生まれてくるかもしれません。 そこで、それぞれのデータのサマリーを行い、チュートリアルで体験したコードを中心にした分析を試みることにしました。NDBオープンデータでは、データの収集や加工を中心に体験しましたが、今度は、分析によって新たな知見を発見することを目標とします。 この記事は、日本にオープンデータがある限り続きますので、多分、終わることはないでしょう…。終わるまで、チャレンジを続けるという決意を込めて、このブログの構成も変更しました。今までのデータサイエンス体験に関する記事は『チュートリアル』、そして、新しくはじめるものは『活用編』として分類します。 詳細は、『 ■ このブログのガイド 』をご覧ください。 『活用編』は、 一般社団法人先端技術普及協会（略称：DLTA／デルタ） とのコラボを活用して、より多くの方々に参加していただければと思います。大げさに考えず、このブログの記事にコメントお願いします！ ・こんなデータがあったよ ・このデータは、ココに注意！ ・分析結果に物申す 等など、お気軽に～

 最後に、体験したトレーニング済みモデルを使って、ある1個の画像に対する予測を行ってみましょう。 １．予測する画像の選択 テスト用データセットの2番目の画像を選択します。 念のため、選んだ『test_image[1]』の縦・横のピクセル数を確認してみると、縦28ピクセル × 横28ピクセルで、トレーニング済みモデルで予測することが可能であることが確認できました。 この確認作業は、予測をする際に重要です。今回は、同じデータセットをトレーニング用とテスト用に分割したので、縦・横のピクセル数が揃っていることはわかっていますが、実際の場面では、予測用の新たなデータを使うことが多いので、このような確認作業をルーティンにしていきましょう。 ２．予測する画像の目視 選んだ画像がどんなものか、 Section 4『データの前処理』 のところで書いたコードを活用して、実物を見てみます。 ３．予測する画像の前処理 今回のKeras のモデルは、『 3次元テンソル 』 を予測するように作ってきました。そのため、内部では常に『3次元テンソル』のデータを待ち受けています。 もし、次元を追加せずに1枚の画像を probability_model.predict(img) に渡してしまうと、モデルは「データの形が違う！」とエラーを起こしてしまいます。 そのため、「1枚だけの画像だけど、形の上では『枚数が1のデータの塊』ですよ」と見せかけるために、『 np.expand_dims 』を使って先頭に次元を追加します。 『 np.expand_dims(配列, 軸の番号) 』は、指定した位置に、長さ「1」（すなわち枚数が１）の新しい次元（軸）を追加する NumPy の関数です。 ４．予測結果  さて、予測するデータの次元を『3次元テンソル』 にできたところで、予測をしてみましょう。 上記の結果は直感的にわかりにくいので、『f文字列』を使って、通常の小数に変換してみます。 この際、『for p in predictions_single:』でループを回すと、エラーが出てしまいます。 この原因は、『predictions_single』が、2次元の配列（形が (1, 10))になっているためです。 先ほどのステップで『np.expand_dims()』を使って画像にバッチの次元を追加した...

『np.argmax(predictions[数字])』で、画像が何かを予測できるようになりました。 これ以降は、下図のように『予測結果の一部を一覧で表示し、確率をグラフで図示する』コードを体験していきましょう。 １．予測結果の図示 画像と確率がグラフで分かりやすいですね。出来上がったモデルをプレゼンテーションする際に、非常に説得力のある図ですので、さっそくコードを見ていきましょう。 ※ Matplotlib が中心になりますので、興味のある方は、下記を参照してください。 【参考】 matplotlib – GridSpec で図の中に複数のグラフを作成する方法 興味が湧かない方は、こういうコードもあると頭の片隅にでも記憶しておいて、使う場面があったらコピペしましょう。 ２．自作の関数 さて、ここでは、自作の関数を作成し、『予測結果の一部を一覧で表示し、確率をグラフで図示する』コードを書いていきます。 　def 関数名(引数):       　  処理内容 関数名は自由に決めることができますが、慣習として すべて小文字 にします。関数名に複数の単語を使う時は、単語の間に『 _ 』を使います。 下記に、簡単な例を挙げておきます。 『 while 』は、条件を満たさなくなったら繰返し処理（ループ）を終了するものです。以前解説した『 forループ 』では、指定された回数繰り返すと終了でしたので、繰返し処理（ループ）の条件が異なりますね。 【参考】 #35 データの結合 ３．画像と予測ラベルを表示する関数 チュートリアルのコードを見てみましょう。前半の部分は、自作の関数『 plot_image 』を定義したもので、それは、指定した1枚の画像を表示し、その下に『予測結果』、『確率（%）』、『実際の正解』をテキストで表示させる関数です。 ４．10個のクラスの予測確率を棒グラフで表示する関数  後半の部分は、自作の関数『 plot_value_array 』を定義したもので、それは、モデルが出力した10個のクラスごとの確率を、0～1の範囲の棒グラフで可視化させるものです。 ５．予測を検証する では、予測を検証するために、テスト用データセットの最初の画像（インデックス 0）について、モデルの予測画像と各クラスの予測確率の棒グラフを左右...

このSectionでは、トレーニングされたモデルを使用して、テストデータのいくつかの画像に関する予測を行っていきます。 公式チュートリアルでは、下記の流れで予測を行い、確認をしています。本Sectionでも、この流れに沿って、Keras3に書き換えて体験していきましょう。   １．出力層にすべてのラベルの確率を出力するレイヤーを追加した予測用のモデルを新たに作る ２．そのモデルを用いて、テスト画像（10,000枚）に対する予測を一括で行う ３．特定のサンプルの結果を見てみる ４．どのラベルが一番確信度が高いかを出力する １．出力層にすべてのラベルの確率を出力するレイヤーを追加した予測用のモデルを新たに作る 出力層にすべてのラベルの確率を出力するレイヤーを追加した予測用のモデルを『probability_model』と宣言します。 公式チュートリアルでは、①のコードを使っていますが、Keras3で書き換えるために『tf.keras』の部分を『keras』に変更します。 このコードは、元のモデルの出力（ロジット）を、人間にとって直感的に理解しやすい『確率（0%〜100% / 合計が1.0）』に変換する新しい予測専用モデルを作成するという処理を行っています。 ２．そのモデルを用いて、テスト画像（10,000枚）に対する予測を一括で行う 次に、下記を用います。 モデル名.predict(データ名) 作成した確率変換用モデル『probability_model』を使い、テスト画像（10,000枚）に対する分類予測を一括で実行し、その結果（確率）を取得する処理を行います。結果は、『predictions』と宣言します。 『predictions』と宣言しなくてもいいのですが、他のメンバーにもわかるように、 『predictions』に近い表現をすることをお勧めします。 結果は、下記のようになります。 Kerasの predict() メソッドのデフォルトのバッチサイズ（1回にまとめて処理する画像枚数）は32枚です。10,000枚を32 枚ずつ処理すると、10000/32＝312.5となり、端数を切り上げて合計313回のステップ（バッチ処理）で全10,000枚の予測を完了したことを表しています。 ３．特定のサンプルの結果を見てみる 『probability_model』が...

今回は、『#78 レイヤーの設定』で作成したモデルに対して、コンパイル、トレーニングを行い、さらにトレーニング済みのモデルを評価することを体験します。 コンパイルとは、後述しますが、トレーニングを進める方法や評価基準をどうするかというルールを設定して、モデルのトレーニングの準備することです。  その前に、ディープラーニングのしくみについて、簡単に説明しておきます。  １．ディープラーニングのしくみ 複数の 隠れ層 （ 中間層 ）を持つ ニューラルネットワーク 、すなわち ディープラーニング は、神経細胞をモデルにシステム上で動くように設計されたものです。神経細胞のニューロンに対応した人工ニューロンを ノード と呼びます。下記のスライド図1では、〇で表されているところです。 このノードを拡大すると、図2のようになります。入力、入力の数、重み、バイアス、活性化関数、出力によって表されます。 ノードの構成する要素を簡単に説明すると下記のようになります。 重み → 入力情報の重要度を決定する倍率（係数）です。 → トレーニング前はランダムな初期値ですが、model.fit() によって最適な値に書き換えられていきます。 バイアス → ノードの感度・発火のしやすさを調整する閾値（定数）です。 → 重みと入力の積の総和に対して、ノード1個に対して1個の定数値として足し算されます。重みと同様にトレーニングによって自動更新されます。 活性化関数 → 生物学的なニューロンにおける「一定以上の刺激を受けると発火する」動作を再現するスイッチの役割を担っています。 → この関数を用いて出力を算出するのですが、ニューラルネットワークやディープラーニングでは、この関数を用いることにより単なる一次関数ではなく、複雑な曲線や境界線（非線形なパターン）を学習する表現力を獲得することになります。 出力 → ノードの最終計算結果、すなわち次の層への入力値となります。 ★「会議の発言がどう伝わるか」で考えるたとえ話が秀逸です！ 【参考】 AI がざっくりわかる  　 https://note.com/nice_sable4056/n/nd989bea2c114 ************* ノードを構成している入力、入力の数、重み、バイアス、活性化関数を用いると出力は一つの数式で...