データサイエンス チュートリアル

前回取り込んだ24個のExcelファイルを、年度ごとの推移を分析するために「 concat 」を使って、結合していきます。 その過程で、 ワイルドカード 、 forループ 、 リスト内包表記 という便利な機能も使っていきますので、しっかりと身に付けていきましょう。 ● 特定のファイルのパス名とファイル名を取得する 　　　 85. glob.glob(‘ファイルのパス/ファイル名.ファイル形式’) ● データを単純に結合する 　　　 86. pd.concat([データ名1, データ名2, …],  ignore_index=True) ● 繰返し処理する 　　 　 87. for イテレーター in イテラブルオブジェクト:                   処理1                   処理2                   ・・・ ● 末尾（最後）に要素を追加する 　　 　 88. リスト名.append(引数)  ● リスト内包表記 　　　 pd.concat((pd.read_csv(i) for i in all_files), ignore_index=True) ************ ■ まずは、下記の 動画 （8分24秒）をご覧ください。 ■ 次にプログラムの 解説 を自分のペースで読みましょう。 下記のスライドを参照してください。 #35 データの結合 by @Cat_Taro ************ ★参考資料 ■ concatのイメージ by shunさんの「データサイエンスの道標」 https://datasciencemore.com/python-pandas-concat/ ■ ［解決！Python］内包表記でリストを作成するには https://atmarkit.itmedia.co.jp/ait/articles/2106/29/news021.html ************ ■ このセクションのプログラムは下記のようになります。    実際に、コピペして コラボ で試してみましょう！ import glob all_files = glob.glob('/content/drive/MyDrive/Colab Notebooks/医療/データ/*.csv') all_

DIAMOND online が、DeNAの医療データへの疑惑に関して、特集を組んでいます。 対象となった企業DeNAの連結子会社には、データホライゾンとDeSCヘルスケア（ディーエスシーヘルスケア）があり、 医療データの流れをまとめると、下記のようになっています。 自治体 → データホライゾン → DeSC → 保険会社、 製薬企業 DIAMOND onlineの特集記事を時系列で並べると、2023年12月に疑惑が浮上して、自治体の調査結果が明らかになった2月下旬にその結果と弁護士の意見を掲載しています。ちなみに、DeNAは 2023年12月の疑惑の記事を即座に否定しています。 ●2023年　12月18日 【スクープ】DeNAが医療データ「目的外利用」の疑惑浮上！提供自治体が調査へ ● 2024年2⽉28⽇ 【スクープ】DeNAが医療データの「第三者への有償提供」を提供⾃治体に認める︕⽬的外利⽤で個⼈情報保護法違反か ● 2024年2⽉29⽇ 【内部資料⼊⼿】DeNAが「⾃治体の医療データ」を⽣保にモーレツ営業︕営業資料に透ける不正の動機とは︖ ● 2024年3⽉1⽇ DeNAの医療データ有償提供は「個⼈情報保護法違反」か︖専⾨家が指摘する違法性とは 2024年 2⽉28⽇ の記事では、 DIAMOND onlineが自治体に取材し、自治体とデータホライゾンの委受託契約を入手したとのこと。 それによると、自治体とDeNAグループの最大の祖語、争点は、 自治体が データホライゾンに委託している業務は、「 住民の医療費負担の適正化等広く住民の福祉の向上に資する業務 」となっており、その 解釈の違い です。 ★ 自治体 →保険会社や製薬企業への有償提供について事前の説明が無かった。これらの有償提供は 契約範囲を逸脱 している。 ★ DeNAグループ → 「 住民の医療費負担の適正化等広く住民の福祉の向上に資する業務 」は、 保険会社や製薬企業への有償提供を含んでいる 。 自治体が保有している医療データは、 医療機関が 国民健康保険 の 保険者に提出する月ごとの診療報酬明細書（ レセプト ）のことで、 保険者は市町村と都道府県になっています （ 平成30年4月以降 ）。この 国民健康保険 は、 職場の健康保険（健康保険組合や共済組合など）に加入している人や生活保護を受けて