データサイエンス チュートリアル

前偏に引き続いて、データサイエンス関連の資格について考えていきます。 IT系には、国家資格、民間資格を合わせると非常に多くの資格が存在しますが、下記の３方向から資格を分類してみました。 ① Pythonの資格 ② データサイエンスの資格 （１）ビジネス寄り （２）エンジニア寄り ③ プログラミング全般の資格 （１）国家資格 （２）民間資格 また、このチュートリアルの位置づけも考えてみましたので、今後のさらなるスキルアップの学習計画立案に参考にしてみてください。 ************　参考資料　************ ★参照リンク １．データサイエンス チュートリアル/基礎編 https://datascience.official.ec/ ２．Python 3 エンジニア認定データ分析試験 https://www.pythonic-exam.com/exam/analyist ３．Python 3 エンジニア認定データ分析実践試験 https://www.pythonic-exam.com/archives/news/cpda-2 ４．データサイエンティスト検定 リテラシーレhttps://www.datascientist.or.jp/dscertification/what/ ５．G検定 https://www.jdla.org/certificate/general/ ６．データサイエンス数学ストラテジスト（中級）／データサイエンス数学ストラテジスト（上級） https://www.su-gaku.net/math-ds/ ７．統計検定データサイエンス基礎 https://www.toukei-kentei.jp/exam/grade11/ ８．統計検定データサイエンス発展 https://www.toukei-kentei.jp/exam/grade12/ ９．統計検定データサイエンスエキスパート https://www.toukei-kentei.jp/exam/grade13/ １０．E資格 https://www.jdla.org/certificate/engineer/ １１．ITパスポート試験 https://www.ipa.go.jp/shiken/kubun/ip.html １２．情報セキュリティマネジメント試験 https://www

こんにちは、猫のタローです。 今日は、データサイエンス関連の 資格 について考えていきましょう。 今まで、ブログや動画で続けてきた「データサイエンス チュートリアル/基礎編」は、知識がまったくなくても、見よう見まねで、基本的なプログラムを書いてみて、その楽しさがわかったら、本格的な学習に進むきっかけになればと始めたものです。 しかし、テキストを配布してしばらくたつと、このチュートリアルを体験してみて、本格的にデータサイエンスの学習に進もうと決意した方々が、 次は何を目指すべきか 、指針が必要だと感じました。 そこで、データサイエンス関連の資格にはどのようなものがあり、その中で、このチュートリアルの位置づけはどのようなものかを解説することにしました。 データサイエンティストになるためには、資格だけではなく、実践経験がとても重要ですが、 学習の指針 、 実務経験のチャンスを得る ためには、資格の取得が必須となることもあります。本格的にデータサイエンスの学習に進もうと決意した方々は、参考にしてください。 前編では、データサイエンティストの定義、スキル、「データサイエンス チュートリアル／基礎編」で身に付くことを改めて振り返ります。 ************ ■ まずは、下記の 動画 （4分18秒）をご覧ください。 リンクはこちら↓ データサイエンティスト協会が定義しているスキル 　■ スキルチェックリスト　ver.5 　■ タスクリスト ver.4 データサイエンス　チュートリアル/基礎編 ■ リンク先等を見たり、自分のペースで見たい方は、 下記のスライドを参照してください。 データサイエンス関連資格_前編 by @Cat_Taro

「データサイエンス チュートリアル」の動画付きチュートリアルの2nd STEPを終え、集計、データの見える化までは、なんとなくやり方がわかるようになってきたと思います。 今まで、出てきたプログラムをリストアップしました。 一通り、動画付きチュートリアルを終えた方は、索引代わりにお使いください。 ********** ■ 1st  STEP  #4 Section 2 ライブラリの選択とデータの読み込み ① import ライブラリ名 as ライブラリの略称 ② pd.read_excel('データのある場所/データ名.xlsx ') #5 Section ３ 読み込んだデータの確認（１） ③ データ名 ④ データ名.head() ⑤ データ名.tail() #6 Section ４ 読み込んだデータの確認（２） ⑥ len(データ名.index) ⑦ データ名[“列名""] ⑧ データ名[“列名""].unique() #7 Section ５ データ型 ⑨ データ名.dtypes ⑩ pd.read_excel(""データのある場所"", dtype = {“列名"": データ型}) #8 Section ６ 列の参照 ⑪ データ名[“列名”] ⑫ データ名[[“列名”]] ⑬ データ名[データ名[“列名”] > 数字] #9 Section ７ 数値の最大値の求め方 ⑭ データ名[“列名""].max(axis=0) ⑮ データ名.describe() ⑯ print(“列名"") ⑰ データ名.sort_values(“列名"",ascending=False) #10 Section ８ データ型の変更（キャスト） ⑱ データ名.astype({“列名”:データ型}) #11 Section ９ 欠損値の見つけ方・削除方法 ⑲ データ名.iloc[行番号 :  ] ⑳ データ名.isna().sum() ㉑ データ名.dropna() #12 Section 10 queryを使った複数条件での抽出 ㉒ データ名.query(“数字1 <= 列名 <= 数

 Pythonの基礎を学ぶイチオシの教材としては、下記の書籍があります。 Pythonの中で、データ分析や機械学習のプログラミングで最も使われるライブラリ（*1）である Pandasの開発者Wes McKinney による人気のテキストです。データ分析を行うための基本を網羅しており、すべてのサンプルコードはダウンロード可能で、Jupyter Notebook（ということはGoogel Colabでも可）で対話的に試し、実際に手を動かしながら知識を確実なものにすることが可能です。 ■  Pythonによるデータ分析入門 第2版 本文がp549もあり、カフェまで持ち歩くのは辛いので、気軽に勉強するには向かないのですが、しっかりと独学するためにはとても頼りになる本です。 また、東京大学 数理・情報教育研究センターが作成している無償の資料もあります。 ■  Pythonプログラミング入門 Googel Colabによるノートブック （プログラムを書いたり、その結果を表示する画面） の使い方 から、 Pythonの基礎 、 各種ライブラリ 、 機械学習 まで中級のデータサイエンティストになるにはこの資料で十分です。 ただし、上記の書籍、PDFはPythonの文法やライブラリの解説から始まりますので、データをハンドリングまでは、それなりの時間がかかります。 データ分析は、まずは データに触れる ところから始めるのが挫折しない秘訣だと思います。 英語の勉強も、文法から学ぶと途中でくじけてしまいますが、簡単な日常会話から学んで、実際に英語のネイティブと日常会話を楽しむことによって、ボキャブラリーや言い回しを増やしていく方が上達が早いのと同様です。 「Python実践データ分析100本ノック」は、ビジネスの現場でデータ分析を始める際に、最初のプログラムをどのように書いていくのかを実際のデータを用いて解説しています。ある程度、データ分析を経験した人向けなのですが、いきなり、この本の第一部「基礎編：データ加工」から始めてしまうのも、近道かもしれません。 先ずはこのテキストに書いてあるプログラムを理屈抜きに書いて、それを実行した結果が出たときは感動ものです。 ■  Python実践データ分析100本ノック 本当は、データの読み込み、そのデータがどのようなものかの確認、データの見える化などか

  （１） 色々な 業務の効率化 や Webプログラミング などの一般的なPythonプログラミングを基礎から使いたいという場合は、公式版のPythonをインストールします。 Python Japanが「Python環境構築ガイド」を公開しています。 ■  Python環境構築ガイド 　https://www.python.jp/install/install.html （２） しかし、 データサイエンスでは、Anaconda経由でPythonをインストール してください。 ■  Anacondaのインストール     https://www.python.jp/install/anaconda/windows/install.html 科学技術計算などを中心とした、多くのモジュールやツールのコンパイル済みバイナリファイルを提供しており、簡単にPythonを利用する環境を構築できます。 Anaconda はPythonだけではなく、いろいろなユーティリティや他のプログラミング言語・ライブラリなども、パッケージ管理ツール Conda でインストールできます。curlなどの便利なユーティリティや、NvidiaのGPUを利用する場合に必要なCUDAなどの環境もインストールできるようになっています。 ※ Pythonを使う目的によって（１）、（２）を使い分けてインストールすることになります。参考書籍、WEBサイトなども異なった説明になりますので、混同しないように確認してください。 （３） Google Colaboratory（略称: Google Colab） Google Colab は、ブラウザから Python を実行 できるサービスです。 Google IDを持っていれば、すべての機能は無料で使うことができ、Googleドライブと連携できますので、プログラムをGoogleドライブに保存しておけば、ネット環境がある場所なら自宅でも、外出先でも気が付いた時にプログラムを新規作成、修正することができます。 はじめてPythonを学習する際には最適 です。また、機械学習など重い処理がハイスピードで行える GPU まで無料で使えますので、実用でも十分に使えます。 【最新版】Google Colaboratory とは？ 　https://blog.kikagaku.co.j

データサイエンスを身に付けるためには、データ分析を自らが行うことが大切です。理論を学ぶだけでは理解することが難しいですし、なにより目の前のデータを自分で分析して、自分なりの仮説を立てることはとても楽しいことです。 その際に、どのプログラム言語から学ぶのか、迷ってしまうことがあるでしょう。 個人的に学ぶ場合は、導入費用も気になるところです。 先ずは、どのようなプログラム言語があるのかを見てみましょう。 Python、R、S、SAS、SQL、Java、MATLAB、最近ではJulia、Scalaなどがあります。それぞれの概要は、下記を参照してみてください。 ■  データサイエンティストが学ぶべきプログラミング言語 　 https://goworkship.com/magazine/data-scientist-programming/ 様々なものがあるのですが、現在、Pythonがデータサイエンスのためのプログラミング言語の中では最も人気が高い言語です。まずは、 Pythonから始める という選択が今の標準だと思います。データを集計したり、グラフを描いたりといった基本的なことから、機械学習まで幅広いスキルアップに対応しています。また、 無料 で使うことができます。 Pythonの特徴は、下記を下記を参照してみてください。 ■  Python（パイソン）とは？特徴や強みを解説 　 https://www.agaroot.jp/datascience/column/python/ ちなみに、私はSから始めましたが、それはSをエンジンとし、GUIが優れた「 Visual Mining Studio 」というパッケージと出会ったからでした。汚いデータの前処理や分析メニュー選択がクリック＆ドラッグで行えることが選んだ理由です。また、営業のTさんが高校の後輩だったり、開発者のJさんが私のような初心者の要望を取り入れ開発してくれたという人間関係も大きな理由となっています。 今は、よっぽどの人間関係がない限り、Pythonから始めましょう！