Translate

#74 ディープラーニングとは

ジェフリー・ヒントンは、ディープラーニングの研究で、2024年のノーベル物理学賞を受賞しました。

ヒントンは、2013年、自身のAI関連スタートアップであるDNNresearchがグーグルに買収されたことで、Googleに入社。以来、Googleと、教授を務めるトロント大学で研究を続けてきました。2019年には、「ディープラーニング革命の父たち」としてルカン氏、ヨシュア・ベンジオ氏とともにチューリング賞をノーベル賞に先立って受賞しています。

そのヒントンが、2023年5月にGoogleをやめました。

彼は、長年にわたり、AIの倫理的な問題を指摘していました。とりわけ気にしていたのが、軍事用途への採用についてです。New York Timesのインタビューでは、Googleを辞めたので、AIのリスクについて自由に話せるようになったと語っています。今となっては自分のライフワークについて後悔しているが「私がやらなくても誰かがやっていただろうと自分を慰めている」とのことです。

開発者自らが自分の研究について後悔していると述べるほど、ディープラーニングが社会にインパクトを与えたわけですが、ディープラーニングを体験することでリスクの一端を知ることに少しでも役に立てばと思い、当ブログでも5th STEPとして、ディープラーニングを取り上げることにします。






5th STEPの最初のSectionとして、まずは、ディープラーニングがどんなものかを解説していきます。





１．ディープラーニングのポジション

ディープラーニングは、大量のデータから特徴やパターンを自動で学習する機械学習の手法の一つで、AIに属しています。





２．ディープラーニングのしくみ

ディープラーニングは、人間の脳の記憶の仕組みにヒントを得て、開発されました。まさに、AI（人工知能）ですね。




【出典】　https://www.wakodo.co.jp/product/special/babyfood/babyfood/global/advice/article01.html

その後、各研究者により、コンピュータ上における神経細胞のモデル化が行われました。しかし、コンピュータの性能が低かったり、実験を行うためのビッグデータが未整備だったために、社会実装化されることはなく理論上のものとして扱われていました。





ちなみに、猫のタローは、若い時、ニューラルネットワークを分析に使ったことがあるのですが、まったく使い物にならなかったと記憶しています。

時は過ぎ、2012年、Googleのオフィシャルブログに一つの記事が投稿されました。

"One of the neurons in the artificial neural network, trained from still frames from unlabeled YouTube videos, learned to detect cats."

ラベル付けされていないYouTube動画の静止画から学習させた人工ニューラルネットワークのニューロンの一つが、猫を検出することを学習した。


この仕組みは、Googleが持つ、膨大な計算リソースと膨大なデータを潤沢に使って開発することができました。YouTubeにアップロードされている動画から、ランダムに取り出した200x200ピクセルサイズの画像を1000万枚用意でき、それらを学習するためのハードが用意されました。概念ではなく、実装できる技術がGoogleには用意できたのです。

これこそがヒントンが概念を提唱していたディープラーニングの一つ『CNN（畳み込みニューラルネットワーク）』です。人間の脳の神経回路を模した「ニューラルネットワーク」を多層（ディープ）に重ねたものです。





また、この頃には、ヒントンやラメルハート、ウィリアムズにより、ディープラーニングの主な学習手法『バックプロパゲーション（誤差逆伝播法）』も提唱されていました。

バックプロパゲーションとは、ニューラルネットワークでは、入力に対して重み付けやバイアスをかけ出力をしますが、その結果に対して、ニューロンの重み付けやバイアスを調整していく手法です。予測の誤差を、出力側から入力側へと『逆方向』に伝えていき、各層のパラメーター（重み）をどれくらい修正すべきかを計算する機能を持っています。





実は、ディープラーニングを支える技術であるCNN、バックプロパゲーションは、日本人が提唱したことがきっかけになって生まれたものです！




３．ディープラーニングの特徴

では、従来の機械学習とディープラーニングは、どのような違いがあるのでしょうか？

それを解説する前に、特徴量という概念を理解しておきましょう。そもそも、機械学習とは、大量な学習データをもとに法則やパターンを見出すことです。『法則やパターン』を大量のデータから見つけ出す際に、データのどのような特徴に着目すべきかを表す変数が『特徴量』です。

一言で表すと、分析対象データの中の、予測の手掛かりとなる変数のことです。





ビッグデータが蓄積されはじめると、行・列を持ち表形式に整形されている構造化データばかりではなく、画像・映像・音声・テキストなどの『非構造化データ』が集積されるようになってきました。

例えば、デジタル画像を構成する最小の単位はピクセル（Pixel/画素）ですが、これらは人の判断で特徴量を選択することが困難です。





そこで、開発された手法が、特徴量をAI自身が導き出すディープラーニングです。ノーベル物理学賞を受賞したジェフリー・ヒントンが開発したディープラーニングを飛躍的に発展させ、実用化した立役者がGoogleです。下記の例は、『Googleの猫』としてよく知られています。




ルールベースAIや一般的な機械学習、ディープラーニングの違いを『特徴量設計』と『ルール生成』の観点からまとめると下記のようになります。





４．【参考】ディープラーニングと従来の機械学習との違い

ディープラーニングが威力を発揮するのは非構造化データ（画像、言語、音声など）を扱う際であり、非構造化データの特徴を抽出するのに有用な手法となります。

構造化データ（表形式）でもディープラーニングは実施可能ですが、従来の機械学習となる勾配ブースティング決定木（GBDT）などを使用した方が容易にモデルを作成でき、学習時間も短いので、コストは安価になります。




【参考】 生成AIの進化を支える「自己教師あり学習」：基礎から応用例まで
https://zenn.dev/mkj/articles/3f1a948f0d326f


５．【参考】アノテーション

アノテーション（annotation）は「注釈」「付記」を意味する言葉で、データサイエンスではデータに意味を付与し、機械学習（ディープラーニングを含む）に利用できる形に加工・整理する作業を指します。

アノテーションの役割は、下記の2点です。
　●教師データを作成し、AIに正しい出力パターンを学習させる
　●膨大なデータを分類・整理し、効率的な学習・管理を可能にする





アノテーションのの主な実例は、下記のスライドのようになります。



ディープラーニングの最大の特徴は、データの中から『何が重要な特徴か』を人間が指示しなくても自力で見つけ出す『特徴量の自動化』にあります。しかし、その抽出した特徴が『結局、何を表しているのか』を学習させるためには、多くの場合でアノテーションが必要になります。

ディープラーニング以前の手法、すなわち、通常の機械学習では、人間が『エッジ（輪郭）に注目せよ』、『色の彩度を計算せよ』と数式で特徴を定義していました。ディープラーニングは、この注目すべきポイントを自ら発見することができます。

しかし、AIが『尖った耳』や『ひげ』という特徴を自力で見つけたとしても、それが『猫』という概念に結びつくかどうかは、人間が『これは猫だよ』と教えて（アノテーション／正解ラベルの付与）初めて成立するからです。

アノテーションの手間を減らすために注目されている『自己教師あり学習（Self-Supervised Learning）』が、近年のAI（特にChatGPTなどの大規模言語モデル）の飛躍的な進化を支えています。詳細は、下記を参考にしてください。

【参考】 生成AIの進化を支える「自己教師あり学習」：基礎から応用例まで


































コメント

コメントを投稿