残差ネットワーク（ResNet）とは？わかりやすく解説

残差ネットワーク（ResNet）は、非常に深いニューラルネットワークの学習を可能にし、画像認識などの分野で高い性能を実現した革新的なアーキテクチャです。この記事では、ResNetの基本的な考え方、その核心である「残差ブロック」の仕組み、メリット・デメリットを、専門用語をできるだけ使わずにわかりやすく解説します。

残差ネットワーク（ResNet）とは何か

残差ネットワーク（Residual Network、ResNetと略されます）は、主に画像認識の分野で使われる「畳み込みニューラルネットワーク（CNN）」の一種で、特に非常に多くの層（深い層）を持つニューラルネットワークの学習を可能にした画期的なアイデアです。

ニューラルネットワークは、一般的に層を深くすればするほど、より複雑な特徴を捉えることができ、性能が向上すると期待されていました。しかし、実際には、ある程度以上に層を深くすると、逆に性能が低下してしまう「劣化問題（degradation problem）」という現象が見られました。これは、単純に学習データに適合しすぎる「過学習」とは異なり、深いモデルが訓練データに対しても浅いモデルよりもうまく学習できない、という問題でした。

また、層が深くなると、誤差をネットワークの入力側（最初の層）に伝播させて重みを更新していく過程で、勾配（誤差の情報）が非常に小さくなってしまい、うまく学習が進まなくなる「勾配消失問題」も深刻な課題でした。

ResNetは、これらの問題を解決するために、 「残差学習（Residual Learning）」 という考え方と、それを実現するための 「ショートカット接続（Shortcut Connection）」または「スキップ接続（Skip Connection）」 という特別な構造を導入しました。

簡単に言うと、ResNetは、ネットワークの各部分（ブロック）が「入力と出力の差分（これを残差と言います）」だけを学習するように仕向けることで、たとえ多くの層を積み重ねても、情報が失われにくく、学習がスムーズに進むように設計されています。これにより、従来では考えられなかった数百、あるいは千を超えるような非常に深いネットワークの構築と学習が可能になり、画像認識の精度を飛躍的に向上させました。

処理の流れ

残差ネットワーク（ResNet）の核心は、「残差ブロック（Residual Block）」と呼ばれる特殊な構造にあります。このブロックがどのように機能し、深いネットワークの学習を助けるのかを見ていきましょう。

1. 従来のニューラルネットワークの層（ブロック）

まず、ResNet登場以前の一般的なニューラルネットワークの層（または複数の層をまとめたブロック）を考えてみましょう。ある入力 $x$ があり、このブロックはいくつかの処理（例えば、畳み込み演算や活性化関数など）を経て、出力 $H(x)$ を生成しようとします。このブロックは、入力 $x$ から目標とする出力 $H(x)$ への変換そのものを直接学習しようとします。

2. ResNetの残差ブロック：ショートカット接続の導入

ResNetの残差ブロックでは、上記のような通常の処理に加えて、 「ショートカット接続（またはスキップ接続）」 と呼ばれる、入力をそのままバイパスして出力側に直接足し合わせる経路を追加します。

具体的には、以下のようになります。

• 入力 $x$ がブロックに入ります。
• ブロック内部では、いくつかの層（例えば、2つか3つの畳み込み層、バッチ正規化、活性化関数など）が処理を行い、ある出力 $F(x)$ を計算します。ここまでは従来と同様です。
• そして、このブロックの最終的な出力は、$F(x)$ だけでなく、ショートカット接続を通ってきた元の入力 $x$ を、$F(x)$ に足し合わせたもの、つまり $H(x) = F(x) + x$ となります。

3. 何を学習しているのか？：「残差」の学習

この $H(x) = F(x) + x$ という式が非常に重要です。式を変形すると、$F(x) = H(x) - x$ となります。

• $H(x)$ は、このブロックが最終的に達成したい変換後の出力です。
• $x$ は、このブロックへの入力です。
• $F(x)$ は、ブロック内の層群が学習すべきものです。

つまり、ブロック内の層群 $F(x)$ は、目標とする出力 $H(x)$ と入力 $x$ との 「差分（残差）」 を学習するように促されるのです。

なぜこれが良いのか？

• 恒等写像の学習が容易になる: もし、あるブロックがこれ以上何もしない方が良い（つまり、入力をそのまま出力するのが最適である $H(x) = x$）という状況になった場合を考えてみましょう。従来のネットワークでは、これを実現するために層の重みを非常に複雑に調整する必要がありました。しかし、ResNetの残差ブロックでは、$F(x) = 0$ となるように層の重みを調整すれば、$H(x) = 0 + x = x$ となり、簡単に入力をそのままスルーする「恒等写像」を実現できます。これは、深いネットワークにおいて、一部の層が「何もしない」という選択肢を容易に学習できることを意味し、無駄な変換を学習しようとして性能が劣化するのを防ぎます。

• 勾配の流れを良くする: ショートカット接続は、誤差逆伝播の際に、勾配が層を飛び越えて直接前の層に伝わるバイパス経路を提供します。これにより、深い層を通過するうちに勾配が消失してしまう問題を緩和し、より深いネットワークでも効率的に学習が進むようになります。入力 $x$ が直接出力に足されるため、たとえ $F(x)$ を通る経路の勾配が小さくても、$x$ を通る経路からは勾配が減衰せずに伝わりやすくなります。

ResNetは、この残差ブロックを多数積み重ねることで構成されます。各ブロックが差分だけを学習することに集中するため、全体として非常に深いネットワークであっても、各部分が比較的簡単な学習タスクに取り組むことになり、結果として全体の学習がうまく進むのです。

4. 入力と出力の次元が異なる場合

ショートカット接続で $x$ と $F(x)$ を足し合わせるためには、通常、それらの次元（チャンネル数や特徴マップのサイズ）が一致している必要があります。次元が異なる場合（例えば、プーリング層などで特徴マップのサイズが小さくなったり、畳み込みでチャンネル数が増えたりする場合）には、入力 $x$ の方も適切な変換（例えば、1x1の畳み込み演算など）を行って次元を合わせてから足し合わせる、といった工夫がなされます。

このように、ResNetは「残差学習」と「ショートカット接続」というシンプルなアイデアによって、深層学習の大きな壁であった「深さの限界」を打ち破りました。

良いところ（メリット）

残差ネットワーク（ResNet）の導入は、深層学習、特にコンピュータビジョンの分野に大きな進歩をもたらしました。主なメリットを見ていきましょう。

1. 非常に深いネットワークの学習を可能にした: これがResNetの最大の貢献です。ResNet登場以前は、数十層程度のニューラルネットワークでも学習が非常に困難でしたが、ResNetは100層、152層、さらには1000層を超えるような、それまで考えられなかったほど深いネットワークの学習を安定して行うことを可能にしました。層が深くなることで、より複雑で抽象的な特徴表現を獲得できるようになり、結果として認識精度が大幅に向上しました。

2. 勾配消失問題の緩和: ショートカット接続は、誤差逆伝播時に勾配が直接的に前の層へ伝わる「バイパス経路」を提供します。これにより、深いネットワークで層を通過するごとに勾配が小さくなってしまう勾配消失問題を効果的に軽減します。勾配がネットワークの初期の層までしっかりと伝わるようになるため、ネットワーク全体で効率的な学習が行えるようになります。

3. 劣化問題（Degradation Problem）の解決: 層を深くすると訓練誤差（学習データに対する誤差）までもが悪化するという「劣化問題」は、深いネットワークの性能向上の大きな障害でした。ResNetの残差学習の枠組みでは、追加された層が少なくとも恒等写像（何もしないこと）を学習することが容易であるため、理論的には層を深くしても性能が低下しにくくなります。実際には、深い層がさらに有用な特徴を学習することで、性能が向上します。

4. 高い認識性能の達成: 上記のような理由から、ResNetおよびその派生モデルは、ImageNet大規模画像認識コンペティション（ILSVRC）をはじめとする多くのベンチマークで、当時の最高精度を次々と更新しました。これにより、画像分類、物体検出、セグメンテーションなど、様々なコンピュータビジョンタスクの性能が飛躍的に向上しました。

5. 他のモデルへの応用・影響: ResNetで導入された「残差ブロック」や「ショートカット接続」のアイデアは非常に強力で、その後の多くの深層学習モデルの設計に大きな影響を与えました。様々な改良型ResNet（例：Wide ResNet, ResNeXt, DenseNetの一部アイデアなど）が登場しただけでなく、自然言語処理や音声認識といった画像以外の分野のモデルアーキテクチャにも応用されています。

6. 転移学習のベースモデルとしての有用性: ImageNetのような大規模データセットで事前学習されたResNetモデルは、非常に強力な特徴抽出器として機能します。これらの事前学習済みモデルは、他の異なるタスクやより小さなデータセットに対する転移学習のベースモデルとして広く活用されており、効率的に高い性能を得るための標準的なアプローチの一つとなっています。

ResNetは、深層学習の歴史における重要なマイルストーンの一つであり、より深く、より高性能なニューラルネットワークの設計と学習への道を開いたと言えます。

悪いところ（デメリット）

非常に革新的で強力なResNetですが、いくつかの注意点や潜在的な課題も存在します。

1. 依然として計算コストが高い: ResNetは非常に深いネットワークの学習を可能にしましたが、層の数が増えれば増えるほど、学習や推論に必要な計算資源（GPUメモリ、計算時間）は依然として大きくなります。特に、非常に深いResNetモデル（例えばResNet-152など）や、高解像度の画像を扱う場合には、高性能なハードウェアが必要となります。モデルの軽量化や効率化は継続的な研究テーマです。

2. モデルの複雑さが増す場合がある: ショートカット接続自体はシンプルなアイデアですが、それを多数積み重ねたネットワーク全体の構造は複雑になります。また、入力と出力の次元を合わせるための追加の畳み込み層などが必要になる場合もあり、モデルの設計やデバッグが煩雑になる可能性もゼロではありません。

3. 過学習のリスクは依然として存在する: ResNetは深いネットワークの「学習のしやすさ」を改善しましたが、「過学習（訓練データに適合しすぎて未知のデータに対する性能が低下する現象）」のリスクが完全になくなったわけではありません。特に、訓練データが限られている場合に非常に深いモデルを使用すると、過学習が発生しやすくなります。そのため、正則化手法（ドロップアウト、重み減衰など）やデータ拡張といったテクニックを適切に併用することが依然として重要です。

4. なぜうまくいくのかの完全な理論的解明: ResNetが経験的に非常にうまく機能することは広く示されていますが、「なぜショートカット接続がこれほど効果的に深いネットワークの学習を助けるのか」についての完全な理論的理解は、提案当初から継続して研究されているテーマです。複数の解釈（例：多数の浅いネットワークのアンサンブルと見なせる、最適化のランドスケープを滑らかにするなど）が提案されていますが、全ての側面が完全に解明されているわけではないかもしれません。

5. ショートカット接続の設計のバリエーション: 基本的な残差ブロックの構造は確立されていますが、活性化関数の位置やバッチ正規化の順番など、ショートカット接続周りの細かな設計にはいくつかのバリエーションが存在し、性能に影響を与えることがあります。最適な設計はタスクやデータセットによって微妙に異なる可能性があり、選択が難しい場合もあります。

6. 他の新しいアーキテクチャとの比較: ResNetが登場してから、Transformerベースのモデルなど、さらに新しい革新的なアーキテクチャが特に画像認識以外の分野でも台頭してきています。特定のタスクや特性（例えば、大域的なコンテキストの理解）においては、ResNetよりも優れた性能を示すモデルも存在するため、常に最新の動向を把握し、問題に応じて最適なアーキテクチャを選択する必要があります。

とはいえ、ResNetが深層学習の発展に与えたインパクトは非常に大きく、現在でも多くの応用分野で基盤技術として広く利用されています。上記の点は、さらなる改善や新しいアプローチへのモチベーションとなっています。

まとめ

残差ネットワーク（ResNet）は、非常に多くの層を持つ「深い」ニューラルネットワークの学習を劇的に容易にし、画像認識などの分野で飛躍的な性能向上をもたらした革新的なアーキテクチャです。

従来の深いネットワークが直面していた「層を深くしても性能が上がらない、むしろ下がる（劣化問題）」や「学習がうまく進まない（勾配消失問題）」といった大きな課題を解決するために考案されました。

その核心的なアイデアは「残差学習（Residual Learning）」と、それを実現する「ショートカット接続（Shortcut Connection）」または「スキップ接続（Skip Connection）」です。

処理の流れにおける特徴は「残差ブロック」です。

1. ブロックへの入力 $x$ があります。
2. ブロック内部のいくつかの層が、入力 $x$ を変換して $F(x)$ という出力を計算します。
3. ブロック全体の最終的な出力は、$F(x)$ に、ショートカット接続を通ってそのままバイパスしてきた入力 $x$ を足し合わせた $H(x) = F(x) + x$ となります。 これにより、ブロック内部の層群 $F(x)$ は、目標とする出力 $H(x)$ と入力 $x$ の差分（残差） $H(x) - x$ を学習することに集中できます。

ResNetの良いところは、

• これまで不可能だった数百層、数千層といった非常に深いネットワークの学習を実現したこと
• ショートカット接続により勾配消失問題を効果的に緩和し、学習を安定させたこと
• 層が深くなっても性能が低下しにくい「劣化問題」を克服したこと
• 結果として、画像認識タスクなどで極めて高い精度を達成したこと
• そのアイデアが後の多くの深層学習モデルに大きな影響を与えたこと などが挙げられます。

一方で、悪いところとしては、

• 非常に深いモデルは依然として計算コストが高いこと
• モデル全体の複雑性が増す可能性があること
• 過学習のリスクは依然として考慮が必要であること などが挙げられます。

ResNetは、単に層を深くするだけでは高性能なモデルは作れないという常識を覆し、深層学習の可能性を大きく広げました。現在でも多くの最先端AI技術の基盤として、その設計思想は受け継がれています。