エクストラツリー（ExtraTrees）とは？わかりやすく解説

エクストラツリー（ExtraTrees）は、ランダムフォレストに似ていますが、木の成長方法にさらなるランダム性を加えることで、計算効率や過学習抑制を目指す機械学習の手法です。この記事では、エクストラツリーの基本的な考え方、仕組み、メリット・デメリットを、専門用語をできるだけ使わずにわかりやすく解説します。

エクストラツリー（ExtraTrees）とは何か

エクストラツリー（ExtraTrees）は、正式には「Extremely Randomized Trees」といい、日本語では「極度にランダム化された木」といった意味合いになります。これは、機械学習の手法の一つで、たくさんの「決定木」を集めて、それらの意見を総合することで賢い判断をする「アンサンブル学習」の一種です。この点では、「ランダムフォレスト」と非常によく似ています。

ランダムフォレストも、個々の決定木を作る際にランダム性を取り入れていました。具体的には、学習に使うデータをランダムに選び（ブートストラップサンプリング）、さらに木の各分岐点（ノード）でどの質問（特徴）を使うかを決める際に、いくつかの特徴候補の中から最適なものを選んでいました。

エクストラツリーは、このランダム性をさらに一歩進めた手法です。ランダムフォレストとの主な違いは、木の分岐点（ノード）での質問の作り方にあります。

• ランダムフォレスト: 各分岐点で、ランダムに選ばれたいくつかの特徴候補の中から、最適な分割点（例えば、「年齢が30.5歳より上か下か」といった具体的な数値）を探して木を成長させます。
• エクストラツリー: 各分岐点で、ランダムに選ばれたいくつかの特徴候補に対して、分割点もランダムに選びます。そして、そのランダムに選ばれたいくつかの分割点の中から、最も良かったものを採用します。つまり、最適な分割点を一生懸命探すのではなく、ある程度ランダムに決めてしまうのです。

さらに、エクストラツリーでは、ランダムフォレストで通常行われるブートストラップサンプリング（元のデータから復元抽出し、少しずつ異なるデータセットを作ること）を行わないことが多いのも特徴です。それぞれの決定木は、基本的に元の学習データ全体を使って学習します（ただし、特徴量の選択はランダムに行います）。

このように、分割ルールに強いランダム性を導入し、時にはデータ全体を使って個々の木を学習させることで、計算時間の短縮や、場合によっては過学習の抑制といった効果が期待されます。名前の「エクストラ（Extremely）」が示す通り、ランダム性を極めた決定木のアンサンブル手法と言えるでしょう。

処理の流れ

エクストラツリーがどのようにして作られ、使われるのか、そのステップをランダムフォレストと比較しながら見ていきましょう。

1. エクストラツリーを作る（学習フェーズ）

目的は、ランダムフォレストと同様に、たくさんの個性的な「決定木」を作り上げることですが、その作り方に違いがあります。

• データの準備: まず、学習に使用するための元となるデータセットを用意します。ランダムフォレストとは異なり、エクストラツリーでは通常、この元データ全体を各木の学習に使用します（ブートストラップサンプリングを行わないことが多い）。

• 複数の決定木を「極度にランダムに」作る: 指定した数だけ決定木を繰り返し作ります。例えば、100本の木からなる森を作るなら、この工程を100回繰り返します。

  • 特徴のランダムな選択: これはランダムフォレストと同様です。決定木が枝分かれする際、全ての利用可能な特徴の中から、ランダムにいくつかの特徴だけを選び出します。この選ばれた特徴の中から、次に分割に使う特徴を決定します。

  • 分割点のランダムな選択（ここが大きな違い！）: ランダムフォレストでは、選ばれた特徴に対して、データを最もよく分けられる「最適な」分割点を探しました。 一方、エクストラツリーでは、選ばれた特徴に対して、複数の分割点をランダムに生成します。例えば、「年齢」という特徴が選ばれたら、「25歳」「40歳」「55歳」といった分割候補をランダムにいくつか作ります。そして、これらのランダムに作られた分割候補の中から、最もデータをうまく分けられたものをその分岐点のルールとして採用します。最適なものを探すのではなく、ランダムな候補の中からベストなものを選ぶ、というアプローチです。

  • 決定木の成長: 上記のようにして、ランダムに選ばれた特徴と、その中でのランダムな分割ルールに基づいて、一本の決定木を成長させます。個々の決定木は、ランダムフォレストと同様に、過学習していても構いません（通常、枝刈りは行いません）。

• 森の完成: この作業を指定した回数繰り返すことで、たくさんの（例えば100本の）非常にランダム性の高い決定木からなる「エクストラツリー」が完成します。

2. エクストラツリーを使う（予測・分類フェーズ）

一度エクストラツリーが完成すれば、新しいデータに対して予測や分類を行う方法は、ランダムフォレストと全く同じです。

• 新しいデータを森の各木に入力する: 新しいデータが来たら、そのデータを森の中の全ての決定木それぞれに入力し、各木に予測させます。

• 各木の予測結果を集計する: 森の中のそれぞれの木が、自分なりの予測結果を出します。

• 最終的な結論を出す（多数決または平均）:

  • 分類問題の場合: 全ての木の予測結果を集めて、多数決を取ります。
  • 回帰問題の場合: 全ての木の予測結果（数値）の平均値を取ります。

このように、エクストラツリーの学習フェーズにおける分割ルールの決定方法がランダムフォレストと大きく異なりますが、予測フェーズの仕組みは共通しています。この「極度なランダム性」が、エクストラツリーの特性を生み出しています。

良いところ（メリット）

エクストラツリーには、特にランダムフォレストと比較していくつかの興味深い利点があります。

1. 計算速度が速い場合がある: これがエクストラツリーの大きな魅力の一つです。ランダムフォレストでは、各ノードで最適な分割点を探すために、いくつかの特徴候補に対して全ての可能な分割点を評価する必要があり、これが計算コストの大きな部分を占めていました。エクストラツリーでは、分割点をランダムに選ぶため、この「最適な分割点を探す」という計算負荷の高い処理が大幅に軽減されます。結果として、特に特徴量の次元数が大きいデータセットや、木の数が多い場合に、ランダムフォレストよりも学習時間が短くなる傾向があります。

2. 過学習を抑制する効果が期待できる（場合がある）: 分割ルールに強いランダム性を導入することで、個々の決定木が訓練データに過剰に適合（過学習）するのを防ぐ効果が期待されます。各木がより多様で、互いの相関が低くなる傾向があるため、アンサンブル全体として汎化性能（未知のデータに対する性能）が向上する可能性があります。ただし、これは常にランダムフォレストより優れているというわけではなく、データの性質や問題設定に依存します。

3. バイアスの低減とバリアンスの増加のトレードオフ: 少し専門的な話になりますが、モデルの誤差は「バイアス（モデルの予測が真の値からどれだけ体系的にずれているか）」と「バリアンス（訓練データが少し変わったときにモデルの予測がどれだけばらつくか）」に分解できます。ランダムフォレストはバリアンスを低減するのに長けています。エクストラツリーは、分割点のランダム化により、個々の木のバイアスがわずかに増加する可能性がありますが、木の多様性が増すことでバリアンスをさらに低減しようとします。このバランスがうまく取れると、全体として良い性能が得られることがあります。

4. 実装のシンプルさ: 基本的なアルゴリズムはランダムフォレストと非常に似ており、分割点の決定方法が異なるだけなので、理解や実装の観点からは比較的シンプルと言えます。

5. パラメータが少ない: ランダムフォレストと同様に、調整すべき主要なパラメータ（木の数、各ノードで考慮する特徴の数など）は比較的少なく、使いやすいアルゴリズムです。分割点の探索に関するパラメータがない分、さらにシンプルと見ることもできます。

これらのメリットから、特に計算資源が限られている場合や、迅速にモデルを構築したい場合、あるいはランダムフォレストで過学習の傾向が見られる場合に、試してみる価値のある手法と言えます。

悪いところ（デメリット）

エクストラツリーにも、その特性からくるいくつかの注意点や潜在的なデメリットがあります。

1. 予測精度がランダムフォレストに劣る場合がある: 計算速度の向上や過学習抑制の可能性がある一方で、分割点を完全にランダムに選ぶというアプローチは、必ずしも常に最良の結果をもたらすわけではありません。ランダムフォレストが最適な分割点を探すのに対し、エクストラツリーはそのステップを省略するため、個々の木の性能、ひいてはアンサンブル全体の性能が、慎重に分割点を選んだランダムフォレストに比べて若干劣ることがあります。特に、情報量の多い特徴が少なく、慎重な分割が重要なデータセットでは、この傾向が見られるかもしれません。

2. バイアスが若干増加する可能性: メリットの項でも触れましたが、個々の木が最適な分割を行わないため、モデルのバイアス（予測の体系的なずれ）がランダムフォレストに比べてわずかに高くなる可能性があります。木の数を十分に多くすることでこの影響は軽減される傾向にありますが、無視できない場合もあります。

3. 特徴量の重要度の解釈に注意が必要な場合がある: ランダムフォレストと同様に特徴量の重要度を計算できますが、分割のランダム性が高いため、その解釈には少し注意が必要かもしれません。重要度の安定性や信頼性が、ランダムフォレストと異なる傾向を示す可能性があります。

4. ブートストラップサンプリングを行わないことの影響: エクストラツリーでは通常、ブートストラップサンプリング（データの一部をランダムに抜き出して使う方法）を行わず、元のデータ全体を使って各木を学習します。これは木の多様性を減らす方向に作用する可能性がありますが、分割点のランダム性がそれを補うと考えられています。しかし、データの特性によっては、ブートストラップサンプリングを行った方が良い結果が得られるケースも考えられます。 （ライブラリによっては、ブートストラップサンプリングを行うオプションが用意されていることもあります。）

5. 必ずしも過学習を完全に防げるわけではない: 過学習を抑制する効果が期待できるとはいえ、それは保証されたものではありません。特に木の深さを制限しない場合や、特徴量の数が非常に多い場合には、依然として過学習のリスクは存在します。

6. 情報の少ないデータでは性能が出にくい可能性: 分割をランダムに行うため、データの中に明確な構造やパターンが少ない場合、あるいはノイズが多い場合には、ランダムな分割が有効に機能せず、結果として十分な性能が得られない可能性があります。

これらの点を考慮し、実際にいくつかのデータセットでランダムフォレストと比較実験を行ってみて、どちらの手法がその特定の問題に適しているかを見極めることが重要です。

まとめ

エクストラツリー（ExtraTrees、Extremely Randomized Trees）は、ランダムフォレストと非常によく似たアンサンブル学習の手法ですが、決定木の各分岐点での分割ルール（どの特徴をどの値で分けるか）を決める際に、分割点そのものもランダムに選ぶという「極度なランダム性」を導入した点が大きな特徴です。

処理の流れは、

1. 複数の決定木を、通常は元の学習データ全体を使って（ブートストラップサンプリングなしで）作ります。
2. 各木の分岐点では、まずランダムにいくつかの特徴を選び、
3. さらに、それらの選ばれた特徴に対して分割点をランダムに複数生成し、その中から最も良いものを採用します。
4. このようにして多数の「極度にランダムな木」からなる森を作り、
5. 新しいデータを予測する際には、ランダムフォレストと同様に、全ての木の予測結果の多数決（分類）または平均（回帰）を取ります。

エクストラツリーの良いところは、

• 最適な分割点を探す計算を省略するため、学習速度がランダムフォレストより速い場合があること
• 強いランダム性により、過学習を抑制する効果が期待できること
• アルゴリズムが比較的シンプルであること などが挙げられます。

一方で、悪いところとしては、

• 分割のランダム性が原因で、予測精度がランダムフォレストに若干劣る場合があること
• モデルのバイアスがわずかに増加する可能性があること
• 必ずしも過学習を完全に防げるわけではないこと などが挙げられます。

エクストラツリーは、ランダムフォレストの代替または補完として、特に計算効率を重視する場合や、ランダム性を高めることでモデルの性能改善を試みたい場合に有効な選択肢となり得ます。常にランダムフォレストより優れているわけではありませんが、そのユニークな特性から、試してみる価値のある興味深いアルゴリズムです。