有限会社フォトセピア home | お問合せ

ライトフィールドカメラの原理

 ライト・フィールド・カメラというものを紹介します。写真を撮ったで、自分の好きなところに焦点を合わせることができるという画期的なカメラです。カメラが発明されて以来、デジカメに次ぐ大きな変化をもたらす可能性のあったカメラです。
現在は、この開発を行ったLytroという会社は、カメラとしての開発は終了したもようで、ビデオ用やシネマあるいはVRの領域にターゲットを移したようです。従いまして、従来ライトロ社のウェブサイトに本ページからリンクしておりましたが、2017年11月30日をもってウェブサイトが閉鎖されますので、リンクは廃止といたしました。可変焦点の画像をご紹介できないのは残念ですが致し方ないことです。可変焦点の写真は、スマホの2眼カメラによる方法などが今後は中心になっていくと思います。ライトフィールドカメラは技術的には非常に面白いものですので、当ページは今後も存続の予定でおります。(2017/10/22)

1 ライトフィールドカメラの構造
 先ずは、普通のデジカメの構造を下の図に示しました。
一般的なデジカメの構造

Fig 1

 カメラレンズ(ここでは主レンズと呼ぶことにします)があって、その後(図では右)にセンサーがあります。このセンサーが、画像を構成している点の集まりになります。左側の矢印は写されるもの(被写体)です。フォーカスが合っている状態では、被写体の中の1点から出た光は、主レンズの各部を通ってセンサ上の1点に交わります。(上の図では主レンズの通る位置によって、赤、青、緑の線で表現しています。
 次に、ライトフィールドカメラの原理図を下に示します。
ライトフィールドカメラの原理図

Fig 2

 Fig 1に示した一般のデジカメのセンサーの位置に小さなレンズ(マイクロレンズ)をならべ、その後にセンサーを配置したものです。ライト・フィールド・カメラのセンサーは、マイクロレンズから少し離れた位置に配置されているのです。ひとつのマイクロレンズを通った光は、センサーの複数の画素に入るようになっているのです。上の図では理解しやすくする為にレンズは3個だけにしました。実際にはマイクロレンズの直径は非常に小さく、現状でも数十万個以上のレンズで構成されています。図では、被写体の上(矢印の尖端)から出た光のうち、レンズの上端を通った光線(赤の実線)は、レンズで屈折し、一番下のマイクロレンズの中心に向かうようにします。こうすると、被写体の上端から出た他の光線(緑の実線と青の実線)も一番下のマイクロレンズの中心に向かいます。なぜなら、本来普通のカメラにおいてはこのマイクロレンズの位置に被写体の像が出来ているからです(Fig 1の状態)。もし、赤と青と緑の線が一点に交わらないのであれば、像はボケてしまいます。いま、像は従来のセンサーの位置に結像しているという条件ですから、赤と青と緑の光線は一点で交わり、それは一番下のマイクロレンズの中心を通っているということになります。
 この構成では、被写体の1点から出た光は、センサー(マイクロレンズの後のセンサー)上では、別の画素に入射します。被写体の上端から出た光は、カメラの主レンズを通って、マイクロレンズの中心を通り、 赤、緑、青の線の光は別々の画素に入るのです。赤、緑、青の光線は、主レンズの通過場所に依って分けたものだったということを思い出してください。つまり、センサー上に届く光は、主レンズの通過場所に対応して分割されていると考えて良いのです。一方マイクロレンズは通常のカメラのセンサーの位置に配置されていますから、1個のマイクロレンズを通る光は、被写体の一部の像が入るということになります。即ち、センサーは、被写体の部分毎に主レンズの通過場所の光量分布が出力されているということになります。

2 ライトフィールドカメラのとピンホールカメラ
 Fig 2をもう一度見てみます。 この中の特定の光線にのみ注目します。 ここでは、赤の線(お断りしておきますがたまたま赤で描いただけで、 赤い色の光線ということではありません)に注目しましょう。 赤の線は、主レンズ(カメラレンズ)の上端を通った光でした。 ここで仮に主レンズの代わりにレンズの上端に小さなピンホールがあったとします。 また図のセンサー位置と同じ位置にスクリーンがあったとしますと、 スクリーン上に被写体の像が投影されます(Fig 3)。これはまさにピンホールカメラの原理です。 ピンホールカメラというのは、レンズを使わずに写真を取る方法で、 今でもピンホールカメラを作って写真を撮る愛好家の方もいらっしゃいます。
ピンホールカメラ

Fig 3

 ここでFig 2をもう一度示します。但し、今度は被写体の一番下から発して、 レンズの上端を通った光を点線で書き加えてあります。(Fig 4)
ライトフィールドカメラ原理2

Fig 4

 Fig 3とFig 4を較べてみて下さい。 ピンホールカメラの場合はスリットを通った光が被写体の特定部分に対応して投影されています。被写体の上端はT点に、 被写体の下端はB点に投影されます。
 一方、ライトフィールドカメラの場合も、レンズの特定の場所を通ってきた光が、 被写体の特定部分に対応してセンサー上の別々の画素に投影されました。被写体の上端はT点に、 被写体の下端はB点に投影されています。 両方とも、被写体の矢印の先端がT点に投影され、 被写体の下端はB点に投影されます。
 つまり、ライトフィールド・カメラの像は、ピンホールカメラの像とほぼ同じ特性を持っているのです。 違うのは、ピンホールカメラはピンホールを光が直進するのに対し、ライトフィールドカメラの場合は、 レンズで屈折するということです。違いは投影される場所のみです。 そして、これが非常に重要な特性なのですが、 ピンホールカメラの像というのはピンホールが小さければボケません。 被写体の特定の位置とスクリーン上の像の位置が1:1に対応していますので、ボケが無いのです。 (だから、レンズが無くてもピンホールカメラを作ることができるのです。)

3 ライトフィールドカメラから立体像が得られる訳
 先にも説明したように、ライトフィールドカメラの中のマイクロレンズを通ったあとのセンサー出力は、 レンズを通った場所の光量に比例しています。 そして、各マイクロレンズの位置は、従来のカメラのセンサー位置あるいはフィルム位置ですから、 マイクロレンズ群の中の特定のマイクロレンズを通った光は、 被写体の特定の場所から発した光です。 つまり、センサーの全ての画素は、異なった意味を持っており、 それは被写体の像の特定の部分で、 しかもその像がレンズの特定の場所を通ったという二つの情報を持っているのです。 下の図では、赤に色分けされているセンサーは、被写体(矢印)の上端のしかも、 レンズの上端を通った光ということになります。
ライトフィールドカメラ被写体トップ

Fig 5

 そして、思い出した頂きたいのですが、このセンサー上の像は、ピンホールカメラと同じ原理で、 被写体が焦点位置からずれてもボケていない像なのです。 くどいようですが、被写体の下端の光の通り方は下の絵のようになります。
ライトフィールドカメラ被写体ボトム

Fig 6

 この2つの図から、レンズの上端と下端を通る光だけを抜き出したのが下の図です。
ライトフィールドカメラ被写体レンズ上下

Fig 7

 上の図で、赤の線に着目して下さい。赤の線のレンズ上端に人間の目があるとすると、 この目はレンズ上端から被写体を見ていることになります。 一方、緑の線は、レンズ下端から被写体を見ていることになります。 つまり、赤の光線の入るセンサーのみで像を作ると、被写体をレンズ上端から見た像になり、 緑の光線の入るセンサーのみで像を作ると、被写体をレンズ下端から見上げた像になるのです。 2つのカメラで像を捉えていることになるのです。立体カメラと同じ原理です。 実際には2か所からだけ見ているわけではなく、レンズのあらゆるところを通して見ていますから、 マイクロレンズの数だけ目があるということになります。なんとなく立体視が出来る謎が解けてきたと思いませんか?  

4 フォーカスが合っていない像
 さて、どうやっていろいろな位置にフォーカスを合わせることが出来るかという説明の前に、 今までに出てきた図の中でフォーカスがずれている部分の像がどうなっているかを考えましょう。
ライトフィールドカメラ被写体レンズ上下

Fig 8

 上の図のように、被写体の前に異物を置いてみます。図の青の点です。 フォーカスは被写体(矢印)に合っていますから、異物はボケて写るということは容易に想像できます。 先ほどと同じようにレンズの上端から被写体の方を見てみます。 そうすると、異物も見ることができます。 異物は、赤の点線に比較的に近いところにあるのが判るはずです。 従って、主レンズを通ったあとも赤の点線に近いところを異物の光線は通ることになります。 この光線を上図では赤の一点鎖線で示しております。
 一方、レンズの下端から被写体を見た場合はどうでしょう。 今度は緑の実線の近くに異物を見ることができるはずです。 従って、レンズを通ったあとも緑の実線に近ところを異物の光線は通ります。緑の一点鎖線がその光線の通るところです。  この2つの一点鎖線に注目します。 この2つの一点鎖線は、マイクロレンズの位置では交わりません。なぜなら、被写体より前に異物があり、 焦点が合っていないからです。 一方、被写体の上端の像は赤と緑の実線の光線ですから、一番下のマイクロレンズのことろで交わっています。 従来のカメラでは、このマイクロレンズの位置にセンサーやフィルムがあるわけですから、 フォーカスが合っている限り、マイクロレンズ位置でも光線が交わりピントのあった像ができます。 しかし、異物の像はマイクロレンズ上では交わらないのです。ですから異物の像はボケるのです。 ボケというのは、なんとなく像が拡がるというイメージを持たれておられる方が多いと思いますが、 像が拡がるというよりも、像が一点に交わってないということなのです。
 いま、わざわざピントが合っていない異物のボケの話をしました。 なぜその話を持ち出したか言いますと、 ここにピントがどこにでも合わせることができるヒントがあるからです。 少し前の話で、レンズの上端を通った光はピンホールカメラと同じ特性を持っているという話をしました。 ピンホールカメラと同じ特性というのは、ボケがないということです。 つまり、先ほどの絵で一点鎖線の像は実はボケてはいないのです。 ボケてはいないのですが、フィルム面で一点に交わっていないので、ボケてしまうのです。 であれば、もうお気づきかもしれませんが赤や緑の一点鎖線の光線を独立に取り出してやれば、 ボケてない像が得られるはずです。 ライトフィールドカメラは、先にも説明しましたが、マイクロレンズの後にセンサーが配置され、 レンズの通過場所毎の像を独立に取り出すことができるものでした。 従って、どのセンサーの出力を使えば良いかということさえ判れば異物のボケていない像を取り出すことができるのです。

5 任意の位置のピントが合った画像を得る方法
 もう少し具体的にボケていない像を取り出す方法を示します。 少し前の話に戻りますが、焦点の合っている状態では、 被写体の特定の部分とマイクロレンズが1:1に対応しているということをお話しました。 また、マイクロレンズの後の各々のセンサーは、 そのマイクロレンズを通った光がレンズのどの部分を通った光であることを示していました。 つまり、センサーの画素は、フォーカスが合っている被写体の特定部分の しかもそこから来た光がレンズの特定ヶ所を通った光を受光しているということでした。 そのことを頭に置いて、下の図をご覧ください。
ライトフィールドカメラのリフォーカス

Fig 9

 この図は、被写体の上中下3点からカメラに入る各々5本の光線を全て表現したものです。 5本の光線とは、被写体から出て、レンズの上端を通る光、レンズの中心を通る光、レンズの下端を通る光、 それとそれぞれの中間を通る光です。 いままで説明してきたように、5本の光線は、3つのマイクロレンズの中心で交わります。 マイクロレンズがなければ、通常はそこにフィルムやセンサーがあるからです。 そして、5本の光線は、マイクロレンズを通過した後、各々別のセンサーに入ります。 主レンズと、マイクロレンズとセンサーの位置関係が固定されると、この光線の通る道は固定されます。 被写体がどこにあろうが、この光線の通る道は、主レンズ、マイクロレンズ、センサの位置関係で決まりますから、 固定されてしまうのです。  今、被写体を丁度フォーカスが合う位置(図では第一物体面T1)に置いたとします。物体上のA点から 出た光は、マイクロレンズの中心C点に集まります。つまり、C点を通った光を全部集めてやれば A点の像ができるわけです。フォーカスが合っている時、マイクロレンズ毎のセンサー出力を合計すれば フォーカスが合っている部分の像ができるということです。
 では、像ががずれている時の画像はどうすれば得られるでしょう?  被写体が上図の第二被写体面T2にある場合を考えます。 レンズは動かさないとすると、マイクロレンズより後の第二焦点面F2というところに像が出来ているはずです。 (逆に、被写体が、T1よりも左側にずれている時は、マイクロレンズよりも左側に像が出来ているはずです。) 今、T2に物体が合った時、B点の像がどこにできるかは計算できます。B点の像がD点に出来たとします。 実際は、D点に到達する前にセンサーに光は入ってしまいます。図の場合は、センサーの中の一番上の画素に 入っています(赤く塗りつぶした画素です)。  ということは、赤く塗りつぶした画素の出力を位置を変えてD点に描画してやればB点の画像、つまりB点に フォーカスが合っている画像が得られるということです。  ではD点の位置はどうやって求めれば良いのでしょうか? センサーとレンズの位置関係はハード的に決まっています。
センサーと検出角度

Fig 10

 上図に示したように、Fig 9の一番上のマイクロレンズと、センサーの部分を拡大したものです。 マイクロレンズとセンサーの位置関係は、機械的に固定されていますので、設計値上で 各センサーの画素が受光する光のマイクロレンズに対する角度θは、決まっています。つまり、Fig 9で 示したA点から発してレンズ下端を通った光も、 B点から発してレンズ下端を通った光も全て赤で塗りつぶしたセンサーに入るのです。  一方、第一物体面から第二物体面までの距離を決めてやれば、第一焦点面から第二焦点面までの距離ΔFも 決まりますので、第一焦点面、第二焦点面間隔と角度θから、D点の位置(光軸からの距離)も決まります。D点の位置を 計算し、赤で塗りつぶした画素の出力に見合った明るさで描画すれば、B点に焦点があった画像が得られる わけです。この計算を全ての画素に対して実行すれば、第二物体面に焦点のあった画像が得られるというわけです。  この他にも、別の場所にフォーカスを移動した時の画像を得る手段は有ります。 例えば、Fig 9のT2面を、赤の緑と青の光線が貫いていますが、各光線の強度は、センサーで個別に得られて いますので、T2面と各光線が交わる位置を計算して、その位置にセンサー出力に見合った明るさで描画 してやっても同じ結果が得られます。描画方法は他にもありますが、ここでは省略します。
 ここまでの説明で、お判りかと思いますが、ライトフィールドカメラというのは、マイクロレンズとその 後のセンサーの位置関係で主レンズから後の光の経路が決まってしまい、さらに、主レンズより前は主レンズの 焦点距離によって決まってしまうのです。Fig 9で示した、赤と青と緑の線は、被写体とは関係なく固定され 、被写体が置かれる位置によってこれらの光線とクロスする被写体の微小部分がその光線のセンサーで 受光されているのです。 まるで、網の目のように、あるいはクモの巣のように張り巡らされた光線によって、被写体を補足するように なっているということです。このあたりがライトフィールドと呼ばれる所以なのかもしれません。

6 ライトフィールドカメラの問題
 いかがでしたでしょうか。少し長くなりましたが、ライトフィールドカメラというのは、 意外に単純な原理であるということがお判りいただけたのではないでしょうか。 専門的な光学の用語や知識はなるべく避けて記述したつもりですが、お判りにくい点があったかもしれません。 ご容赦願います。 ライトフィールドカメラにはひとつ大きな欠点があります。それは解像度です。 いままでの説明でお判り頂けたと思いますが、ライトフィールドカメラの解像度は、 マイクロレンズの数で決まってしまうのです。 ひとつのマイクロレンズの後のセンサーの数を1マイクロレンズあたり100個にしたとすると、 2000万画素のカメラのセンサーを使ったとしても、 1/100の20万画素になってしまうということです。 しかし、今までにはなかった新しいコンセプトで、 しかもデジカメにしか出来ないこの技術は大きな可能性を持っていると思います。 アップルがこの関連の特許を取得したというニュースが流れました。 近い将来iPhoneにライトフィールドカメラ搭載されるかも知れません。
参考文献:
Ren Ng et al. Light Field Photography with a hand-held Plenoptic Camera
V.Vaish et al. Using Plane + Parallax for Calibrating Dense Camera Arrays
蚊野 浩,ライトフィールドカメラLytro の動作原理とアルゴリズム
ご指摘、ご感想は、弊社問合せのフォーム(本ページ右上のリンク)よりお願い致します。掲載させて いただく場合がございますので、ご承知置きください。
© 2006- PhotoSepia corporation. All Rights Reserved