今回は、クアッドベイヤーカラーフィルターを搭載したイメージセンサーの魅力について調べてみました。
この記事を書いている技術箱もまだまだ素人ですので、間違っていることなどございましたらコメント欄やTwitteでご意見をお寄せいただけると幸いです。
クアッドベイヤーの仕組みとは?

クアッドベイヤーと言うのは、イメージセンサーのカラーフィルター配列の名前です。
通常のイメージセンサーでは、左上からRGGBの順にカラーフィルターが取り付けられています。
このパターンがいくつも集まって、一つのイメージセンサーとなっています。
一方クアッドベイヤーでは、4つの隣り合うピクセルが同じ色になるように配列しています。
クアッドベイヤーのメリットと活用例
クアッドベイヤーにすることによってどんなメリットがあるもかについて解説していきます。
クアッドベイヤーセンサーは、使用する方法やデータの処理方法によって、様々なメリットがあるのです。
ノイズを抑えた撮影や暗所撮影

4つの同じ色のカラーフィルターの画素を合成し、4つの画素を1つの画素として扱うことができます。
例えばimx586では、2×2 Adjacent Pixel Binningと言うドライブモードで使用できます。
広いダイナミックレンジで撮影
QBC-HDRと呼ばれる方法です。
同じ色の4つの隣接する画素のうち、対角にある合計2つの画素を1つのグループとして考えます。
1つのグループは長時間露光、もう一つのグループは短時間露光で撮影します。
下の図で示す明るい画素が長時間露光、暗い画素が長時間露光となります。

こうすることによって、単一露光で異なる露出の2枚の画像が得られます。
そして得られた異なる露出の2枚の画像を合成することによって、小さいイメージセンサーでも比較的広いダイナミックレンジで撮影することができます。
長時間露光によって得られた明るい画像から暗部を、短時間露光によって得られた暗めの画像の明部をそれぞれ抽出し、合成します。
実際やっている計算は少し違うかもしれませんが、2種類の露光画像を合成すると言う方法だと思って間違いなさそうです。

上の画像は、SonyのDOL-HDR( Digital Overlap High Dynamic Range)についての解説画像から引用しました。2つの画像を得る方法は違いますが、異なる露出を合成して広いダイナミックレンジを得ると言う点においては、イメージしやすいかと思います。
DOL-HDRについては、今後解説しようと思います。
個人的な見解ですが、クアッドベイヤーセンサーで最も費用対効果が高い使用方法が、このQBC-HDRなのではないかと思います。
一方、QBC-HDRが搭載されているスマートフォンは確認できていません。
こちらの記事によると、
この技術は一部の携帯電話で一時的に使用されましたが、結果が悪かったため、すぐに市場から撤退しました。
と言う内容のことが書かれています。
何か欠点があるのかもしれませんが、Mavic Air2のHDR動画を見る限り、結果が悪かったたどころか、大変素晴らしいものだと思います。1/2インチセンサーで撮られた4K映像とは思えないほどのダイナミックレンジで描写されています。
高い解像度で撮影
下の図のように、クアッドベイヤーセンサーの配列を入れ替えて、高解像度の画像を撮影可能です。

この、画素を並べ替えて通常のRGGB配列などに変換する処理はリモザイクと呼ばれています。
リモザイクを行うことで、通常のRaw現像ソフトで現像が可能となります。
一方レンズの性能によっては48MPや64MP、108MPなどの解像度で撮影しても、そのデータ量に見合った解像感で描写できないと言う場合もあるようです。
2×2OCL(オンチップレンズ)と組み合わせ、全画素でPDAFが使用可能
下の図にあるように、同じ色の4つの隣接する画素に対して、1つのオンチップレンズ(OCL:On-Chip Lens)を配置されています。オンチップレンズはセンサー表面のピクセル上に配置されています。

Canonによって開発されたデュアルピクセルAFと仕組みはよく似ています。
しかし、デュアルピクセルAFは横方向にコントラストが強い被写体には良好なオートフォーカスが可能でしたが、縦方向のみにコントラストが強い被写体には位相差検出ができませんでした。
一方2x2OCLによるPDAFでは、縦方向と横方向どちらか片方のみコントラストが強い被写体であっても良好なオートフォーカスが可能です。
2×2OCLを搭載したイメージセンサーでは、OnePLus 8Pro,OPPO FindX2Proに搭載されるimx689、OPPO Reno5 Pro+に搭載されるimx766が有名です。どれも比較的高価格なスマートフォンです。
オンチップレンズを使用したPDAF(位相差検出オートフォーカス:Phase Detection Auto Focus)に関する詳細は、以下の記事をご参照ください。
クアッドベイヤーのデメリット
感度が低くなってしまうことです。
4800万画素のクアッドベイヤーセンサーをビニングして使用した時と、同じ大きさの1200万画素の通常のベイヤーセンサーを比較したとき、感度は1200万画素のセンサーのほうが通常は高いです。
クアッドベイヤーセンサーの採用例
様々なメリットがあるクアッドベイヤーセンサーは、どのようなところで活躍しているのでしょうか?
詳しく見ていきましょう。
スマートフォン
現在販売されているスマートフォンのほぼ全てのメインカメラにクアッドベイヤーが使用されています。
意図的にクアッドベイヤーセンサーをメインカメラに搭載しないスマートフォンには以下のようなものがあります。
- iPhone12シリーズまでの全機種
- Xperia 1Ⅱまでの全機種
- Google Pixel5までの全機種
クアッドベイヤーセンサーimx586を搭載したスマートフォンの例

OnePlus8Tでは、メインカメラにSony imx586が搭載されています。
詳細はこちらをご覧ください。

OnePlus 8Proには、メインカメラにクアッドベイヤーのimx689を搭載しています。このイメージセンサーは、2×2 OCLを搭載し、暗所でも高速なオートフォーカスが可能です。
超広角カメラにもクアッドベイヤーのimx586を搭載しています。
詳細はこちらをご覧ください。

oppo Reno 5 Pro Plusには、メインカメラにimx766と言うイメージセンサーを搭載しています。
こちらもimx689と同様に、2×2 OCLを搭載しているため、様々な場面でオートフォーカスに有利となっています。
ドローン
ドローンのカメラにクアッドベイヤーセンサーが用いられたのは、発売のMavic Air2が最初であり、2021年1月現在はこのほかにクアッドベイヤーセンサーを搭載した有名機種はありません。
DJIほどの有名メーカーではないですが、imx299と呼ばれるクアッドベイヤーセンサーを搭載した機種も登場予定のようです。
【国内正規品】DJI Mavic Air 2 コンボ ドローン カメラ付き
クアッドベイヤーセンサー(imx586)を用いたQBC-HDRと言う方法により、4K30Fps撮影時に圧倒的広いダイナミックレンジで撮影可能です。imx586のデータシートを確認したところ、ドライブモードQBC-HDR使用時は12MP30Fpsでの読み出しが限界となっており、4K60FpsではHDRモードが使用できません。
今後高速にQBC-HDRが使用できるようになり、4K60Fpsで広いダイナミックレンジの撮影ができるようになるのでしょうか?今後の技術発展に期待です。
コメント
[…] リモザイクと言うのは、近年スマートフォンによって急速に普及したクアッドベイヤー センサーに対して行う処理の一つです。 […]
[…] […]
[…] […]
[…] […]
[…] […]
[…] […]
[…] […]
[…] […]
[…] […]