インテリジェントな線形化による視覚体験の向上

ロボットからウェブカメラに至るまで、安全動作やコア機能を画像データに依存するアプリケーションの数と種類は増加の一途をたどっています。センサ自体において、画像の正確度を保証する場合は、最新のアプリケーションにおける多くの課題をクリアする必要があります。

車両やセキュリティカメラなどの実装では、センサは暗い状態や高ダイナミックな状況で高い性能を発揮し、移動する物体を精密に追跡し、LED照明の下で正確に機能する必要があります。

ここでは、最も困難な状況でも確実な画像を撮影するために、HDRオンチップ・インテリジェント・リニアライゼーションなどの高度な技術が要求されます。

HDR映像合成における課題

画像を合成するプロセスは「線形化（リニアライズ: Liniarization）」と呼ばれ、最新の高解像度センサでは、強力な処理能力と大量のメモリが必要になる場合があります。

画像はわずかに異なる時間で撮影されるため、移動する物体や照明のチラツキにより、最終的な合成画像にアーチファクトが発生するなど、画質の問題を引き起こす可能性があります。しかし、線形化プロセスにインテリジェンスを適用することで、これらの問題を軽減するか完全に克服できます。線形化における一つの問題は、長時間露光画像から短時間露光画像へのトランジション中に発生します。画像間のS/N比の変化により、最終画像に急激な変化による線が入ることがあります。

インテリジェントな線形化により、長時間露光と短時間露光内の信号レベルに基づいて重み付けされた信号を計算し、トランジションを滑らかにして最終画像を改善することができます。

 動きもまた、監視カメラ、ボディカメラ、産業用ロボットなどのアプリケーションで頻繁に発生するもう一つの困難な課題です。画像は異なる時間に撮影されるため、移動する物体は各画像でわずかに異なる場所に現れます。

この状況は回転ファンを使用してシミュレートできます。オンセミの AR0822 イメージセンサは、長時間露光と短時間露光の間の動きの量を感知できます。この情報を使用して、動きによる色のアーチファクトを除去した合成信号が生成されます。

インテリジェントな線形化を行わずに結果を拡大すると線が見えることがありますが、これはインテリジェントな線形化を行えば除去されます。

画像センシングの最も一般的な課題の一つはLED照明の普及です。これには撮影シーン内にLED照明が存在する場合とLED照明でそのシーンを照らす場合の両方があります。LED照明は一定ではなく、長い画像と短い画像では大きく異なり、それが画像の色相の変化として現れる可能性があります。つまり、人間の目には明らかに「点灯」に見えるLEDが「消灯」のように見えることがあるわけです。

ここでも、撮影間での線形化された信号の違いを検知することにより、LEDが「消灯」に見える問題や、その結果生じる色の変化を軽減する合成信号を生成できます。

システムレベルでのメリット

複数の高解像度カメラを使用する画像センシングシステムが高度化するにつれて、処理レベルやデータスループットが飛躍的に向上し、外部の画像信号プロセッサ（ISP）やシステムオンチップ（SoC）に負担がかかります。

しかし、線形化をISPから AR0822などのインテリジェントイメージセンサに移行するeHDRなどの技法を使用すると、最終画像だけがISPに送られるため、帯域幅要件が大幅に削減されます。これにより、ISP内で必要な計算も減少し、帯域幅を大幅に増やすことなく、高いフレームレートを実現できます。

オンセミ は、イメージセンサに内蔵された高度なインテリジェント線形化アルゴリズムにより、多重露光HDR画像の合成時に発生するアーチファクトを軽減または除去することが可能です。その結果、きわめて容易に1個または複数のセンサを外部ISP/SoCに統合できます。

詳細は、ホワイトペーパー「High Dynamic Range Imaging Using Intelligent Linearization in eHDR Technology（eHDR技術のインテリジェントな線形化を使用したハイダイナミックレンジ・イメージング）」をご覧ください。