最新事例/SVシリーズ
ホーム > 製品サポート > 最新事例/SVシリーズ
☆最新事例/2021年3月更新
2021年2月現在までの最新の開発事例などをご紹介いたします。

カメラの映像だけでなくEmbedded Dataも同時に取り込むことが可能となりました。
SVO-03-MIPIの後継機、SVO-06開発中です。


☆2021年2月までに開発終了した機能と商品
カメラ映像+Embedded Dataの取り込み



【Embedded Dataとは】
   最近のカメラの中には映像のアクティブデータの上下の部分にEmbedded Dataと呼ばれる映像以外の情報を埋め込まれている部分があります。
   このEmbedded Dataにはフレームカウント値(タイムコード)、ゲインの値(アナログ・デジタル)、ホワイトバランス、露光時間、HDR情報やセンサーの温度・電源モニタ情報などのセンサーに関する様々な情報が入れられていることが多いです。
   但し、メーカーはこの情報を一般的に開示していることは少ないので、カメラモジュールメーカー様とNDA(秘密保持契約)を結んで情報を入手する必要があります。
   この情報がわかれば、SVM-06を使うことで、カメラの映像だけでなくEmbedded Dataも同時に取り込むことが可能です。

UVCモード時は映像 + Embedded Dataの転送とPC上でのAVIフォーマットで記録が可能です。
HDMIモード時は映像 + Embedded Dataを HDMI信号として出力することも可能です。

   ここではEmbedded Data内のフレームカウント値の解析とその内容を元にインジケータ表示を行う手法を説明いたします。

【フレーム構成】

   一般的に映像の先頭部分に何ラインかのEmbedded Dataがあり、映像の最後にも何ラインかのEmbedded Dataが付加されています。

   またEmbedded Dataの後ろにはActive Areaの1ラインのピクセル数に満たない場合、足りない領域をPadding Dataが埋められていることもあります。


【SVM-06でのEmbedded Dataの対応】
   SVM-06ではMIPI CSI-2 RXデコードの機能として実装します。デコーダはData Type値を見てPayload Dataを仕分けます。
   通常は、このときサポートするData Type以外のLong Packetを捨てますが、SVM-06のFPGAファームウェアのVersion1.40以降では、センサ・メーカーで割り当てるData Type値を元に、Embedded Dataを同時取り込むことが可能となります。
   この時にデコード後の1Lineの幅を設定した値となるようカットしたりPadding Data(00h)を挿入するなどの幅補正の処理も可能です。
   また、有効画像では Data Type 毎に異なるアンパック処理を行いますが、必要に応じて Embedded Data に対しても、有効画像と同等のアンパック処理をVC(Virtual Channel)毎に設定することも可能です。
   なお、Embedded Dataとは異なりますが、イメージセンサーの周辺部に光を受けないようにマスクされた部分であるオプティカル・ブラック(Optical Black)に関してもセンサーメーカーでData Type値が定義されていれば、このデータも同時に取り込むことも可能です。

【Embedded Data フレームカウンタの解析】
   例えばEmbedded Dataが2行あったとして、フレームカウンタの値がFront Embedded Data中の1行目5番目のE1-5から8番目のE1-8の4バイトに埋め込まれているとします。この値は各フレーム毎に+1ずつインクリメントされます。



   Embedded Data中のフレームカウンタの値が収められている位置がわかれば「上からのライン数」「左からのオフセット」で格納位置を特定することが可能となります。そのフレームカウンタの値が2以上変化した場合をフレームドロップとして検知することができます。
   またフレームドロップを検知した場合にエラーの累積値に「1」を加えるようなエラーの発生した数をカウントすることも可能です。

【フレームカウンタの解析結果の表示】
   フレームカウンタの値がわかればそれを映像情報の例えば左上にOSD(オンスクリーン表示)の機能を使って表示することが可能です。例えばフレームドロップを検知した場合、映像上に「3秒間」インジケータを点滅して表示することにより検査する人が視覚的にエラーを発見することが可能となります。
   またフレームのドロップした数を数値として表示することも可能です。



   SVM-06を使うことで有効画像領域と合わせて各種Embedded Dataを含めたフレーム単位で録画することができます。今回の説明ではフレームカウンタの値を例に使いましたが、Embedded Dataにはセンサーの様々な情報が入っていますので、それらをうまく使うことでシステムの差別化が可能となります。
   Embedded Dataの取り込みは、個別対応となります。詳細は弊社営業まで、お問い合わせください。



☆開発中の機能と商品

MIPIジェネレータ   SVO-06:開発中[2021年4月末β版完成予定]

   SVO-03-MIPIの後継機SVO-06は、現在SVM-06を使用して開発中です。
完成すると、MIPI-1.5Gbps/レーンの対応が可能となります。
現状は、PCからUSB3.0経由で映像を取り込み、MIPI-IFからMIPI信号を出力する機能のみの開発となります。
   SVO-06のUSB入力対応版は、β版として4月末完成予定です。
   HDMI側については、現在の所4K対応の、HDMI-ICの選択ができておりません。そのため、最終版のSVO-06は、HDMI-IC の選択待ちになります。
価格はSVO-03-MIPIと同様の198,000円を予定しております。


可逆圧縮JPEG-LS/FPGA-IP:開発中[2021年5月末完成予定]
   車載で自動運転等に使用される画像は、精度を上げるためほとんど非圧縮プログレッシブ画像が使用されています。
   最近の研究開発では、4K画像が使用されることが多くなってきました。4Kとは、横4,000×縦2,000前後の画面解像度に対応した映像に対する総称です。映画、カメラに使用されるDCI 4096×2160(画素数8,847,360)と、テレビ放送、ディスプレイで使用される4K UHDTV 3840×2160(画素数8,294,400)があります。
   4K-30fps&60fpsの画像は処理するのも大変ですし、画像を保存しておくのも大変な作業になります。
   そこで弊社では、可逆圧縮JPEG-LSのFPGA-IPを開発しております。現バージョンは、MIPIモニターボードSVM-06用に1080P(1920x1080)まで可逆圧縮できるIPです。次に伸長IPを開発いたします。
   JPEG-LSは可逆圧縮ですので、非圧縮プログレッシブ画像からの移行も容易だと考えております。
   今回のFPGA-IPは、独自開発となります。評価依頼は、弊社営業までご連絡ください。


【開発済】
・2021年2月末 JPEG-LS圧縮FPGA-IP

【今後の開発予定】
・2021年4月末:JPEG-LS評価用アプリソフト開発
   *圧縮、伸長アルゴリズム確認用
・2021年4月末:JPEG-LS伸長FPGA-IP開発

Multi-Channel録画ツール:β版開発済
   カメラの解像度が上がるに伴い、録画に使うパソコンの性能やSSDの容量と書き込み速度の要求が厳しくなり、また1台のパソコンでカメラ複数台の同時取り込みにおけるデータレートの限界が見えてきました。
   そこで弊社ではその問題を解決する方法として、LAN経由で複数NVCapの録画をコントロールするソフトを開発中です。
   これにより4つの録画システムに対し、PC4台で構成することで、SSDの書き込みが1系統になり、データレートが下がることで録画・再生が安定します。4台のPCも高性能の必要がなく、NUCのような超小型PCを使うことで、各PC毎にモニタやキーボードも必要なくなり、省スペース化にも寄与します。


そしてLAN経由でコントロールすることでフレキシブルな接続が可能となり、
無線LANを使うことで遠隔での操作が出来るようになります。

【ソフトウェア構成】
   遠隔操作するパソコン上でNVCapとTCPController serverのソフトを立ち上げておけば、あとはクライアント側からTCPController Clientにより操作が可能です。
   例えば4台の録画システムに一斉にコマンドを送ることで映像の同時取り込みがスタートします。SSDに録画が完了したらその録画データをクライアントに転送することも可能です。




■ 過去の更新ページはこちらから
☆最新事例/2020年11月更新(OVT社MIPIセンサ接続ボード)
☆最新事例/2019年11月更新(SVM-06/I2Cモニター機能)
☆最新事例/2019年7月更新(LAN-IFボード)
注意事項:記載された商品名、社名は各社の商標です。本資料は仕様変更の為予告なく変更する場合があります。