SVOシリーズの読み込み画像作成・開発中の機能と商品のご紹介
2021年5月現在までの、最新開発事例をご紹介いたします。
SVOシリーズの読み込み画像作成
■SVOシリーズの読み込み画像作成
SVOシリーズでは、拡張子 .frmt, .frm, .avi,ファイルに対応しております。FRMフォーマットは、弊社の独自フォーマットです。AVIファイル*1は非圧縮ファイルで、FourCC*2が、"YUY2","UYVY", "DIB*3 "いずれかである必要があります。
最近、市販の画像アプリソフトやドライブレコーダーで録画した画像を、SVOシリーズで使用したいというご要望が、多く寄せられております。
そこでSVOシリーズで読み込み可能な画像を作る方法を２つご紹介します。
RAWデータには対応できませんが、YUV、RGBでは使用できます。SVOシリーズでの入力ファイル作成にご使用いただければ幸いです。
【SVO-03の「HDMI 入力、USB 出力モード」を使った方法】
SVO-03には標準でHDMIからの画像入力をUSB3.0のUVC経由でパソコンに録画する機能を有しております。
パソコンまたはビデオプレーヤーから任意の画像をHDMIケーブルでSVO-03につなぎ画像を流します。USB3.0ケーブルでつながったパソコン上で弊社キャプチャアプリのNVCapを立ち上げ、その画像を録画します。
録画された画像はfrmまたはAVI形式になっていますので、その画像をSVOgeneratorで読み込むことで実現可能となります。
但し、扱える解像度とフレームレートは1920x1080(FullHD)と1280x720(HD)の30or60fpsに限定されます。（クリッピング機能により任意の位置から切り出すことは可能）
【オープンソースのFFmpegを使った変換方法】
ドライブレコーダー等のMPEG-4形式の画像を、SVO用のファイルとして使用する場合は、オープンソースのFFmpegをつかって変換する方法があります。
FFmpeg: https://ffmpeg.org/
コマンドラインで操作するツールですので、慣れは必要ですが、FFmpegを使用すれば、簡単にSVOシリーズで読み込める形式に変換できます。その際、ピクセルフォーマット、画サイズ、フレームレートなどを変更できますので、DSP、ISP、ECU開発で必要なフォーマットをテストする為の画像生成ツールとして使用できます。
コマンドライン例は下記になります。
【例１：input.mp4のファイルをoutput.aviに変換】
ffmpeg.exe -i input.mp4 -vcodec rawvideo -pix_fmt uyvy422 output.avi
-i 入力ファイル名
-vcodec コーデック指定 (ここでrawvideoを指定)
-pix_fmt ピクセルフォーマット指定 (ここでuyvy422を指定)
［応用例１：60fpsの画像ファイルの30秒目から60秒間トリミングし音声なしで30fpsに変換］
ffmpeg.exe -r 60 -ss 30 -i input.mp4 -ss 0 -t 60 -an -vcodec rawvideo
-pix_fmt uyvy422 -r 30 output.avi
-r フレームレート 例60fps、30fps
-ss 開始time 例30秒
-t 切り出し時間 例60秒
-an 音声なし
［応用例2：上記設定に1280x800で切り出しを追加］
ffmpeg.exe -r 60 -ss 30 -i input.mp4 -ss 0 -t 60 -an -vcodec rawvideo
-pix_fmt uyvy422 -r 30 -vf crop=1280:800:320:0 output.avi
切り出し
-vf crop=幅:高さ:開始左:開始上
例：1280:720:320:180 （1920x1080の画像の真ん中を1280x720で切り出し）
以下のコマンドでリサイズすることも可能
-s 1280x720
GUIベースのソフトウェアも多数ありますが、当社では評価しておりません。ご要望が多ければ、弊社でも開発いたします。
【今後の予定】
現状ではHDMI-4K対応の市販ICが市場に出ておりません。HDMI-4K対応ICの市販が開始され次第、SVOシリーズの4K画像対応は開発する予定です。
【用語説明】
*1 AVIファイルは非圧縮AVIをサポートし、以下のカラースペースのみ対応可能です。
| FOURCC | 色空間 | 色の並び |
|---|---|---|
| UYVY | YUV422 | U0, Y0, V0, Y1 |
| YUY2 | YUV422 | Y0, U0, Y1, V0 |
| DIB | RGB24 | B, G, R |
*2 FourCC(Four-Character Code）
*3 DIB(Device Independent Bitmap)を示す FourCC の "DIB " です。
開発中の機能と商品
■MIPIジェネレータ SVO-06：開発中［2021年5月末β版完成予定］
■可逆圧縮JPEG-LS/FPGA-IP：開発中［2021年6月末完成予定］
車載で自動運転等に使用される画像は、精度を上げるためほとんど非圧縮プログレッシブ画像が使用されています。
最近の研究開発では、4K画像が使用されることが多くなってきました。4Kとは、横4,000×縦2,000前後の画面解像度に対応した映像に対する総称です。映画、カメラに使用されるDCI 4096×2160（画素数8,847,360）と、テレビ放送、ディスプレイで使用される4K UHDTV 3840×2160（画素数8,294,400）があります。
4K-30fps＆60fpsの画像は処理するのも大変ですし、画像を保存しておくのも大変な作業になります。
そこで弊社では、可逆圧縮JPEG-LSのFPGA-IPを開発しております。現バージョンは、MIPIモニターボードSVM-06用に1080P(1920x1080)まで可逆圧縮できるIPです。次に伸長IPを開発いたします。
JPEG-LSは可逆圧縮ですので、非圧縮プログレッシブ画像からの移行も容易だと考えております。
今回のFPGA-IPは、独自開発となります。評価依頼は、弊社営業までご連絡ください。
【開発済】
・2021年2月末 JPEG-LS圧縮FPGA-IP
【今後の開発予定】
・2021年5月末：JPEG-LS評価用アプリソフト開発
＊圧縮、伸長アルゴリズム確認用
・2021年6月末：JPEG-LS伸長FPGA-IP開発
ご質問等はお問合せフォームまたは、営業へ直接ご依頼ください。
