VCA: Video Complexity Analyzer

对于在线分析实时流媒体应用中视频内容的复杂性而言,选择低复杂度的特征对于确保无中断的低延迟视频流至关重要。为此,要为每个视频(段)确定两个特征,即平均纹理能量和纹理能量的平均梯度。引入基于 DCT 的能量函数来确定每个帧的顺时针纹理。视频(段)的空间和时间特征就是从这个基于 DCT 的能量函数中推导

对于在线分析实时流媒体应用中视频内容的复杂性而言,选择低复杂度的特征对于确保无中断的低延迟视频流至关重要。为此,要为每个视频(段)确定两个特征,即平均纹理能量和纹理能量的平均梯度。引入基于 DCT 的能量函数来确定每个帧的顺时针纹理。视频(段)的空间和时间特征就是从这个基于 DCT 的能量函数中推导出来的。视频复杂性分析器(VCA)项目旨在为每个视频(片段)提供高效的空间和时间复杂性分析,该分析可用于各种应用,以找到最佳的编码决策。VCA 利用英特尔 CPU 的一些 x86 单指令多数据(SIMD)优化技术和多线程优化技术来提高性能。

对于视频内容复杂性的在线分析,选择无干扰低复杂性特征对于确保低延迟视频流至关重要。在一帧图像中,要计算两个特征,即平均纹理能量和纹理能量的平均梯度]。引入基于 DCT 的能量函数来确定每一帧的分块纹理,其定义如下:

H_{p, k}=\sum_{i=0}^{w-1} \sum_{j=0}^{w-1} e^{\left|\left(\frac{i j}{w^2}\right)^2-1\right|}|D C T(i, j)|

其中,𝑘 是𝑝𝑡 帧中的块地址,𝑤 × 𝑤 像素是块的大小,𝐷𝐶𝑇 (𝑖, 𝑗 ) 是当 𝑖 + 𝑗 > 0 时的(𝑖, 𝑗 )𝑡 DCT 分量,否则为 0 。由于较高的 DCT 频率是由混杂的物体造成的,因此会给较高的 DCT 频率分配指数级较高的成本。如下图所示,对纹理进行平均,以确定空间能量特征,用 𝐸 表示:

E=\sum_{k=0}^{C-1} \frac{H_{p, k}}{C \cdot w^2}

这里,𝐶 表示每帧的块数。此外,计算出每一帧的纹理能量与前一帧相比的分块能量𝑆𝐴𝐷,然后对片段中的每一帧进行平均,得到平均时间能量(h),如图所示

h=\sum_{k=0}^{C-1} \frac{S A D\left(H_{p, k}, H_{p-1, k}\right)}{C \cdot w^2}

每帧 h 的梯度定义\epsilon为 :

\epsilon=\frac{h_{p-1}-h_p}{h_{p-1}}

如果\epsilon=0, p^{t h} 列表帧就是 (p-1)^{t h} 列表帧的重复. 块宽度(w)的默认值为 32 . 用户可以使用 -block-size 选项将其设置为 8、16 或 32

Menon et al. - 2022 - VCA video complexity analyzer.pdf

Comment