会议纪要 

1、时间：2023.8.30，14:30-15:30

3、主要议题

a)      团队初步想法报告

l  问题背景

Ø  终端设备（机顶盒）上进行视频通话，利用视频超分辨率模型对视频质量进行提升

Ø  目前端侧平台算力极低（1～2T INT8），无法使SOTA方案达到实时30FPS标准，需要轻量级超分辨率模型并且能够使视频质量达到VMAF>90

l  研究目标

Ø  低延时、高精度的视频超分辨率模型实时推理

l  初步方案

Ø  利用端边协同模式，将SOTA模型并行化后进行并行推理以加速；同时应用量化、剪枝技术对模型进行处理

Ø  超分辨率集成解码器的解码模式：利用编码压缩信息将多个低清帧以及一个超分帧进行多高清帧合成，减少超分辨率模型推理执行次数

Ø  设计延迟敏感的视频超分辨率模型推断加速机制：一方面模型层面优化，另一方面在特征传输中利用中间数据压缩，最终用算法得到延迟条件下最大的窗口大小

Ø  设计质量敏感的视频超分辨率集成解码控制策略：使用强化学习方法获得使质量最优的输入窗口大小

b)     华为技术诉求与交流

l  端侧平台主要是机顶盒电视的实时视频通话场景，是端到端的模式，边缘协同的方案要进一步论证可行性

l  端侧平台本身具有硬件解码器（H.264、H.265），如果利用集成解码器，需要考虑CPU资源占用，不影响用户其它应用运行

l  端侧拥有1080p到4k的硬件超分辨率模块，因此需要实现超分辨率模型从低分辨率到1080p的一个过程

l  视频通话场景下可以针对人像的场景做进一步优化，并且针对极端的通信不畅（信号丢失、丢包、信道出错等）使用插帧等方法解决卡顿问题

c)      后续工作安排

l  华为希望团队能够继续从超分辨率模型本身的角度，探索新的架构来达到低算力下的低延时高精度的视频超分辨率推理，同时希望调研集成解码方案软件解码对CPU资源占用的影响

l  方面计划利用实验分析集成解码软件解码对CPU资源占用的影响，并且重新考虑端到端场景下模型的设计和优化。此外，计划调研ROI编码方案的可行性，只针对视频帧中部分感兴趣区域或者纹理复杂（质量低）的区域进行超分，探索期降低延迟的能力