基于内容视觉感知和传输失真的无参考视频质量客观评价

姚军财; 汤浩威; 申静

doi:10.37188/OPE.20223022.2923

您当前的位置：

首页 >

文章列表页 >

基于内容视觉感知和传输失真的无参考视频质量客观评价

信息科学 | 更新时间：2022-11-24

- 基于内容视觉感知和传输失真的无参考视频质量客观评价
- No-reference video quality objective assessment method based on the content visual perception and transmission distortion
- 光学精密工程 2022年30卷第22期页码：2923-2938
- 作者机构：
  
  1.南京工程学院计算机工程学院江苏南京 211167
  2.西安交通大学信息与通信工程学院陕西西安 710049
- 作者简介：
  
  [ "姚军财（1979-），男，湖北黄冈人，博士，教授，硕士生导师，主要从事视觉光学、信息质量评价、图像和视频处理、计算机视觉及其交叉学科等方面的研究。E-mail： yjc4782@163.com" ]
  [ "汤浩威（1996-），男，江苏宿迁人，硕士研究生，2020年于兰州工业学院获得学士学位，主要从事机器学习、电力设备的图像识别和故障检测等方面的研究。E-mail： 1925774316@qq.com" ]
  [ "申静（1981-），女，山东济宁人，硕士，副教授，主要从事人工智能、计算机视觉、信息质量评价、图像和视频处理等方面的研究。E-mail： shenjingtg@163.com" ]
- 基金信息：
  
  国家自然科学基金资助项目(61301237);江苏省自然科学基金面上项目资助(BK20201468);江苏省高校“青蓝工程”中青年学术带头人资助项目(苏教师函〔2022〕29号)
- DOI：10.37188/OPE.20223022.2923
  中图分类号： TN919.82;O438
- 收稿日期：2022-03-21，
  
  修回日期：2022-04-21，
  
  纸质出版日期：2022-11-25
- 稿件说明：
移动端阅览
姚军财,汤浩威,申静.基于内容视觉感知和传输失真的无参考视频质量客观评价[J].光学精密工程,2022,30(22):2923-2938.

YAO Juncai,TANG Haowei,SHEN Jing.No-reference video quality objective assessment method based on the content visual perception and transmission distortion[J].Optics and Precision Engineering,2022,30(22):2923-2938.
姚军财,汤浩威,申静.基于内容视觉感知和传输失真的无参考视频质量客观评价[J].光学精密工程,2022,30(22):2923-2938. DOI： 10.37188/OPE.20223022.2923.

YAO Juncai,TANG Haowei,SHEN Jing.No-reference video quality objective assessment method based on the content visual perception and transmission distortion[J].Optics and Precision Engineering,2022,30(22):2923-2938. DOI： 10.37188/OPE.20223022.2923.

摘要

通过分析和研究视频内容特征、编解码失真特征和传输时延特征对视频质量评价的影响，结合人眼视觉特性及其数学模型，提出了一种综合考虑传输和编解码失真的基于内容感知的无参考视频质量评价方法，并构建其数学模型。在该方法中，首先采用视频帧图像纹理复杂性特征、图像的局部对比度、时域信息及其视觉感知来描述视频内容，构建其内容感知模型，并以此探讨视频内容及其视觉感知对视频质量的影响；然后，探讨比特率与视频质量之间的关系，构建其模型，研究视频比特率对其质量的影响；接着，结合视频传输时延特征，构建了由于传输时延失真而产生的视频质量下降的质量评价模型；最后，采用凸优化方法综合3个方面的模型，提出了一种综合考虑视频内容、编解码失真、传输时延失真和视觉特性的无参考视频质量评价模型。并采用多个建立的视频数据库和开源数据库中的数据和视频进行了测试验证，并与17种现有视频质量评价模型进行了性能对比；结果表明，所提模型的精度Pearson相关系数和Spearman秩序相关系数值最小分别能够达到0.877 3和0.833 6，最大可以实现0.938 3和0.943 8，表现出了较好的泛化性能，且复杂度比较低。综合模型精度、泛化性能、复杂性3个方面的性能参数表明，所提模型是一个性能比较优异的视频质量评价模型。

Abstract

This paper proposes a Video Quality Assessment （VQA） method based on video-content perception by analyzing the influence of video content， transmission delay， and encoding and decoding distortion characteristics on the VQA， combined with human visual system characteristics and its mathematical model. In this method， the video contents are described by the texture complexity， local contrast， temporal information of video frame image， and their visual perception. Thus， the video contents perception model can be built， which allows for investigating the influence of the video content and their visual perception on VQA. The relationship between the bit rate and video quality is discussed， whose relationship models are built， to study the impact of the bit rate of video-on-video quality. Subsequently， the VQA model that video quality degradation caused by transmission delay distortion is designed by combining the characteristics of video transmission delay. Finally， the convex optimization method is used to synthesize the above three aspects of models， and a no-reference VQA model considering the video contents， encoding and decoding distortion， transmission delay distortion， and human visual system characteristics， is proposed. The proposed VQA model was tested and verified using the videos from several established video databases and open-source video databases， and its performance was compared with that of 17 existing VQA models. The results showed that the precision Pearson linear and Spearman rank order correlation coefficients of the proposed VQA model reached a minimum of 0.8773 and 0.8336 and a maximum of 0.938 3 and 0.943 8， respectively. This shows that the model has good generalization performance and low complexity. Analyzing the overall efficiency of performance in terms of model accuracy， generalization performance， and complexity， the results show that the proposed model is an excellent VQA model.

关键词

Keywords

references

ZHAI G T ， MIN X K . Perceptual image quality assessment： a survey ［J］. Science China Information Sciences ， 2020 ， 63 （ 11 ）： 1 - 52 . doi: 10.1007/s11432-019-2757-1 http://dx.doi.org/10.1007/s11432-019-2757-1

弓殷强，余新，邱国平 . 显示设备环境自适应色调映射算法［J］. 液晶与显示， 2021 ， 36 （ 12 ）： 1645 - 1657 . doi: 10.37188/cjlcd.2021-0100 http://dx.doi.org/10.37188/cjlcd.2021-0100

GONG Y Q ， YU X ， QIU G P . Environment adaptive tone mapping algorithm for display devices ［J］. Chinese Journal of Liquid Crystals and Displays ， 2021 ， 36 （ 12 ）： 1645 - 1657 . （in Chinese） . doi: 10.37188/cjlcd.2021-0100 http://dx.doi.org/10.37188/cjlcd.2021-0100

CHENG S ， ZENG H ， CHEN J ， et al . Screen content video quality assessment： subjective and objective study ［J］. IEEE Transactions on Image Processing： a Publication of the IEEE Signal Processing Society ， 2020 ， PP： 2020Aug26；PP. doi: 10.1109/tip.2020.3018256 http://dx.doi.org/10.1109/tip.2020.3018256

YAO J Y ， LIU G Z . Bitrate-based no-reference video quality assessment combining the visual perception of video contents ［J］. IEEE Transactions on Broadcasting ， 2019 ， 65 （ 3 ）： 546 - 557 . doi: 10.1109/tbc.2018.2878360 http://dx.doi.org/10.1109/tbc.2018.2878360

MARGARET H P . The consumer digital video library ［EB/OL］. Available ： https：//www.cdvl.org/ https://www.cdvl.org/ .

PEREZ-ORTIZ M ， MIKHAILIUK A ， ZERMAN E ， et al . From pairwise comparisons and rating to a unified quality scale ［J］. IEEE Transactions on Image Processing： a Publication of the IEEE Signal Processing Society ， 2019 ： 2019 Aug28. doi: 10.1109/tip.2019.2936103 http://dx.doi.org/10.1109/tip.2019.2936103

FAN Q ， LUO W ， XIA Y ， et al . Metrics and methods of video quality assessment： a brief review ［J］. Multimedia Tools and Applications ， 2019 ， 78 （ 22 ）： 31019 - 31033 . doi: 10.1007/s11042-017-4848-x http://dx.doi.org/10.1007/s11042-017-4848-x

CEMILOGLU E ， YILMAZ G N . Blind video quality assessment via spatiotemporal statistical analysis of adaptive cube size 3D-DCT coefficients ［J］. IET Image Processing ， 2020 ， 14 （ 5 ）： 845 - 852 . doi: 10.1049/iet-ipr.2019.0275 http://dx.doi.org/10.1049/iet-ipr.2019.0275

MITRA S ， SOUNDARARAJAN R ， CHANNAPPAYYA S S . Predicting spatio-temporal entropic differences for robust no reference video quality assessment ［J］. IEEE Signal Processing Letters ， 2021 ， 28 ： 170 - 174 . doi: 10.1109/lsp.2021.3049682 http://dx.doi.org/10.1109/lsp.2021.3049682

KULUPANA G ， TALAGALA D S ， ARACHCHI H K ， et al . End user video quality prediction and coding parameters selection at the encoder for robust HEVC video transmission ［J］. IEEE Transactions on Circuits and Systems for Video Technology ， 2019 ， 29 （ 11 ）： 3367 - 3381 . doi: 10.1109/tcsvt.2018.2879956 http://dx.doi.org/10.1109/tcsvt.2018.2879956

CHEN Z B ， LIAO N ， GU X D ， et al . Hybrid distortion ranking tuned bitstream-layer video quality assessment ［J］. IEEE Transactions on Circuits and Systems for Video Technology ， 2016 ， 26 （ 6 ）： 1029 - 1043 . doi: 10.1109/tcsvt.2015.2441432 http://dx.doi.org/10.1109/tcsvt.2015.2441432

USMAN M A ， USMAN M R ， SHIN S Y . A novel no-reference metric for estimating the impact of frame freezing artifacts on perceptual quality of streamed videos ［J］. IEEE Transactions on Multimedia ， 2018 ， 20 （ 9 ）： 2344 - 2359 . doi: 10.1109/tmm.2018.2801722 http://dx.doi.org/10.1109/tmm.2018.2801722

CHEN P F ， LI L D ， MA L ， et al . RIRNet： recurrent-in-recurrent network for video quality assessment ［C］// Proceedings of the 28th ACM International Conference on Multimedia . Seattle WA USA . New York， NY， USA ： ACM ， 2020 ： 834 - 842 . doi: 10.1145/3394171.3413717 http://dx.doi.org/10.1145/3394171.3413717

BANITALEBI-DEHKORDI M ， EBRAHIMI-MOGHADAM A ， KHADEMI M ， et al . No-reference quality assessment of HEVC video streams based on visual memory modelling ［J］. Journal of Visual Communication and Image Representation ， 2021 ， 75 ： 103011 . doi: 10.1016/j.jvcir.2020.103011 http://dx.doi.org/10.1016/j.jvcir.2020.103011

ZHANG Y ， CHANDLER D M . Opinion-unaware blind quality assessment of multiply and singly distorted images via distortion parameter estimation ［J］. IEEE Transactions on Image Processing ， 2018 ， 27 （ 11 ）： 5433 - 5448 . doi: 10.1109/tip.2018.2857413 http://dx.doi.org/10.1109/tip.2018.2857413

FOTIO TIOTSOP L ， MIZDOS T ， UHRINA M ， et al . Modeling and estimating the subjects’ diversity of opinions in video quality assessment： a neural network based approach ［J］. Multimedia Tools and Applications ， 2021 ， 80 （ 3 ）： 3469 - 3487 . doi: 10.1007/s11042-020-09704-w http://dx.doi.org/10.1007/s11042-020-09704-w

ZOU W J ， YANG F Z ， SONG J R ， et al . Event-based perceptual quality assessment for HTTP-based video streaming with playback interruption ［J］. IEEE Transactions on Multimedia ， 2018 ， 20 （ 6 ）： 1475 - 1488 . doi: 10.1109/tmm.2017.2769449 http://dx.doi.org/10.1109/tmm.2017.2769449

AHAR A ， BARRI A ， SCHELKENS P . From sparse coding significance to perceptual quality： a new approach for image quality assessment ［J］. IEEE Transactions on Image Processing ， 2018 ， 27 （ 2 ）： 879 - 893 . doi: 10.1109/tip.2017.2771412 http://dx.doi.org/10.1109/tip.2017.2771412

CHOI S H ， KIM H ， SHIN K C ， et al . Perceived color impression for spatially mixed colors ［J］. Journal of Display Technology ， 2014 ， 10 （ 4 ）： 282 - 287 . doi: 10.1109/jdt.2014.2300488 http://dx.doi.org/10.1109/jdt.2014.2300488

LIU J C ， GENG Y ， WANG D Y ， et al . An objective multi-factor QoE evaluation based on content classification for H.264/AVC encoded video ［C］// 2013 IEEE Symposium on Computers and Communications . Split， Croatia. IEEE ，： 137 - 142 . doi: 10.1109/iscc.2013.6754935 http://dx.doi.org/10.1109/iscc.2013.6754935

范赐恩，冉杰文，颜佳，等 . 颜色空间统计联合纹理特征的无参考图像质量评价［J］. 光学精密工程， 2018 ， 26 （ 4 ）： 916 - 926 . doi: 10.3788/ope.20182604.0916 http://dx.doi.org/10.3788/ope.20182604.0916

FAN C E ， RAN J W ， YAN J ， et al . No-reference image quality assessment using joint color space statistical and texture feature ［J］. Opt. Precision Eng. ， 2018 ， 26 （ 4 ）： 916 - 926 . （in Chinese） . doi: 10.3788/ope.20182604.0916 http://dx.doi.org/10.3788/ope.20182604.0916

SHANG X W ， LIANG J ， WANG G Z ， et al . Color-sensitivity-based combined PSNR for objective video quality assessment ［J］. IEEE Transactions on Circuits and Systems for Video Technology ， 2019 ， 29 （ 5 ）： 1239 - 1250 . doi: 10.1109/tcsvt.2018.2836974 http://dx.doi.org/10.1109/tcsvt.2018.2836974

WHITE B J ， KERZEL D ， GEGENFURTNER K R . The spatio-temporal tuning of the mechanisms in the control of saccadic eye movements ［J］. Vision Research ， 2006 ， 46 （ 22 ）： 3886 - 3897 . doi: 10.1016/j.visres.2006.06.012 http://dx.doi.org/10.1016/j.visres.2006.06.012

SHEIKH H R ， WANG Z ， BOVIK A C . LIVE image and video quality assessment database ［EB/OL］. ［ 2019-8-13 ］. http：//live.ece.utexas.edu/ research/quality http://live.ece.utexas.edu/research/quality .

ÇALı M ， ÖZBEK N . SSIM-based adaptation for DASH with SVC in mobile networks ［J］. Signal， Image and Video Processing ， 2020 ， 14 （ 6 ）： 1107 - 1114 . doi: 10.1007/s11760-020-01646-y http://dx.doi.org/10.1007/s11760-020-01646-y

FARRELL J ， OKINCHA M ， PARMAR M ， et al . Using visible SNR （vSNR） to compare the image quality of pixel binning and digital resizing ［C］. Proc SPIE 7537， Digital Photography VI ， 2010 ， 7537 ： 106 - 114 . doi: 10.1117/12.839149 http://dx.doi.org/10.1117/12.839149

KORHONEN J . Two-level approach for no-reference consumer video quality assessment ［J］. IEEE Transactions on Image Processing： a Publication of the IEEE Signal Processing Society ， 2019 ， 28 （ 12 ）： 5923 - 5938 . doi: 10.1109/tip.2019.2923051 http://dx.doi.org/10.1109/tip.2019.2923051

DENDI S ， CHANNAPPAYYA S S . No-reference video quality assessment using natural spatiotemporal scene statistics ［J］. IEEE Transactions on Image Processing： a Publication of the IEEE Signal Processing Society ， 2020 ： 2020 Apr7. doi: 10.1109/tip.2020.2984879 http://dx.doi.org/10.1109/tip.2020.2984879

WU Q B ， LI H L ， MENG F M ， et al . Toward a blind quality metric for temporally distorted streaming video ［J］. IEEE Transactions on Broadcasting ， 2018 ， 64 （ 2 ）： 367 - 378 . doi: 10.1109/tbc.2017.2786023 http://dx.doi.org/10.1109/tbc.2017.2786023

LI X L ， GUO Q ， LU X Q . Spatiotemporal statistics for video quality assessment ［J］. IEEE Transactions on Image Processing ， 2016 ， 25 （ 7 ）： 3329 - 3342 . doi: 10.1109/tip.2016.2568752 http://dx.doi.org/10.1109/tip.2016.2568752

DANILO DE MIRANDA REGIS C ， DE PONTES OLIVEIRA I ， VINICIUS DE MIRANDA CARDOSO J ， et al . Design of objective video quality metrics using spatial and temporal informations ［J］. IEEE Latin America Transactions ， 2015 ， 13 （ 3 ）： 790 - 795 . doi: 10.1109/tla.2015.7069106 http://dx.doi.org/10.1109/tla.2015.7069106

GUAN Z Y ， LV H Z ， MA Y ， et al . A novel objective quality assessment method for video conferencing coding ［J］. China Communications ， 2019 ， 16 （ 4 ）： 89 - 104 .

KUMCU A ， BOMBEKE K ， PLATIŠA L ， et al . Performance of four subjective video quality assessment protocols and impact of different rating preprocessing and analysis methods ［J］. IEEE Journal of Selected Topics in Signal Processing ， 2017 ， 11 （ 1 ）： 48 - 63 . doi: 10.1109/jstsp.2016.2638681 http://dx.doi.org/10.1109/jstsp.2016.2638681

CHEN P F ， LI L D ， WU J J ， et al . Temporal reasoning guided QoE evaluation for mobile live video broadcasting ［J］. IEEE Transactions on Image Processing： a Publication of the IEEE Signal Processing Society ， 2021 ， 30 ： 3279 - 3292 . doi: 10.1109/tip.2021.3060255 http://dx.doi.org/10.1109/tip.2021.3060255

LI D Q ， JIANG T T ， JIANG M . Quality assessment of in-the-wild videos ［C］. Proceedings of the 27th ACM International Conference on Multimedia . Nice France . New York， NY， USA ： ACM ， 2019 ： 2351 - 2359 . doi: 10.1145/3343031.3351028 http://dx.doi.org/10.1145/3343031.3351028

马畅，张选德 . 基于颜色名称的彩色图像质量评价［J］. 液晶与显示， 2022 ， 37 （ 1 ）： 56 - 65 . doi: 10.37188/CJLCD.2021-0189 http://dx.doi.org/10.37188/CJLCD.2021-0189

MA C ， ZHANG X D . Color image quality assessment based on colornames ［J］. Chinese Journal of Liquid Crystals and Displays ， 2022 ， 37 （ 1 ）： 56 - 65 . （in Chinese） . doi: 10.37188/CJLCD.2021-0189 http://dx.doi.org/10.37188/CJLCD.2021-0189

姚军财，申静，黄陈蓉 . 基于多层BP神经网络的无参考视频质量客观评价［J］. 自动化学报， 2022 ， 48 （ 2 ）： 594 - 607 . doi: 10.16383/j.aas.c190539 http://dx.doi.org/10.16383/j.aas.c190539

YAO J C ， SHEN J ， HUANG CH R . No reference video quality objective assessment based on multilayer BP neural network ［J］. Acta Automatica Sinica ， 2022 ， 48 （ 2 ）： 594 - 607 . （in Chinese） . doi: 10.16383/j.aas.c190539 http://dx.doi.org/10.16383/j.aas.c190539

CHEN L H ， BAMPIS C G ， LI Z ， et al . Perceptual video quality prediction emphasizing chroma distortions ［J］. IEEE Transactions on Image Processing ， 2021 ， 30 ： 1408 - 1422 . doi: 10.1109/tip.2020.3043127 http://dx.doi.org/10.1109/tip.2020.3043127

浏览量

558

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

暂无数据