高级搜索

一种低延迟的3维高效视频编码中深度建模模式编码器

王莉 曹一凡 杜高明 刘冠宇 王晓蕾 张多利

引用本文: 王莉, 曹一凡, 杜高明, 刘冠宇, 王晓蕾, 张多利. 一种低延迟的3维高效视频编码中深度建模模式编码器[J]. 电子与信息学报, 2019, 41(7): 1625-1632. doi: 10.11999/JEIT180798 shu
Citation:  Li WANG, Yifan CAO, Gaoming DU, Guanyu LIU, Xiaolei WANG, Duoli ZHANG. A Low-latency Depth Modelling Mode-1 Encoder in 3D-high Efficiency Video Coding Standard[J]. Journal of Electronics and Information Technology, 2019, 41(7): 1625-1632. doi: 10.11999/JEIT180798 shu

一种低延迟的3维高效视频编码中深度建模模式编码器

    作者简介: 王莉: 女,1977年生,副教授,博士,研究方向为纳米材料和半导体器件;
    曹一凡: 男,1994年生,硕士生,研究方向为视频编解码的数字集成电路设计;
    杜高明: 男,1977年生,副研究员,博士,研究方向为多核集成电路体系结构、2维/3维片上网络集成体系结构;
    刘冠宇: 男,1995年生,硕士生,研究方向为数字集成电路设计;
    王晓蕾: 女,1978年生,副研究员,硕士,研究方向为集成电路设计;
    张多利: 男,1976年生,研究员,博士,研究方向为多核处理器体系架构和设计方法
    通讯作者: 杜高明,zhouyang@cqupt.edu.cn
  • 基金项目: 国家自然科学基金(61474036),教育部IC设计网上合作研究中心项目(JSGG20170413153845042)

摘要: 为了更好地对3D视频中深度图进行编码,该文将3维高效视频编码(3D-HEVC)标准新引入了深度建模模式(DMMs),新模式在提高了编码质量的同时改进了原有算法的复杂度。在设计DMM-1编码器电路时,传统架构电路的编码周期均较长,只能满足较低分辨率和帧率的视频实时编码要求。为了进一步提高3D-HEVC中DMM-1编码器的性能,该文对DMM-1算法架构进行了研究,针对其中楔形块评估无数据相关性的特点,提出了一种5级流水线架构的DMM-1编码器硬件电路,以期能够降低一个深度块编码所需的编码周期,并使用Verilog HDL进行实现。实验表明:该架构与Sanchez等人(2017年)的工作相比,以电路门数增加约1568门为代价,可减少至少52.3%的编码周期。

English

    1. [1]

      LEE J Y, WEY H C, and PARK D S. A fast and efficient Multi-View depth image coding method based on temporal and Inter-View correlations of texture images[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2011, 21(12): 1859–1868. doi: 10.1109/TCSVT.2011.2154730

    2. [2]

      SHEN Liquan, ZHANG Zhaoyang, and LIU Zhi. Inter mode selection for depth map coding in 3D video[J]. IEEE Transactions on Consumer Electronics, 2012, 58(3): 926–931. doi: 10.1109/TCE.2012.6311338

    3. [3]

      CERNIGLIARO G, JAUREGUIZAR F, CABRERA J, et al. Low complexity mode decision and motion estimation for H.264/AVC based depth maps encoding in free viewpoint video[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2013, 23(5): 769–783. doi: 10.1109/TCSVT.2012.2223632

    4. [4]

      MÜLLER K, MERKLE P, TECH G, et al. 3D video coding with depth modeling modes and view synthesis optimization[C]. Proceedings of 2012 Asia Pacific Signal and Information Processing Association Annual Summit and Conference, Hollywood, USA, 2012: 1–4.

    5. [5]

      ZHANG Qiuwen, LI Nana, HUANG Lixun, et al. Effective early termination algorithm for depth map intra coding in 3D-HEVC[J]. Electronics Letters, 2014, 50(14): 994–996. doi: 10.1049/el.2014.0065.

    6. [6]

      GU Zhouye, ZHENG Jianhua, LING N, et al. Fast depth modeling mode selection for 3D HEVC depth intra coding[C]. Proceedings of 2013 IEEE International Conference on Multimedia and Expo Workshops, San Jose, USA, 2013: 1–4.

    7. [7]

      GU Zhouye, ZHENG Jianhua, LING N, et al. " 3D-CE5.h related: Fast intra prediction mode selection for intra depth map coding[C]. Proceedings of the 5th Meeting of Joint Collaborative Team on 3D Video Coding Extension Development (JCT-3V) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, Vienna, Austria, 2013: 3–5.

    8. [8]

      GUO Ruixue, HE Gang, LI Yunsong, et al. Fast algorithm for prediction unit and mode decisions of intra depth coding in 3D-HEVC[C]. Proceedings of 2016 IEEE International Conference on Image Processing, Phoenix, Arizona, USA, 2016: 1121–1125.

    9. [9]

      LI Kun. The research of intra mode coding for the depth maps[D]. [Master dissertation], Shenzhen University, 2016: 24–49.

    10. [10]

      粘春湄, 陈婧, 曾焕强. 纹理类型预判和SDC优化的3D-HEVC深度图帧内算法[J]. 计算机科学与探索, 2018, 12(6): 994–1003. doi: 10.3778/j.issn.1673-9418.1711040
      NIAN Chunmei, CHEN Jing, and ZENG Huanqiang. Depth map intra algorithm for 3D-HEVC by prejudging texture type and SDC optimization[J]. Journal of Frontiers of Computer Science and Technology, 2018, 12(6): 994–1003. doi: 10.3778/j.issn.1673-9418.1711040

    11. [11]

      SANCHEZ G, SALDANHA M, BALOTA G, et al. Complexity reduction for 3D-HEVC depth maps intra-frame prediction using simplified edge detector algorithm[C]. Proceedings of 2014 IEEE International Conference on Image Processing, Paris, France, 2014: 3209–3213.

    12. [12]

      SANCHEZ G, SALDANHA M, BALOTA G, et al. A complexity reduction algorithm for depth maps intra prediction on the 3D-HEVC[C]. Proceedings of 2014 IEEE Visual Communications and Image Processing Conference, Valletta, Malta, 2014: 134–140.

    13. [13]

      SANCHEZ G, SALDANHA M, ZATT B, et al. S-GMOF: A gradient-based complexity reduction algorithm for depth-maps intra prediction on 3D-HEVC[C]. Proceedings of the 6th Latin American Symposium on Circuits & Systems, Montevideo, Uruguay, 2015: 1–4.

    14. [14]

      SALDANHA M, ZATT B, PORTO M, et al. Solutions for DMM-1 complexity reduction in 3D-HEVC based on gradient calculation[C]. Proceedings of the 7th Latin American Symposium on Circuits & Systems, Florianopolis, Brazil, 2016: 211–214.

    15. [15]

      SANCHEZ G, MARCON C, and AGOSTINI L. Real-time scalable hardware architecture for 3D-HEVC bipartition modes[J]. Journal of Real-time Image Processing, 2017, 13(1): 71–83. doi: 10.1007/s11554-016-0609-8

    16. [16]

      SANCHEZ G, AGOSTINI L, MÓR F, et al. Low-area scalable hardware architecture for DMM-1 encoder of 3D-HEVC video coding standard[C]. Proceedings of the 30th Symposium on Integrated Circuits and Systems Design, Fortaleza, Brazil, 2017: 36–40.

    1. [1]

      宋人杰, 张元东. 基于感兴趣区域的高性能视频编码帧内预测优化算法. 电子与信息学报, 2020, 42(0): 1-7.

    2. [2]

      贾连印, 陈明鲜, 李孟娟, 游进国, 丁家满. 基于状态视图的高效Hilbert编码和解码算法. 电子与信息学报, 2020, 42(6): 1494-1501.

    3. [3]

      游凌, 李伟浩, 张文林, 王科人. 基于深度神经网络的Morse码自动译码算法. 电子与信息学报, 2020, 41(0): 1-6.

    4. [4]

      申铉京, 沈哲, 黄永平, 王玉. 基于非局部操作的深度卷积神经网络车位占用检测算法. 电子与信息学报, 2020, 41(0): 1-8.

    5. [5]

      高巍, 蒋刚毅, 郁梅, 骆挺. 基于熵编码的立体视频加密与信息隐藏算法. 电子与信息学报, 2020, 41(0): 1-8.

    6. [6]

      张文明, 姚振飞, 高雅昆, 李海滨. 一种平衡准确性以及高效性的显著性目标检测深度卷积网络模型. 电子与信息学报, 2020, 42(5): 1201-1208.

    7. [7]

      陈前斌, 管令进, 李子煜, 王兆堃, 杨恒, 唐伦. 基于深度强化学习的异构云无线接入网自适应无线资源分配算法. 电子与信息学报, 2020, 42(6): 1468-1477.

    8. [8]

      王年, 胡旭阳, 朱凡, 唐俊. 基于视图感知的单视图三维重建算法. 电子与信息学报, 2020, 42(0): 1-8.

    9. [9]

      刘新, 阎焜, 杨光耀, 叶盛波, 张群英, 方广有. UWB-MIMO穿墙雷达三维成像与运动补偿算法研究. 电子与信息学报, 2020, 41(0): 1-8.

    10. [10]

      张凯, 陈彬, 许志伟. 基于多目标进化策略算法的DNA核酸编码设计. 电子与信息学报, 2020, 42(6): 1365-1373.

    11. [11]

      牛莹, 张勋才. 基于变步长约瑟夫遍历和DNA动态编码的图像加密算法. 电子与信息学报, 2020, 42(6): 1383-1391.

    12. [12]

      柳娟, 谢文彬, 汪改英, 汤敏丽. 基于DNA和限制性核酸内切酶的基本逻辑门设计. 电子与信息学报, 2020, 42(6): 1332-1339.

    13. [13]

      段永强, 王振占, 张升伟. 风云三号(D)气象卫星微波湿温度计系统建模和仿真. 电子与信息学报, 2020, 42(6): 1549-1556.

    14. [14]

      李劲松, 彭建华, 刘树新, 季新生. 一种基于线性规划的有向网络链路预测方法. 电子与信息学报, 2020, 41(0): 1-9.

    15. [15]

      褚征, 于炯. 基于随机森林的流处理检查点性能预测. 电子与信息学报, 2020, 42(6): 1452-1459.

    16. [16]

      许鹏, 王兵, 方刚, 石晓龙, 刘文斌. 基于可变剪接紊乱的乳腺癌亚型预测分析. 电子与信息学报, 2020, 42(6): 1348-1354.

    17. [17]

      刘文斌, 陈杰, 方刚, 石晓龙, 许鹏. 基于药物互作网络的协同与拮抗预测研究. 电子与信息学报, 2020, 42(6): 1420-1427.

    18. [18]

      刘焕淋, 杜理想, 陈勇, 王展鹏. 基于灾难预测多区域故障的虚拟光网络生存性映射. 电子与信息学报, 2020, 42(7): 1710-1717.

    19. [19]

      田俊峰, 井宣. 多方参与高效撤销组成员的共享数据审计方案. 电子与信息学报, 2020, 42(6): 1534-1541.

    20. [20]

      王永娟, 王涛, 袁庆军, 高杨, 王相宾. 密码算法旁路立方攻击改进与应用. 电子与信息学报, 2020, 42(5): 1087-1093.

  • 图 1  3D-HEVC编解码流程图

    图 2  纹理图和深度图示意图

    图 3  深度图帧内预测流程图

    图 4  DMM-1和DMM-4示意图

    图 5  DMM-1算法流程图

    图 6  DMM-1算法计算实例图

    图 7  流水线架构电路时序图

    图 8  楔形块数据库存储模块结构图

    图 9  搜索模块结构图

    图 10  4组测试激励及预测结果示意图

    图 11  楔形块编码周期对比示意图

    图 12  楔形块编码时间对比示意图

    表 1  深度图帧内预测模式序号和名称

    模式序号 模式名称
    0 Planar
    1 DC
    2~34 Directional
    35 DMM-1
    36 DMM-4
    下载: 导出CSV

    表 2  流水线架构性能和对比

    工作 块尺寸 工艺(nm) 门数 频率(MHz) 周期/块 时间/块(ns)
    本文 4×4 Nangate 45 4859 350.0 63 179.5
    文献[15] 4×4 ST 65 4070 515.5 134 259.9
    文献[16] 4×4 ST 65 3291 514.3 132 256.7
    下载: 导出CSV
  • 加载中
图(12)表(2)
计量
  • PDF下载量:  28
  • 文章访问数:  530
  • HTML全文浏览量:  259
文章相关
  • 通讯作者:  杜高明, zhouyang@cqupt.edu.cn
  • 收稿日期:  2018-08-16
  • 录用日期:  2019-02-27
  • 网络出版日期:  2019-03-18
  • 刊出日期:  2019-07-01
通讯作者: 陈斌, bchen63@163.com
  • 1. 

    沈阳化工大学材料科学与工程学院 沈阳 110142

  1. 本站搜索
  2. 百度学术搜索
  3. 万方数据库搜索
  4. CNKI搜索

/

返回文章