近日，国际信息与软件学院三项成果分别被计算机视觉领域图像处理领域顶级期刊IEEE Transactions on Image Processing (TIP)和顶级国际会议ACM International Conference on Multimedia (ACM MM)录用。IEEE TIP由IEEE信号处理学会主办，是图像处理领域公认的No.1期刊，侧重于图像处理的前沿理论与方法，是CCF推荐A类国际期刊，最新影响因子为9.340。ACM是世界上最大的计算机领域专业性学术组织，其评选的图灵奖(A.M. Turing Award)被公认为世界计算机领域的诺贝尔奖。而ACM MM是公认的多媒体技术领域奥运会级别的顶级盛会（CCF认定A类会议）。

论文“Category-specific Semantic Coherency Learning for Fine-grained Image Recognition”被2020ACM International Conference on Multimedia (ACM MM)录用^[1],由我院研究生王世杰、王智慧副教授、李豪杰教授和悉尼大学的欧阳万里教授共同完成。在细粒度图像识别任务中，如何将同类别图像的判别性区域进行语义上地对齐是一项具有挑战性地任务。针对上述问题，本论文提出了类别语义一致性学习网络(CSC-Net)，通过学习隐式属性特征映射来解决判别性区域的语义不对应问题。该模型将深层的特征图通过预测的属性核函数映射到隐式的属性空间来获得一组隐式的属性信息，然后根据属性交互图对提取到的隐式属性进行对齐操作，最后将对齐的隐式属性通过上采样操作恢复到原始的坐标空间。实验表明该研究提出的CSC-Net模型在细粒度图像识别准确性和效率方面都达到了目前最优的结果。

近年来，课题组在细粒度图像识别任务上取得了一系列突出成果：包括首次在弱监督细粒度图像分类问题上考虑多层次关联关系的作用，提出了基于关系引导的判别性学习的弱监督细粒度图像分类算法^[2](ACM MM 2019)；针对细粒度图像识别任务的类内差异大和类间差异小的难点，提出了基于图传播的判别性关系学习细粒度图像分类算法^[3](AAAI 2020)；以及发现了细粒度识别深度神经网络在深层的特征图上存在的判别性区域扩散问题，提出了将高斯混合模型嵌入到深度神经网络中的DF-GMM模型^[4](CVPR 2020)。

论文“PMBANet: Progressive Multi-Branch Aggregation Network for Scene Depth Super-Resolution”近期被IEEE Transactions on Image Processing (TIP)录用^[5]，由我院叶昕辰副教授、研究生孙宝利、王智慧副教授、徐睿副教授、李豪杰教授、天津大学杨敬钰教授及百度研究院科学家Baopu Li共同完成。该项研究针对深度传感系统获取的场景深度图像细节丢失和边缘模糊等问题，提出渐进式多分支聚合网络，通过级联的多个分支聚合模块实现高质量深度图像重建。算法框架包含重建支路和指导支路：重建支路利用信号反馈（feedback）及注意力（attention）机制，使得网络同时在低分辨率和高分辨率特征空间上关注及获取高频深度信息（结构、边缘）特征。指导支路利用了多尺度空间信息和辅助彩色图像信息来指导深度图像的恢复，其中多尺度分支旨在提取不同尺度物体的深度信息特征，彩色分支提取的彩色特征作为额外指导信息来细化深度高频细节。该研究采用通道注意力机制来不断融合重建支路与指导支路的特征，有效挖掘并选择不同分支中有效的特征信息进一步提升深度图像的恢复。大量的实验证明了该网络模型的在仿真及真实深度数据集上的优越性。

(Code:)

论文“Depth Super-Resolution via Deep Controllable Slicing Network”被2020ACM International Conference on Multimedia (ACM MM)录用^[6]，由我院叶昕辰副教授、研究生孙宝利、王智慧副教授、徐睿副教授、李豪杰教授、天津大学杨敬钰教授及百度研究院科学家Baopu Li共同完成。现有深度超分辨率方法对于不同的深度范围区域均采用统一处理方法，而对于实际深度传感器获取的深度图像，往往具有距离相关的深度退化特性。针对此问题，该研究从分而治之（divide-and-conquer）的概念出发提出了一个深度切分模块，通过多个切分支路精确恢复不同深度范围的深度场景，并通过额外的距离感知网络对切分支路进行参数化加权，以自适应地融合多个切分支路的输出结果。此外，现有深度超分辨率方法对于不同倍率的超分辨率任务都是学习独立的网络，在实际使用阶段，往往需要根据输入数据的不同切换不同的模型，欠缺灵活性。该研究从实际应用角度出发提出了倍率可控模块，实现了对多个倍率的超分辨率任务统一建模。实验结果表明，该方法对于深度恢复的性能有显著提升，并且对未见倍率数据具有很好的泛化性。

近年来，课题组围绕三维场景深度估计与恢复方面开展了深入研究。从深度信号分析与建模等基础理论问题，到真实应用环境（涵盖陆上及水下场景）下的深度估计与恢复，发表了一系列相关工作，具体包括深度图像建模及计算重建^[7](PR 2020)，室内场景深度估计^[10](PR 2020)，室外复杂道路场景深度估计^[8](PR 2020)，水下低能见场景无监督域适应深度估计及颜色矫正^[9](TCSVT 2020)等方面。

图像细粒度分类和三维场景深度估计与恢复方面相关研究成果:

1. Shijie Wang, Zhihui Wang, Haojie Li, Wanli Ouyang. Category-specific Semantic Coherency Learning for Fine-grained Image Recognition. ACM International Conference on Multimedia, 2020, Seattle, USA. (CCF-A类会议)

2. Zhihui Wang, Shijie Wang, Pengbo Zhang, Haojie Li, and Jianjun Li. Weakly supervised fine-grained image classification via correlation-guided discriminative learning. ACM International Conference on Multimedia, 2019, Nice, France. (CCF-A类会议)

3. Zhihui Wang, Shijie Wang, Haojie Li, Zhi Dou, and Jianjun Li. Graph-propagation based Correlation Learning for Weakly Supervised Fine-grained Image Classification. Association for the Advancement of Artificial Intelligence, 2020, New York, USA. (CCF-A类会议)

4. Zhihui Wang, Shijie Wang, Shuyui Yang，Haojie Li, Jianjun Li and Zezhou Li. Gaussian Mixture Model Oriented Discriminative Learning for Fine-grained Image Recognition. CVPR 2020. (CCF-A类会议)

5. Xinchen Ye, Baoli Sun, Zhihui Wang, Jingyu Yang, Rui Xu, Haojie Li, Baopu Li, PMBANet: Progressive Multi-Branch Aggregation Network for Scene Depth Super-Resolution, IEEE Transactions on Image Processing, DOI: 10.1109/ TIP.2020.3002664, 2020. (CCF-A,中科院1区TOP期刊,影响因子9.340)

6. Xinchen Ye, Baoli Sun, Zhihui Wang, Jingyu Yang, Rui Xu, Haojie Li, Baopu Li, Depth Super-Resolution via Deep Controllable Slicing Network, ACM International Conference on Multimedia, 2020, Seattle, USA. (CCF-A类会议)

7. Xinchen Ye, Mingliang Zhang, Jingyu Yang, Xin Fan, Fangfang Guo, A Sparsity-Promoting Image Decomposition Model for Depth Recovery, Pattern Recognition, DOI: 10.1016/j.patcog.2020.107506, 2020. (CCF-B,中科院1区TOP期刊,影响因子7.196)

8. Xinchen Ye, Shude Chen, Rui Xu, DPNet: Detail-Preserving Network for High Quality Monocular Depth Estimation, Pattern Recognition, Accepted, 2020.(CCF-B,中科院1区TOP期刊,影响因子7.196)

9. Xinchen Ye, Zheng Li, Baoli Sun, Zhihui Wang, Rui Xu, Haojie Li, Xin Fan, Deep Joint Depth Estimation and Color Correction from Monocular Underwater Images based on Unsupervised Adaptation Networks, IEEE Trans. Circuits and Systems for Video Technology, DOI: 10.1109/TCSVT.2019.2958950, 2020. (CCF-B,中科院2区,影响因子4.133)

10. Zhihui Wang; Xinchen Ye; Baoli Sun; Jingyu Yang; Rui Xu, Haojie Li; Depth Upsampling based on Deep Edge-Aware Learning, Pattern Recognition, Pattern Recognition, DOI: 10.1016/j.patcog.2020.107274, 2020. (CCF-B,中科院1区TOP期刊,影响因子7.196)

几何计算与智能媒体技术研究所依托于辽宁省泛在网络与服务软件重点实验室。研究方向包括机器学习、深度学习、计算机视觉、多媒体技术、优化方法等当前最前沿的领域。近年来在IEEE TPAMI、TIP、TNNLS、TMM、NeurIPS、IJCAI、AAAI、CVPR、ECCV、ACM MM等人工智能、多媒体技术等多方领域的重要期刊及会议上发表论文达100余篇。

责任编辑：潘树孟