Shiyu

compression artifacts correction + segmentation/classification/detection;出处:arxiv 2020.11

paper

contribution

  • 从学术模型到商业落地,consumer setting下图片常常是有损压缩的,而目前还很少有研究网络对压缩图像的效果或 提出有损压缩benchmark数据集的。
  • 他们研究了在segmentation/classification/detection上JPEG压缩对性能的影响
    • 中等到严重的JPEG压缩(quality factor=10到50)导致了严重的性能下降(baseline
    • 用JPEG压缩后的图像fine-tuning,可以很大程度地减轻性能损失(但是会牺牲在无损图像上的表现)(supervised fine-tuning
    • 对于缺少训练标签 或者 不希望损失在无损图像上性能 的任务,fine-tuning变得不可行。
      • 用一个现有的JPEG artifact correction模型作为预处理。(Artifact Correction
      • self-supervised方法:可以接近甚至超过fine-tuning的情况。(task-targeted artifact correction

methods

一个很简单的自监督方法:用未压缩图像经过已经训练好的网络(fixed)得到的prediction作为标签,算出 与 校正后的压缩图像经过已经训练好的网络(fixed)得到的prediction 之间的L1距离,优化更新correction网络。

results

  • 对于efficientNet B3,加上现有的artifacts correction作为预处理反而会降低性能。

  • 而把self-supervised 的task-targeted artifact correction与supervised fine tuning相比,task-targeted artifact correction能得到差不多甚至有时更好的表现。