compression artifacts correction + segmentation/classification/detection;出处:arxiv 2020.11
contribution
- 从学术模型到商业落地,consumer setting下图片常常是有损压缩的,而目前还很少有研究网络对压缩图像的效果或 提出有损压缩benchmark数据集的。
- 他们研究了在segmentation/classification/detection上JPEG压缩对性能的影响
- 中等到严重的JPEG压缩(quality factor=10到50)导致了严重的性能下降(baseline)
- 用JPEG压缩后的图像fine-tuning,可以很大程度地减轻性能损失(但是会牺牲在无损图像上的表现)(supervised fine-tuning)
- 对于缺少训练标签 或者 不希望损失在无损图像上性能 的任务,fine-tuning变得不可行。
- 用一个现有的JPEG artifact correction模型作为预处理。(Artifact Correction)
- self-supervised方法:可以接近甚至超过fine-tuning的情况。(task-targeted artifact correction)
methods
一个很简单的自监督方法:用未压缩图像经过已经训练好的网络(fixed)得到的prediction作为标签,算出 与 校正后的压缩图像经过已经训练好的网络(fixed)得到的prediction 之间的L1距离,优化更新correction网络。
results
对于efficientNet B3,加上现有的artifacts correction作为预处理反而会降低性能。
而把self-supervised 的task-targeted artifact correction与supervised fine tuning相比,task-targeted artifact correction能得到差不多甚至有时更好的表现。