用于预测电子装置中图像的压缩质量的方法和装置与流程-ag尊龙凯时

本公开的实施例公开了一种用于在电子装置中校正图像(例如，增强图像的质量)时预测图像的压缩质量并基于预测执行图像处理的方法和装置。

背景技术：

1、随着数字技术的发展，各种类型的电子装置被广泛使用，诸如移动通信终端、个人数字助理(pda)、电子笔记本、智能手机、平板个人计算机(pc)、可穿戴装置和/或膝上型电脑。电子装置的硬件部件和/或软件部件正在不断改进，以便改进其支持并增加其功能。

2、随着电子装置的功能变得更加多样化，电子装置已经以多媒体装置的形式实现，该多媒体装置具有诸如拍摄或视频拍摄、音乐或视频文件回放、游戏、广播接收或呼叫功能的复杂功能。这样的电子装置可以包括显示器，并且可以基于显示器显示与功能相关的屏幕。

3、电子装置可以通过显示器显示存储在电子装置中的图像或者从外部装置(例如，服务器和/或另一电子装置)获取的图像。最近，随着电子装置的分辨率和/或物理大小(例如，显示器的屏幕大小)的增加，需要相应地增强图像的质量。例如，由电子装置或外部装置提供的图像的图像质量的重要性已经增加。

4、由外部装置提供的图像可以被压缩和发送。例如，为了在云环境中保存存储并最小化图像传输的延迟，可以以预定的压缩质量(或压缩率)压缩图像并提供图像。在这种情况下，原始图像的压缩方法信息(例如，分辨率信息)和压缩质量信息(例如，压缩比特率信息)丢失，这导致难以确定与原始图像的压缩方法信息和压缩质量信息相关的图像的质量，以及图像显示装置难以设置适合于原始图像的质量的质量，特别是难以在图像显示装置内实现质量算法的最大性能。

技术实现思路

1、技术问题

2、例如，图像压缩可能导致在图像中生成压缩伪影。例如，在图像压缩中，可以生成一个或多个伪影(例如，振铃伪影(或蚊式伪影)、块(block)伪影、模糊伪影、颜色失真和/或纹理偏差)。通常，图像的压缩质量(或压缩率)越高，就会生成更多的压缩伪影。因此，当外部装置(例如，内容服务器或服务提供商，诸如其它外部装置)向电子装置提供图像时，可能会提出与最小化向用户显示的伪影同时尽可能地压缩图像的大小的最小化伪影相关的问题。此外，最近，由于电子装置支持大屏幕显示，因此在大屏幕上提供放大图像时，具有对传统小屏幕优化的隐藏伪影的图像可以容易地暴露给用户。例如，当在大屏幕上放大时，用户可以识别尚未在小屏幕上识别的伪影，这使得用户识别出与图像质量的劣化相同的伪影。

3、各种实施例提供了一种用于在由电子装置进行的图像质量增强(例如，图像校正)期间确定图像的压缩质量的操作中准确且迅速地预测图像的压缩质量的方法和装置。

4、各种实施例提供了一种用于在电子装置确定图像的压缩质量期间基于以块为单位的置信度的估计来预测给定图像的压缩质量的方法和装置。

5、各种实施例提供了一种方法和装置，用于基于能够在图像中进行压缩质量预测的区域，从给定图像中去除与难以执行压缩质量预测的区域(例如，在质量预测中要排除的区域)相对应的异常值，同时通过电子装置估计图像的以块为单位的置信度，并且准确且迅速地预测压缩质量。

6、各种实施例提供了一种方法和装置，用于确定给定图像的压缩质量并基于被学习为与压缩质量相对应的噪声去除模型来校正图像，以便通过电子装置来增强图像的质量。

7、技术方案

8、根据本公开的实施例的电子装置可以包括显示模块、存储器以及可操作地连接到显示模块和存储器的处理器，其中，处理器操作以通过显示模块显示图像，以指定的方案从图像中提取指定的多个块，估计多个块中的每一个块的置信度，基于置信度的估计来识别多个块中的与要在质量预测中排除的异常值相对应的第一块和可进行质量预测的第二块，从质量预测的主体(subject)中排除多个块中的第一块，以及通过使用在从多个块中排除第一块之后剩余的第二块对图像的压缩质量进行分类。

9、根据本公开的实施例的电子装置的操作方法可以包括：通过电子装置的显示模块显示图像，以指定的方案从图像中提取指定的多个块，估计多个块中的每一个块的置信度，基于置信度的估计来识别多个块中的与要在质量预测中排除的异常值相对应的第一块和可进行质量预测的第二块，从质量预测的主体中排除多个块中的第一块，以及通过使用在从多个块中排除第一块之后剩余的第二块对图像的压缩质量进行分类。

10、为了解决上述问题，本公开的各种实施例可以包括非暂时性计算机可读记录介质，其中包括用于由处理器执行方法的程序。

11、通过下面的详细描述，本公开的附加适用范围可能变得显而易见。然而，本领域技术人员可以清楚地理解在本公开的精神和范围内的各种变化和修改，因此应当理解，详细描述和诸如本公开的示例性实施例的特定实施例仅作为示例给出。

12、有益效果

13、根据本公开的电子装置及其操作方法，当电子装置分析图像时，使用深度神经网络(dnn)对图像的部分区域而不是整个区域执行压缩质量分析，从而可以准确而迅速地处理图像的压缩质量操作。根据各种实施例，当通过电子装置确定(或分析)图像的压缩质量以用于图像质量增强(例如，图像校正)时，可以基于以块为单位的置信度的估计来准确且迅速地预测图像的压缩质量。

14、根据各种实施例，电子装置可以基于针对给定图像以块为单位的置信度的估计，从图像中去除异常值，并且基于能够在图像中进行压缩质量预测的区域来分析压缩质量，从而更准确地分析压缩质量。

15、根据各种实施例，电子装置可以准确地确定给定图像的压缩质量，并基于被学习为与确定的压缩质量相对应的噪声去除模型来去除图像的压缩伪影(或压缩噪声)。因此，电子装置可以提高压缩图像的质量，从而向用户提供具有接近原始质量的质量的图像。

16、此外，可以提供通过本文件直接或间接识别的各种其它有利效果。

技术特征：

1.一种电子装置，包括：

2.根据权利要求1所述的电子装置，其中，图像与以指定的压缩质量压缩的压缩图像相对应。

3.根据权利要求1所述的电子装置，其中，处理器被配置为：针对提取的多个块，基于以块为单位的置信度的估计来估计与具有等于或小于指定的阈值的值的异常值相对应的至少一个第一块，

4.根据权利要求1所述的电子装置，其中，处理器被配置为：

5.根据权利要求1所述的电子装置，其中，处理器被配置为：

6.根据权利要求4所述的电子装置，其中，处理器被配置为根据通过显示模块进行显示、存储在存储器中和传输到外部中的至少一个指定的操作来处理增强的图像。

7.根据权利要求1所述的电子装置，其中，处理器被配置为：

8.根据权利要求7所述的电子装置，其中，处理器被配置为：

9.根据权利要求8所述的电子装置，其中，处理器被配置为：

10.根据权利要求1所述的电子装置，其中，处理器被配置为：当执行图像的第二压缩时，去除在图像的第一压缩期间生成的伪影，然后执行第二压缩。

11.根据权利要求10所述的电子装置，其中，处理器被配置为

12.根据权利要求11所述的电子装置，其中，处理器被配置为：确定第二压缩质量以与第一压缩质量相对应。

13.根据权利要求1所述的电子装置，其中，处理器包括置信度估计模块和质量预测模型，以用于压缩质量的分类，以及

14.根据权利要求2所述的电子装置，其中，处理器被配置为通过使用使用人工智能算法学习的学习模型来对图像的压缩质量进行分类。

15.一种电子装置的操作方法，所述方法包括：

技术总结
各种实施例提供了一种方法和装置，用于在电子装置中的图像校正(例如，图像质量增强)期间预测图像的压缩质量，并基于预测处理图像。根据本公开的实施例的电子装置可以包括：显示模块、存储器和处理器，其中，处理器可以操作以：通过显示模块显示图像，以指定的方案从图像中提取指定的多个块，关于多个块中估计每一个块的可靠性，基于估计的可靠性来识别多个块中的与作为质量预测排除目标的异常值相对应的第一块和能够预测质量的第二块，从质量预测目标中排除多个块中的第一块，并且通过使用通过从多个块中排除第一块获得的第二块对图像的压缩质量进行分类。

技术研发人员：金奎源,t·b·沙德汉,杨澈周,李熙国,崔仁豪
受保护的技术使用者：三星电子株式会社
技术研发日：
技术公布日：2024/5/20