专利名称：用于短程运动补偿去隔行的方法和系统的制作方法
技术领域：
本发明涉及图像处理，更具体来说，涉及用于短程运动补偿去隔行 (de-interlacing)的方法和系统。
背景技术：
视频可由快速接连地显示的一系列图像组成。每个图像可表示一帧。一些系统、 如传统电视系统可将每个图像分为一系列扫描线。一些常规的模拟和数字电视系统将每帧 的扫描线安排在连续的两场中，一个包含所有偶数线，而一个包含奇数线。以两倍于标称帧 速率的速率接连地显示各场。在传统电视和摄像机所生成的视频中，可在略微不同的时间获得帧的两个场，这 与非隔行(non-interlaced)视频相比，产生实际上双倍的时间分辨率，改进了观众的运动 感受。只有显示器将各个场按照其拍摄的相同顺序来显示，才能体验到这些有益效果。 一般来说，只有基于传统阴极射线管(crt)的电视和监视器才能够这样做。如果经过正确 调整，它们不会遇到隔行(interlacing)伪像。但是，当原始连续镜头的场按照与其拍摄顺 序不同的顺序来显示时(即，当在不同的时间点获得的两个场被重新组合成一帧时)，视觉 缺陷、如隔行伪像或梳毛现象(combing)可随图像中的移动对象而发生。显示技术从使用隔行扫描生成图像的阴极射线管发展到使用逐行扫描生成图像 的平板数字显示装置。要处理隔行伪像，液晶显示器(lcd)和等离子体消费者电视机及监 视器可包括将隔行视频转换成逐行视频的电路和/或软件。将隔行视频转换成逐行视频的 过程称作去隔行。去隔行如果完成得差，可引起图像降级。常规去隔行算法可分为两类场内处理和 场间处理。场内处理可使用比较简单的算法；但是，这种算法无法克服垂直分辨率的损失。 场间算法类中的一个算法是编织，它可产生明显的伪像，特别是在移动区域周围。其它场间 算法、如运动自适应(ma)和运动补偿(mc)算法可产生比场内算法更好的结果，但不会始终 提供最佳结果。
发明内容
按照本发明的一个方面，提供一种方法，包括对于隔行帧中的像素确定最小绝对差之和(sad)；以及将最小sad与第一阈值和第二阈值进行比较，使得当所述最小sad小于或等于所述第一阈值时，执行平滑度和一致性检查；以及当所述最小sad大于所述第一阈值并且小于或等于所述第二阈值时，执行所述平 滑度和一致性检查，并且执行补充检查，其中，所述平滑度和一致性检查以及被执行时的所述补充检查的结果确定选择运 动补偿内插值还是空间内插值来用于对所述隔行帧去隔行；以及其中，使用处理器来执行所述确定和比较。按照本发明的另一方面，提供一种计算机程序产品，包括其中存储了计算机程序 逻辑的计算机可读介质，所述计算机程序逻辑包括使处理器为隔行帧中的像素确定最小绝对差之和(sad)的逻辑；以及使处理器将所述最小sad与第一阈值和第二阈值进行比较的逻辑，使得当所述最小sad小于或等于所述第一阈值时，执行平滑度和一致性检查；以及当所述最小sad大于所述第一阈值并且小于或等于所述第二阈值时，执行所述平 滑度和一致性检查，并且执行补充检查，其中，所述平滑度和一致性检查以及被执行时的所述补充检查的结果确定选择运 动补偿内插值还是空间内插值用于对所述隔行帧去隔行。按照本发明的另一方面，提供一种系统，包括处理器；以及与所述处理器进行通信的存储器，所述存储器存储多个处理指令，这些指令配置 成指导所述处理器执行下列操作对于隔行帧中的像素确定最小绝对差之和(sad)；以及将所述最小sad与第一阈值和第二阈值进行比较，使得当所述最小sad小于或等于所述第一阈值时，执行平滑度和一致性检查；以及当所述最小sad大于所述第一阈值并且小于或等于所述第二阈值时，执行所述平 滑度和一致性检查，并且执行补充检查，其中，所述平滑度和一致性检查以及被执行时的所述补充检查的结果确定选择运 动补偿内插值还是空间内插值来用于对所述隔行帧去隔行。
图1示出一个实施例的整体处理。图2是示出根据一个实施例的平滑度和一致性检查的流程图。图3是示出根据一个实施例的平滑度检查的处理的流程图。图4是示出根据一个实施例的一致性检查的处理的流程图。图5是示出根据一个实施例的补充检查的流程图。图6是示出软件或固件实施例中的处理模块的框图。
具体实施例方式下面描述用于选择为对隔行帧去隔行而选取空间内插值还是运动补偿内插值的 系统和方法。可对于当前像素确定最小绝对差之和(sad)，其中最小sad可以是可对于当 前像素与参考帧之间的运动向量的相应集合所计算的sad集合中的最小的sad。取决于最 小sad相对于两个阈值的量值，可应用不同的检查。检查结果可确定在去隔行中可使用空 间内插值还是运动补偿内插值。一般来说，最小sad的量值可确定sad的可靠性以及关联 运动向量(mv)的结果可信度。最小sad的更大可靠性可暗示可将运动补偿内插值用于去 隔行的目的。最小sad的较小可靠性可激发附加检查，以便进一步评估是否应当使用运动 补偿内插值。不太可靠的最小sad和/或有些检查的失败可暗示不应当使用运动补偿内插值。如果情况是这样，则空间内插值可能是用于去隔行的更好选择。一般来说，若干过程可用于得出sad。在一个实施例中，sad可按照下式来确定
权利要求
1.一种方法，包括对于隔行帧中的像素确定最小绝对差之和(sad)；以及 将最小sad与第一阈值和第二阈值进行比较，使得当所述最小sad小于或等于所述第一阈值时，执行平滑度和一致性检查；以及 当所述最小sad大于所述第一阈值并且小于或等于所述第二阈值时，执行所述平滑度 和一致性检查，并且执行补充检查，其中，所述平滑度和一致性检查以及被执行时的所述补充检查的结果确定选择运动补 偿内插值还是空间内插值来用于对所述隔行帧去隔行；以及其中，使用处理器来执行所述 确定和比较。
2.如权利要求1所述的方法，其中，各sad按照下式来计算 x w 1 y hsad = z σ |pref (i mx, j my) - pcult(i, j) | i=x-w j=y-h其中，pref是参考场中的相对场， 。
是当前场中的相对场，mx和my是关联运动向量mv的相应χ和y分量，w是块的宽度，以及h是块的高度。
3.如权利要求1所述的方法，其中 所述第一阈值等于0;所述第二阈值大于或等于5，并且小于或等于10 ；以及 所述第二阈值与所述隔行帧的纹理复杂度相关。
4.如权利要求1所述的方法，其中，所述平滑度检查的所述执行包括对于与所述隔行帧中的所述像素相邻的每个相应像素，确定最佳运动向量mv ；以及 将每个最佳mv与和所述最小sad关联的mv进行比较， 其中，当所有所述比较小于mv阈值时，通过所述平滑度检查。
5.如权利要求1所述的方法，其中，所述一致性检查的所述执行包括 评估逻辑表达式i pcur (χ-edge, y-1)-pcur (x edge, y 1) | > | pdi (χ, y) ~pdi_cur (x，y) &&|pdi (χ, y) -pdi cur(x, y) | < mc_pixel_th(default :25) 使得当成立时，通过所述一致性检查， 其中，edge是所述隔行帧的边缘的χ坐标； pcur是基于从所指示的坐标投射的运动向量的运动补偿距离， pdi(x，y)是基于从所述参考帧的对应像素投射到所述当前帧中的当前像素的运动向量 的运动补偿距离，pdlcur(x, y)是基于从所述当前像素投射到所述当前帧的相对场中的位置的运动向量的运动补偿距离，以及mc_pixel_th是具有缺省值25的阈值。
6.如权利要求1所述的方法，其中，所述补充检查包括 sad检查；最佳角检查； 中值滤波检查；以及 最小值运算检查；其中，通过所述sad和最佳角检查并且通过所述中值滤波和所述最小值运算检查中的 至少一个表示通过所述补充检查。
7.如权利要求6所述的方法，其中，所述sad检查包括确定所述最小sad是否小于空间去隔行sad，其中，当成立时，通过所述sad检查。
8.如权利要求6所述的方法，其中，所述最佳角检查包括 确定所述最佳角是否为90°，其中，当成立时，通过所述最佳角检查。
9.如权利要求6所述的方法，其中 所述中值滤波检查包括确定mc == median (ρ (χ, y-1)，mc, ρ (χ, y 1))是否成立，其中，当成立时，通过所述中值滤波检查；以及所述最小值运算检查包括确定min (abs (mc-p (χ, y-1)), abs (mc-p (χ, y-1)) < α)是否成立，其中，当成立时，通过所述最小值运算检查。
10.如权利要求1所述的方法，其中当所述最小sad大于所述第二阈值时，选择所述空间内插值用于对所述隔行帧去隔行；当所述最小sad大于所述第一阈值并且小于或等于所述第二阈值时，并且 通过了所述平滑度、一致性和补充检查，则选择所述运动补偿内插值用于对所述隔行 帧去隔行，当所述平滑度、一致性和补充检查中的任一个失败时，选择所述空间内插值用于对所 述隔行帧去隔行；以及当所述最小sad小于或等于所述第一阈值时，并且通过了所述平滑度和一致性检查，则选择所述运动补偿内插值用于对所述隔行帧去隔 行，以及当所述平滑度或者一致性检查失败时，选择所述空间内插值用于对所述隔行帧去隔行。
11.一种计算机程序产品，包括其中存储了计算机程序逻辑的计算机可读介质，所述计 算机程序逻辑包括使处理器为隔行帧中的像素确定最小绝对差之和(sad)的逻辑；以及 使处理器将所述最小sad与第一阈值和第二阈值进行比较的逻辑，使得 当所述最小sad小于或等于所述第一阈值时，执行平滑度和一致性检查；以及当所述最小sad大于所述第一阈值并且小于或等于所述第二阈值时，执行所述平滑度 和一致性检查，并且执行补充检查，其中，所述平滑度和一致性检查以及被执行时的所述补充检查的结果确定选择运动补 偿内插值还是空间内插值用于对所述隔行帧去隔行。
12.如权利要求11所述的计算机程序产品，其中，各sad按照下式来计算
13.如权利要求11所述的计算机程序产品，其中 所述第一阈值等于0;所述第二阈值大于或等于5，并且小于或等于10 ；以及 所述第二阈值与所述隔行帧的纹理复杂度相关。
14.如权利要求11所述的计算机程序产品，还包括使所述处理器执行所述平滑度检 查的逻辑，其中包括使所述处理器对于与所述隔行帧中的所述像素相邻的每个相应像素确定最佳运动向 量mv的逻辑；以及使所述处理器将每个最佳mv与和所述最小sad关联的所述运动向量mv进行比较的逻辑，其中，当所有所述比较小于mv阈值时，通过所述平滑度检查。
15.如权利要求11所述的计算机程序产品，还包括使所述处理器执行所述一致性检 查的逻辑，其中包括如下逻辑使所述处理器评估下列逻辑表达式
16.如权利要求11所述的计算机程序产品，还包括使所述处理器执行所述补充检查 的逻辑，其中包括使所述处理器执行sad检查的逻辑； 使所述处理器执行最佳角检查的逻辑； 使所述处理器执行中值滤波检查的逻辑；以及 使所述处理器执行最小值运算检查的逻辑；其中，通过所述sad和最佳角检查并且通过所述中值滤波和所述最小值运算检查中的 至少一个表示通过所述补充检查。
17.如权利要求16所述的计算机程序产品，其中，使所述处理器执行sad检查的所述逻 辑包括使所述处理器确定所述最小sad是否小于空间去隔行sad的逻辑， 其中，当成立时，通过所述sad检查。
18.如权利要求16所述的计算机程序产品，其中，使所述处理器执行最佳角检查的所 述逻辑包括使所述处理器确定所述最佳角是否为90°的逻辑， 其中，当成立时，通过所述最佳角检查。
19.如权利要求16所述的计算机程序产品，其中，使所述处理器执行中值滤波检查的所述逻辑包括如下逻辑 使所述处理器确定mc == median (ρ (χ, y-1)，mc, ρ (χ, y 1)) 是否成立，其中，当成立时，通过所述中值滤波检查；以及 使所述处理器执行最小值运算检查的所述逻辑包括如下逻辑 使所述处理器确定min (abs (mc-p (χ, y-1)), abs (mc-p (χ, y-1)) < α) 是否成立，其中，当成立时，通过所述最小值运算检查。
20.如权利要求11所述的计算机程序产品，其中，使处理器将所述最小sad与所述第一 阈值和第二阈值进行比较的所述逻辑包括使所述处理器在所述最小sad大于所述第二阈值时选择所述空间内插值用于对所述 隔行帧去隔行的逻辑；使所述处理器执行下列操作的逻辑当所述最小sad大于所述第一阈值并且小于或等 于所述第二阈值，并且通过了所述平滑度、一致性和补充检查时，选择所述运动补偿内插值 用于对所述隔行帧去隔行；使所述处理器执行下列操作的逻辑当所述最小sad大于所述第一阈值并且小于或等 于所述第二阈值时，并且当所述平滑度、一致性和补充检查中的任一个失败时，选择所述空 间内插值用于对所述隔行帧去隔行；使所述处理器执行下列操作的逻辑当所述最小sad小于或等于所述第一阈值并且通 过所述平滑度和一致性检查时，选择所述运动补偿内插值用于对所述隔行帧去隔行；以及使所述处理器执行下列操作的逻辑当所述最小sad小于或等于所述第一阈值并且所 述平滑度检查或者一致性检查失败时，选择所述空间内插值用于对所述隔行帧去隔行。
21.—种系统，包括 处理器；以及与所述处理器进行通信的存储器，所述存储器存储多个处理指令，这些指令配置成指 导所述处理器执行下列操作对于隔行帧中的像素确定最小绝对差之和(sad)；以及 将所述最小sad与第一阈值和第二阈值进行比较，使得 当所述最小sad小于或等于所述第一阈值时，执行平滑度和一致性检查；以及 当所述最小sad大于所述第一阈值并且小于或等于所述第二阈值时，执行所述平滑度 和一致性检查，并且执行补充检查，其中，所述平滑度和一致性检查以及被执行时的所述补充检查的结果确定选择运动补 偿内插值还是空间内插值来用于对所述隔行帧去隔行。
22.如权利要求21所述的系统，其中，各sad按照下式来计算 x w 1y h
23.如权利要求21所述的系统，其中 所述第一阈值等于0;所述第二阈值大于或等于5，并且小于或等于10 ；以及 所述第二阈值与所述隔行帧的纹理复杂度相关。
24.如权利要求21所述的系统，其中，所述存储器还存储配置成指导所述处理器执行 所述平滑度检查的处理指令，其中配置成指导所述处理器执行所述平滑度检查的所述处理 指令包括配置成指导所述处理器执行下列操作的指令对于与所述隔行帧中的所述像素相邻的每个相应像素确定最佳运动向量mv;以及 将每个最佳mv与和所述最小sad关联的所述运动向量mv进行比较， 其中，当所有所述比较小于mv阈值时，通过所述平滑度检查。
25.如权利要求21所述的系统，其中，所述存储器还存储配置成指导所述处理器执行 所述一致性检查的处理指令，所述配置成指导所述处理器执行所述一致性检查的所述处理 指令包括配置成指导所述处理器执行下列操作的指令评估逻辑表达式i pcur (χ-edge, y-1)-pcur (x edge, y 1) | > | pdi (χ, y) ~pdi_cur (x，y) &&|pdi (χ, y) -pdi cur(x, y) | < mc_pixel_th(default :25) 使得当成立时，通过所述一致性检查，其中，pcur是基于从所指示的坐标投射的运动向量的运动补偿距离， pdi(x，y)是基于从所述参考帧的对应像素投射到所述当前帧中的当前像素的运动向量 的运动补偿距离，pdlcur(x, y)是基于从所述当前像素投射到所述当前帧的相对场中的位置的运动向量 的运动补偿距离，以及mc_pixel_th是具有缺省值25的阈值。
26.如权利要求21所述的系统，其中，所述存储器还存储配置成指导所述处理器执行 所述补充检查的处理指令，配置成指导所述处理器执行所述补充检查的所述处理指令包括 配置成指导所述处理器执行下列操作的指令执行sad检查； 执行最佳角检查； 执行中值滤波检查；以及 执行最小值运算检查；其中，通过所述sad和最佳角检查并且通过所述中值滤波和所述最小值运算检查中的 至少一个表示通过所述补充检查。
27.如权利要求沈所述的系统，其中，配置成指导所述处理器执行所述sad检查的所述 指令包括配置成指导所述处理器执行下列操作的指令确定所述最小sad是否小于空间去隔行sad，其中，当成立时，通过所述sad检查。
28.如权利要求沈所述的系统，其中，配置成指导所述处理器执行所述最佳角检查的 所述指令包括配置成指导所述处理器执行下列操作的指令确定所述最佳角是否为90°， 其中，当成立时，通过所述最佳角检查。
29.如权利要求沈所述的系统，其中，配置成指导所述处理器执行所述中值滤波检查的所述指令包括配置成指导所述处理 器执行下列操作的指令 确定mc == median (ρ (χ, y-1)，mc, ρ (χ, y 1))是否成立，其中，当成立时，通过所述中值滤波检查；以及配置成指导所述处理器执行所述最小值运算检查的所述指令包括配置成指导所述处 理器执行下列操作的指令 确定min (abs (mc-p (χ, y-1)), abs (mc-p (χ, y-1)) < α) 是否成立，其中，当成立时，通过所述最小值运算检查。
30.如权利要求21所述的系统，其中，配置成指导所述处理器将所述最小sad与所述 第一阈值和第二阈值进行比较的所述指令包括配置成指导所述处理器执行下列操作的指 令当所述最小sad大于所述第二阈值时，选择所述空间内插值用于对所述隔行帧去隔行；当所述最小sad大于所述第一阈值并且小于或等于所述第二阈值，并且通过所述平滑 度、一致性和补充检查时，选择所述运动补偿内插值用于对所述隔行帧去隔行；当所述最小sad大于所述第一阈值并且小于或等于所述第二阈值时，并且当所述平 滑度、一致性和补充检查中的任一个失败时，选择所述空间内插值用于对所述隔行帧去隔 行；当所述最小sad小于或等于所述第一阈值并且通过所述平滑度和一致性检查时，选择 所述运动补偿内插值用于对所述隔行帧去隔行；以及当所述最小sad小于或等于所述第一阈值并且所述平滑度检查或者一致性检查失败 时，选择所述空间内插值用于对所述隔行帧去隔行。
全文摘要
用于选择为对隔行帧去隔行而选取空间内插值还是运动补偿内插值的系统和方法。可为当前像素确定最小的绝对差之和(sad)。取决于最小sad相对于两个阈值的量值，可应用不同检查。检查结果可确定在去隔行中可使用空间内插值还是运动补偿内插值。一般来说，最小sad的量值可确定sad的可靠性以及关联运动向量(mv)的结果可信度。最小sad的更大可靠性可暗示可将运动补偿内插值用于去隔行的目的。最小sad的较小可靠性可激发附加检查，以便进一步评估是否应当使用运动补偿内插值。不太可靠的最小sad和/或有些检查的失败可暗示不应当使用运动补偿内插值。
文档编号h04n5/14gk102104765sq201010620740
公开日2011年6月22日 申请日期2010年12月22日 优先权日2009年12月22日
发明者j·d·吴, y-j·赵 申请人:英特尔公司