本發(fā)明涉及計算機視覺和人機交互技術領域，具體為一種基于深度圖像的手部輪廓特征優(yōu)化方法。

背景技術：

專利號為201510282688.1的中國發(fā)明專利公開了一種基于深度圖像的手部特征點檢測方法，其包括以下步驟：(1)手部分割：利用kinect采集到人體運動視頻序列來提取手部，通過深度圖像利用openni得到人體手部位置信息，通過設定搜索區(qū)域及深度閾值方法，初步獲得手心點；利用opencv的find_contours函數(shù)得到手部輪廓；通過找到手輪廓內最大內接圓圓心，精確確定手部手心點，通過計算所有手部內部點到輪廓點之間的最短距離m，在最短距離中找到最大值m，m所代表的手部內部點為手心點，內接圓半徑r＝m；(2)特征點提?。和ㄟ^不斷對手部輪廓進行高斯平滑，并結合曲率閾值從而得到css曲率圖，根據(jù)圖中css輪廓分析極限值得出手部指尖點及指谷點坐標，同時需要補全根據(jù)css曲率圖無法得到的手部指谷點；(3)補全缺失手指，利用角度閾值和深度跳變結合的方式來補全缺失手指，從而找到彎曲手指的指尖點。

然而，這種基于設定搜索區(qū)域及深度閾值方法提取的手部輪廓特征會附帶小臂、衣袖等其他物體的輪廓，這些冗余輪廓會造成輪廓特征提取質量較差，在特征向量化過程中與預期特征不符，導致最終手勢識別系統(tǒng)的識別精度較低。

為此，申請人進行了有益的探索和嘗試，找到了解決上述問題的辦法，下面將要介紹的技術方案便是在這種背景下產(chǎn)生的。

技術實現(xiàn)要素：

本發(fā)明的目的在于提供一種基于深度圖像的手部輪廓特征優(yōu)化方法，以解決上述背景技術中提出的問題。

為實現(xiàn)上述目的，本發(fā)明提供如下技術方案：一種基于深度圖像的手部輪廓特征優(yōu)化方法，該方法包括如下步驟：

(6)讀入深度圖像，預處理并得到包含冗余輪廓的手部區(qū)域圖；

(7)計算初始迭代點和迭代半徑，初始迭代點盡量靠近手指尖；

(8)利用均值漂移算法進行迭代，找到最接近手掌的圓形區(qū)域，返回圓心與半徑；

(9)更新手部區(qū)域輪廓，將冗余輪廓剔除，得到精確的手部區(qū)域輪廓；

(10)利用凸包檢測算法得到手部區(qū)域的外部凸包輪廓，并結合內輪廓與外凸包的hu不變矩信息，得到14維輪廓特征向量。

優(yōu)選的，所述的基于深度圖像的手部輪廓特征優(yōu)化方法，在所述的步驟(1)中，深度圖像預處理模塊對深度圖像進行閾值切割、圖形學濾波并計算最大連通區(qū)域，包括以下步驟：

(a)利用深度閾值得到手部區(qū)域，并將其映射到二值圖像，包含冗余輪廓，白色前景表示手部區(qū)域，背景為黑色；

(b)利用圖形學運算，先做開運算，平滑圖像輪廓并去除背景噪聲，再做閉運算，填充目標內的細小孔洞；

(c)尋找最大面積輪廓，并認為該輪廓為手部區(qū)域輪廓，包含冗余輪廓，填補該輪廓內的孔洞。

優(yōu)選的，所述的基于深度圖像的手部輪廓特征優(yōu)化方法，在所述步驟(2)中，包括從初步提取的手部區(qū)域中選取初始迭代點和迭代半徑的步驟，該步驟包括以下步驟：

(a)將提取的手部區(qū)域輪廓以多邊形表示，并修復含有內環(huán)的多邊形情況；

(b)計算多邊形的最小外接矩形，并與圖像邊界進行比較，根據(jù)兩者重合的邊數(shù)進行如下分類討論：

(a)若手離鏡頭過近，圖像無法顯示完整的手部區(qū)域，算法終止；

(b)若重合的兩條邊是平行邊，則表明手橫向或縱向貫穿鏡頭，圖像無法顯示完整的手部區(qū)域，算法終止；

(c)若沒有手臂部分輪廓與圖像邊界相交，冗余輪廓不存在，此時返回的初始迭代點為手部區(qū)域的質心，初始迭代半徑根據(jù)實際手掌經(jīng)驗值選取；

(d)若重合的兩條邊是相交邊，則在多邊形的最小外接矩形的四個頂點中，計算距離多邊形最近的頂點，且要保證該頂點是有效的，不與圖像邊界相交，再計算得到該頂點在多邊形上的投影點，即多邊形上距離該頂點最近的點；

最后取投影點與多邊形質心的連線中點作為初始迭代點，連線長度的一半作為初始迭代半徑，若初始迭代點在多邊形外部，則取該點在多邊形上的投影點作為新的初始迭代點。

優(yōu)選的，所述的基于深度圖像的手部輪廓特征優(yōu)化方法，在所述步驟(3)中，還包括基于均值漂移的迭代過程，該步驟包括以下子步驟

(a)根據(jù)初始迭代點c0與初始迭代半徑r0得到迭代圓c的初始區(qū)域；

(b)尋找迭代圓c與手部區(qū)域多邊形p的相交區(qū)域i，并計算該區(qū)域的質心ci；

(c)比較質心ci與迭代圓的圓心c，若兩者相差超過迭代門限，則進入步驟s34；若兩者相差在迭代門限內，則進入步驟(e)；

(d)，調整迭代圓的圓心c為相交區(qū)域的質心ci，半徑r為相交區(qū)域的質心ci在手部區(qū)域多邊形p邊界上的投影，并返回步驟(b)；

(e)，若s(i)/s(c)＞1.1sth，則增加迭代圓半徑r，并返回所述的步驟(2)；若s(i)/s(c)＜0.9sth，則減小迭代圓半徑r，并返回步驟(b)；否則終止迭代，輸出迭代結束時的迭代圓的圓心位置c和半徑r，上述的s(i)，s(c)分別為相交區(qū)域與迭代圓面積，sth為有效面積像素閾值。

優(yōu)選的，所述的基于深度圖像的手部輪廓特征優(yōu)化方法，在所述步驟(4)中，還包括根據(jù)均值漂移的迭代結果更新手部區(qū)域輪廓的過程，該步驟包括以下子步驟：

(a)根據(jù)迭代圓與手部區(qū)域多邊形的相交情況，將手部區(qū)域多邊形分成相交區(qū)域i和不相交區(qū)域其中不相交區(qū)域q可能是由多個獨立多邊形{q1，q2，...，qn}構成的；

(b)針對不相交區(qū)域q中的每個獨立多邊形q，計算q與圖像邊界的重合線段d的長度。若則在原手部區(qū)域多邊形p中剪除qi，并進入步驟s44；若則進入步驟s43；上述的dth為圖像邊界重合線段閾值；

(c)對不相交區(qū)域q中的每個獨立多邊形q，計算q的質心cq，以迭代圓的圓心c為起點，作延長線cq直至圖像邊界，計算q與cq延長線的重合線段m的長度。若則在原手部區(qū)域多邊形p中剪除qi；

(d)判斷當前的手部區(qū)域多邊形p是否包含多個分離的多邊形部分，若是，則將其中面積最大的多邊形pmax作為最終得到的精確手部區(qū)域pa，并返回pa的輪廓作為精確手部輪廓。

優(yōu)選的，所述的基于深度圖像的手部輪廓特征優(yōu)化方法，在所述步驟(5)中結合凸包檢測的輪廓特征向量化過程，該步驟包括以下子步驟：

(a)使用graham掃描法計算精確手部區(qū)域的外部凸包輪廓；

(b)計算精確手部區(qū)域輪廓的7維hu不變矩向量；

(c)計算外部凸包輪廓的7維hu不變矩向量；

(d)組合手部區(qū)域輪廓和外部凸包輪廓的14維hu不變矩形成新的手部輪廓特征向量。

與現(xiàn)有技術相比，本發(fā)明的有益效果是：該基于深度圖像的手部輪廓特征優(yōu)化方法相比于傳統(tǒng)的手部輪廓特征提取算法，利用均值漂移和凸包檢測算法的手部輪廓特征優(yōu)化法可以有效去除小臂、衣袖等其他冗余輪廓信息，特征向量化的過程中盡可能保證輪廓特征的準確性和全面性，為后續(xù)的分類學習等步驟的提供更為準確的輸入數(shù)據(jù)源，提高最終手勢識別系統(tǒng)的穩(wěn)定性。

附圖說明

圖1是本發(fā)明總體算法流程圖。

圖2是本發(fā)明的深度圖像預處理流程圖。

圖3是本發(fā)明的計算初始迭代點和初始迭代半徑的流程圖。

圖4是本發(fā)明的根據(jù)均值漂移算法迭代尋找手掌區(qū)域的流程圖。

圖5是本發(fā)明的手部區(qū)域輪廓更新的流程圖。

圖6是本發(fā)明的結合凸包檢測的輪廓特征向量化過程的流程圖。

具體實施方式

下面將結合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領域普通技術人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。

請參閱圖1-圖6，本發(fā)明提供一種技術方案：

實施例1：

一種基于深度圖像的手部輪廓特征優(yōu)化方法，該方法包括如下步驟：

(11)讀入深度圖像，預處理并得到包含冗余輪廓的手部區(qū)域圖；

(12)計算初始迭代點和迭代半徑，初始迭代點盡量靠近手指尖；

(13)利用均值漂移算法進行迭代，找到最接近手掌的圓形區(qū)域，返回圓心與半徑；

(14)更新手部區(qū)域輪廓，將冗余輪廓剔除，得到精確的手部區(qū)域輪廓；

(15)利用凸包檢測算法得到手部區(qū)域的外部凸包輪廓，并結合內輪廓與外凸包的hu不變矩信息，得到14維輪廓特征向量。

實施例2：

根據(jù)實施例1所述的基于深度圖像的手部輪廓特征優(yōu)化方法，在所述的步驟(1)中，深度圖像預處理模塊對深度圖像進行閾值切割、圖形學濾波并計算最大連通區(qū)域，包括以下步驟：

(a)利用深度閾值得到手部區(qū)域，并將其映射到二值圖像，包含冗余輪廓，白色前景表示手部區(qū)域，背景為黑色；

(b)利用圖形學運算，先做開運算，平滑圖像輪廓并去除背景噪聲，再做閉運算，填充目標內的細小孔洞；

(c)尋找最大面積輪廓，并認為該輪廓為手部區(qū)域輪廓，包含冗余輪廓，填補該輪廓內的孔洞。

實施例3；

根據(jù)實施例1或2所述的基于深度圖像的手部輪廓特征優(yōu)化方法，在所述步驟(2)中，包括從初步提取的手部區(qū)域中選取初始迭代點和迭代半徑的步驟，該步驟包括以下步驟：

(a)將提取的手部區(qū)域輪廓以多邊形表示，并修復含有內環(huán)的多邊形情況；

(b)計算多邊形的最小外接矩形，并與圖像邊界進行比較，根據(jù)兩者重合的邊數(shù)進行如下分類討論：

(a)若手離鏡頭過近，圖像無法顯示完整的手部區(qū)域，算法終止；

(b)若重合的兩條邊是平行邊，則表明手橫向或縱向貫穿鏡頭，圖像無法顯示完整的手部區(qū)域，算法終止；

(c)若沒有手臂部分輪廓與圖像邊界相交，冗余輪廓不存在，此時返回的初始迭代點為手部區(qū)域的質心，初始迭代半徑根據(jù)實際手掌經(jīng)驗值選??；

(d)若重合的兩條邊是相交邊，則在多邊形的最小外接矩形的四個頂點中，計算距離多邊形最近的頂點，且要保證該頂點是有效的，不與圖像邊界相交，再計算得到該頂點在多邊形上的投影點，即多邊形上距離該頂點最近的點；

最后取投影點與多邊形質心的連線中點作為初始迭代點，連線長度的一半作為初始迭代半徑，若初始迭代點在多邊形外部，則取該點在多邊形上的投影點作為新的初始迭代點。

實施例4：

根據(jù)實施例1或2或3所述的基于深度圖像的手部輪廓特征優(yōu)化方法，在所述步驟(3)中，還包括基于均值漂移的迭代過程，該步驟包括以下子步驟

(a)根據(jù)初始迭代點c0與初始迭代半徑r0得到迭代圓c的初始區(qū)域；

(b)尋找迭代圓c與手部區(qū)域多邊形p的相交區(qū)域i，并計算該區(qū)域的質心ci；

(c)比較質心ci與迭代圓的圓心c，若兩者相差超過迭代門限，則進入步驟s34；若兩者相差在迭代門限內，則進入步驟(e)；

(d)，調整迭代圓的圓心c為相交區(qū)域的質心ci，半徑r為相交區(qū)域的質心ci在手部區(qū)域多邊形p邊界上的投影，并返回步驟(b)；

(e)，若s(i)/s(c)＞1.1sth，則增加迭代圓半徑r，并返回所述的步驟(2)；若s(i)/s(c)＜0.9sth，則減小迭代圓半徑r，并返回步驟(b)；否則終止迭代，輸出迭代結束時的迭代圓的圓心位置c和半徑r，上述的s(i)，s(c)分別為相交區(qū)域與迭代圓面積，sth為有效面積像素閾值。

實施例5：

根據(jù)實施例1或2或3或4所述的基于深度圖像的手部輪廓特征優(yōu)化方法，在所述步驟(4)中，還包括根據(jù)均值漂移的迭代結果更新手部區(qū)域輪廓的過程，該步驟包括以下子步驟：

(a)根據(jù)迭代圓與手部區(qū)域多邊形的相交情況，將手部區(qū)域多邊形分成相交區(qū)域i和不相交區(qū)域其中不相交區(qū)域q可能是由多個獨立多邊形{q1，q2，...，qn}構成的；

(b)針對不相交區(qū)域q中的每個獨立多邊形q，計算q與圖像邊界的重合線段d的長度。若則在原手部區(qū)域多邊形p中剪除qi，并進入步驟s44；若則進入步驟s43；上述的dth為圖像邊界重合線段閾值；

(c)對不相交區(qū)域q中的每個獨立多邊形q，計算q的質心cq，以迭代圓的圓心c為起點，作延長線cq直至圖像邊界，計算q與cq延長線的重合線段m的長度。若則在原手部區(qū)域多邊形p中剪除qi；

(d)判斷當前的手部區(qū)域多邊形p是否包含多個分離的多邊形部分，若是，則將其中面積最大的多邊形pmax作為最終得到的精確手部區(qū)域pa，并返回pa的輪廓作為精確手部輪廓。

實施例6：

根據(jù)實施例1或2或3或4或5所述的基于深度圖像的手部輪廓特征優(yōu)化方法，在所述步驟(5)中結合凸包檢測的輪廓特征向量化過程，該步驟包括以下子步驟：

(a)使用graham掃描法計算精確手部區(qū)域的外部凸包輪廓；

(b)計算精確手部區(qū)域輪廓的7維hu不變矩向量；

(c)計算外部凸包輪廓的7維hu不變矩向量；

(d)組合手部區(qū)域輪廓和外部凸包輪廓的14維hu不變矩形成新的手部輪廓特征向量。

盡管已經(jīng)示出和描述了本發(fā)明的實施例，對于本領域的普通技術人員而言，可以理解在不脫離本發(fā)明的原理和精神的情況下可以對這些實施例進行多種變化、修改、替換和變型，本發(fā)明的范圍由所附權利要求及其等同物限定。

相關知識

線條修飾與臉部輪廓塑造技巧.pptx
改變面部輪廓有幾種方法
臉部輪廓怎么提升？手把手教你面部提升手法！
一種基于聲音特征識別的嬰兒哭聲翻譯方法與流程
改變面部輪廓有幾種方法？
提升面部輪廓的方法有哪些？
資訊：面部輪廓塑形方法與適用人群。
臉部輪廓整形
正確認識面部輪廓衰老
骨性硬輪廓之面部形態(tài)的穩(wěn)定與支撐

網(wǎng)址: 一種基于深度圖像的手部輪廓特征優(yōu)化方法與流程 http://www.u1s5d6.cn/newsview468545.html