本發(fā)明涉及計(jì)算機(jī)視覺和人機(jī)交互技術(shù)領(lǐng)域，具體為一種基于深度圖像的手部輪廓特征優(yōu)化方法。

背景技術(shù)：

專利號為201510282688.1的中國發(fā)明專利公開了一種基于深度圖像的手部特征點(diǎn)檢測方法，其包括以下步驟：(1)手部分割：利用kinect采集到人體運(yùn)動視頻序列來提取手部，通過深度圖像利用openni得到人體手部位置信息，通過設(shè)定搜索區(qū)域及深度閾值方法，初步獲得手心點(diǎn)；利用opencv的find_contours函數(shù)得到手部輪廓；通過找到手輪廓內(nèi)最大內(nèi)接圓圓心，精確確定手部手心點(diǎn)，通過計(jì)算所有手部內(nèi)部點(diǎn)到輪廓點(diǎn)之間的最短距離m，在最短距離中找到最大值m，m所代表的手部內(nèi)部點(diǎn)為手心點(diǎn)，內(nèi)接圓半徑r＝m；(2)特征點(diǎn)提?。和ㄟ^不斷對手部輪廓進(jìn)行高斯平滑，并結(jié)合曲率閾值從而得到css曲率圖，根據(jù)圖中css輪廓分析極限值得出手部指尖點(diǎn)及指谷點(diǎn)坐標(biāo)，同時需要補(bǔ)全根據(jù)css曲率圖無法得到的手部指谷點(diǎn)；(3)補(bǔ)全缺失手指，利用角度閾值和深度跳變結(jié)合的方式來補(bǔ)全缺失手指，從而找到彎曲手指的指尖點(diǎn)。

然而，這種基于設(shè)定搜索區(qū)域及深度閾值方法提取的手部輪廓特征會附帶小臂、衣袖等其他物體的輪廓，這些冗余輪廓會造成輪廓特征提取質(zhì)量較差，在特征向量化過程中與預(yù)期特征不符，導(dǎo)致最終手勢識別系統(tǒng)的識別精度較低。

為此，申請人進(jìn)行了有益的探索和嘗試，找到了解決上述問題的辦法，下面將要介紹的技術(shù)方案便是在這種背景下產(chǎn)生的。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的在于提供一種基于深度圖像的手部輪廓特征優(yōu)化方法，以解決上述背景技術(shù)中提出的問題。

為實(shí)現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：一種基于深度圖像的手部輪廓特征優(yōu)化方法，該方法包括如下步驟：

(6)讀入深度圖像，預(yù)處理并得到包含冗余輪廓的手部區(qū)域圖；

(7)計(jì)算初始迭代點(diǎn)和迭代半徑，初始迭代點(diǎn)盡量靠近手指尖；

(8)利用均值漂移算法進(jìn)行迭代，找到最接近手掌的圓形區(qū)域，返回圓心與半徑；

(9)更新手部區(qū)域輪廓，將冗余輪廓剔除，得到精確的手部區(qū)域輪廓；

(10)利用凸包檢測算法得到手部區(qū)域的外部凸包輪廓，并結(jié)合內(nèi)輪廓與外凸包的hu不變矩信息，得到14維輪廓特征向量。

優(yōu)選的，所述的基于深度圖像的手部輪廓特征優(yōu)化方法，在所述的步驟(1)中，深度圖像預(yù)處理模塊對深度圖像進(jìn)行閾值切割、圖形學(xué)濾波并計(jì)算最大連通區(qū)域，包括以下步驟：

(a)利用深度閾值得到手部區(qū)域，并將其映射到二值圖像，包含冗余輪廓，白色前景表示手部區(qū)域，背景為黑色；

(b)利用圖形學(xué)運(yùn)算，先做開運(yùn)算，平滑圖像輪廓并去除背景噪聲，再做閉運(yùn)算，填充目標(biāo)內(nèi)的細(xì)小孔洞；

(c)尋找最大面積輪廓，并認(rèn)為該輪廓為手部區(qū)域輪廓，包含冗余輪廓，填補(bǔ)該輪廓內(nèi)的孔洞。

優(yōu)選的，所述的基于深度圖像的手部輪廓特征優(yōu)化方法，在所述步驟(2)中，包括從初步提取的手部區(qū)域中選取初始迭代點(diǎn)和迭代半徑的步驟，該步驟包括以下步驟：

(a)將提取的手部區(qū)域輪廓以多邊形表示，并修復(fù)含有內(nèi)環(huán)的多邊形情況；

(b)計(jì)算多邊形的最小外接矩形，并與圖像邊界進(jìn)行比較，根據(jù)兩者重合的邊數(shù)進(jìn)行如下分類討論：

(a)若手離鏡頭過近，圖像無法顯示完整的手部區(qū)域，算法終止；

(b)若重合的兩條邊是平行邊，則表明手橫向或縱向貫穿鏡頭，圖像無法顯示完整的手部區(qū)域，算法終止；

(c)若沒有手臂部分輪廓與圖像邊界相交，冗余輪廓不存在，此時返回的初始迭代點(diǎn)為手部區(qū)域的質(zhì)心，初始迭代半徑根據(jù)實(shí)際手掌經(jīng)驗(yàn)值選?。?/p>

(d)若重合的兩條邊是相交邊，則在多邊形的最小外接矩形的四個頂點(diǎn)中，計(jì)算距離多邊形最近的頂點(diǎn)，且要保證該頂點(diǎn)是有效的，不與圖像邊界相交，再計(jì)算得到該頂點(diǎn)在多邊形上的投影點(diǎn)，即多邊形上距離該頂點(diǎn)最近的點(diǎn)；

最后取投影點(diǎn)與多邊形質(zhì)心的連線中點(diǎn)作為初始迭代點(diǎn)，連線長度的一半作為初始迭代半徑，若初始迭代點(diǎn)在多邊形外部，則取該點(diǎn)在多邊形上的投影點(diǎn)作為新的初始迭代點(diǎn)。

優(yōu)選的，所述的基于深度圖像的手部輪廓特征優(yōu)化方法，在所述步驟(3)中，還包括基于均值漂移的迭代過程，該步驟包括以下子步驟

(a)根據(jù)初始迭代點(diǎn)c0與初始迭代半徑r0得到迭代圓c的初始區(qū)域；

(b)尋找迭代圓c與手部區(qū)域多邊形p的相交區(qū)域i，并計(jì)算該區(qū)域的質(zhì)心ci；

(c)比較質(zhì)心ci與迭代圓的圓心c，若兩者相差超過迭代門限，則進(jìn)入步驟s34；若兩者相差在迭代門限內(nèi)，則進(jìn)入步驟(e)；

(d)，調(diào)整迭代圓的圓心c為相交區(qū)域的質(zhì)心ci，半徑r為相交區(qū)域的質(zhì)心ci在手部區(qū)域多邊形p邊界上的投影，并返回步驟(b)；

(e)，若s(i)/s(c)＞1.1sth，則增加迭代圓半徑r，并返回所述的步驟(2)；若s(i)/s(c)＜0.9sth，則減小迭代圓半徑r，并返回步驟(b)；否則終止迭代，輸出迭代結(jié)束時的迭代圓的圓心位置c和半徑r，上述的s(i)，s(c)分別為相交區(qū)域與迭代圓面積，sth為有效面積像素閾值。

優(yōu)選的，所述的基于深度圖像的手部輪廓特征優(yōu)化方法，在所述步驟(4)中，還包括根據(jù)均值漂移的迭代結(jié)果更新手部區(qū)域輪廓的過程，該步驟包括以下子步驟：

(a)根據(jù)迭代圓與手部區(qū)域多邊形的相交情況，將手部區(qū)域多邊形分成相交區(qū)域i和不相交區(qū)域其中不相交區(qū)域q可能是由多個獨(dú)立多邊形{q1，q2，...，qn}構(gòu)成的；

(b)針對不相交區(qū)域q中的每個獨(dú)立多邊形q，計(jì)算q與圖像邊界的重合線段d的長度。若則在原手部區(qū)域多邊形p中剪除qi，并進(jìn)入步驟s44；若則進(jìn)入步驟s43；上述的dth為圖像邊界重合線段閾值；

(c)對不相交區(qū)域q中的每個獨(dú)立多邊形q，計(jì)算q的質(zhì)心cq，以迭代圓的圓心c為起點(diǎn)，作延長線cq直至圖像邊界，計(jì)算q與cq延長線的重合線段m的長度。若則在原手部區(qū)域多邊形p中剪除qi；

(d)判斷當(dāng)前的手部區(qū)域多邊形p是否包含多個分離的多邊形部分，若是，則將其中面積最大的多邊形pmax作為最終得到的精確手部區(qū)域pa，并返回pa的輪廓作為精確手部輪廓。

優(yōu)選的，所述的基于深度圖像的手部輪廓特征優(yōu)化方法，在所述步驟(5)中結(jié)合凸包檢測的輪廓特征向量化過程，該步驟包括以下子步驟：

(a)使用graham掃描法計(jì)算精確手部區(qū)域的外部凸包輪廓；

(b)計(jì)算精確手部區(qū)域輪廓的7維hu不變矩向量；

(c)計(jì)算外部凸包輪廓的7維hu不變矩向量；

(d)組合手部區(qū)域輪廓和外部凸包輪廓的14維hu不變矩形成新的手部輪廓特征向量。

與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是：該基于深度圖像的手部輪廓特征優(yōu)化方法相比于傳統(tǒng)的手部輪廓特征提取算法，利用均值漂移和凸包檢測算法的手部輪廓特征優(yōu)化法可以有效去除小臂、衣袖等其他冗余輪廓信息，特征向量化的過程中盡可能保證輪廓特征的準(zhǔn)確性和全面性，為后續(xù)的分類學(xué)習(xí)等步驟的提供更為準(zhǔn)確的輸入數(shù)據(jù)源，提高最終手勢識別系統(tǒng)的穩(wěn)定性。

附圖說明

圖1是本發(fā)明總體算法流程圖。

圖2是本發(fā)明的深度圖像預(yù)處理流程圖。

圖3是本發(fā)明的計(jì)算初始迭代點(diǎn)和初始迭代半徑的流程圖。

圖4是本發(fā)明的根據(jù)均值漂移算法迭代尋找手掌區(qū)域的流程圖。

圖5是本發(fā)明的手部區(qū)域輪廓更新的流程圖。

圖6是本發(fā)明的結(jié)合凸包檢測的輪廓特征向量化過程的流程圖。

具體實(shí)施方式

下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例。基于本發(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。

請參閱圖1-圖6，本發(fā)明提供一種技術(shù)方案：

實(shí)施例1：

一種基于深度圖像的手部輪廓特征優(yōu)化方法，該方法包括如下步驟：

(11)讀入深度圖像，預(yù)處理并得到包含冗余輪廓的手部區(qū)域圖；

(12)計(jì)算初始迭代點(diǎn)和迭代半徑，初始迭代點(diǎn)盡量靠近手指尖；

(13)利用均值漂移算法進(jìn)行迭代，找到最接近手掌的圓形區(qū)域，返回圓心與半徑；

(14)更新手部區(qū)域輪廓，將冗余輪廓剔除，得到精確的手部區(qū)域輪廓；

(15)利用凸包檢測算法得到手部區(qū)域的外部凸包輪廓，并結(jié)合內(nèi)輪廓與外凸包的hu不變矩信息，得到14維輪廓特征向量。

實(shí)施例2：

根據(jù)實(shí)施例1所述的基于深度圖像的手部輪廓特征優(yōu)化方法，在所述的步驟(1)中，深度圖像預(yù)處理模塊對深度圖像進(jìn)行閾值切割、圖形學(xué)濾波并計(jì)算最大連通區(qū)域，包括以下步驟：

(a)利用深度閾值得到手部區(qū)域，并將其映射到二值圖像，包含冗余輪廓，白色前景表示手部區(qū)域，背景為黑色；

(b)利用圖形學(xué)運(yùn)算，先做開運(yùn)算，平滑圖像輪廓并去除背景噪聲，再做閉運(yùn)算，填充目標(biāo)內(nèi)的細(xì)小孔洞；

(c)尋找最大面積輪廓，并認(rèn)為該輪廓為手部區(qū)域輪廓，包含冗余輪廓，填補(bǔ)該輪廓內(nèi)的孔洞。

實(shí)施例3；

根據(jù)實(shí)施例1或2所述的基于深度圖像的手部輪廓特征優(yōu)化方法，在所述步驟(2)中，包括從初步提取的手部區(qū)域中選取初始迭代點(diǎn)和迭代半徑的步驟，該步驟包括以下步驟：

(a)將提取的手部區(qū)域輪廓以多邊形表示，并修復(fù)含有內(nèi)環(huán)的多邊形情況；

(b)計(jì)算多邊形的最小外接矩形，并與圖像邊界進(jìn)行比較，根據(jù)兩者重合的邊數(shù)進(jìn)行如下分類討論：

(a)若手離鏡頭過近，圖像無法顯示完整的手部區(qū)域，算法終止；

(b)若重合的兩條邊是平行邊，則表明手橫向或縱向貫穿鏡頭，圖像無法顯示完整的手部區(qū)域，算法終止；

(c)若沒有手臂部分輪廓與圖像邊界相交，冗余輪廓不存在，此時返回的初始迭代點(diǎn)為手部區(qū)域的質(zhì)心，初始迭代半徑根據(jù)實(shí)際手掌經(jīng)驗(yàn)值選??；

(d)若重合的兩條邊是相交邊，則在多邊形的最小外接矩形的四個頂點(diǎn)中，計(jì)算距離多邊形最近的頂點(diǎn)，且要保證該頂點(diǎn)是有效的，不與圖像邊界相交，再計(jì)算得到該頂點(diǎn)在多邊形上的投影點(diǎn)，即多邊形上距離該頂點(diǎn)最近的點(diǎn)；

最后取投影點(diǎn)與多邊形質(zhì)心的連線中點(diǎn)作為初始迭代點(diǎn)，連線長度的一半作為初始迭代半徑，若初始迭代點(diǎn)在多邊形外部，則取該點(diǎn)在多邊形上的投影點(diǎn)作為新的初始迭代點(diǎn)。

實(shí)施例4：

根據(jù)實(shí)施例1或2或3所述的基于深度圖像的手部輪廓特征優(yōu)化方法，在所述步驟(3)中，還包括基于均值漂移的迭代過程，該步驟包括以下子步驟

(a)根據(jù)初始迭代點(diǎn)c0與初始迭代半徑r0得到迭代圓c的初始區(qū)域；

(b)尋找迭代圓c與手部區(qū)域多邊形p的相交區(qū)域i，并計(jì)算該區(qū)域的質(zhì)心ci；

(c)比較質(zhì)心ci與迭代圓的圓心c，若兩者相差超過迭代門限，則進(jìn)入步驟s34；若兩者相差在迭代門限內(nèi)，則進(jìn)入步驟(e)；

(d)，調(diào)整迭代圓的圓心c為相交區(qū)域的質(zhì)心ci，半徑r為相交區(qū)域的質(zhì)心ci在手部區(qū)域多邊形p邊界上的投影，并返回步驟(b)；

(e)，若s(i)/s(c)＞1.1sth，則增加迭代圓半徑r，并返回所述的步驟(2)；若s(i)/s(c)＜0.9sth，則減小迭代圓半徑r，并返回步驟(b)；否則終止迭代，輸出迭代結(jié)束時的迭代圓的圓心位置c和半徑r，上述的s(i)，s(c)分別為相交區(qū)域與迭代圓面積，sth為有效面積像素閾值。

實(shí)施例5：

根據(jù)實(shí)施例1或2或3或4所述的基于深度圖像的手部輪廓特征優(yōu)化方法，在所述步驟(4)中，還包括根據(jù)均值漂移的迭代結(jié)果更新手部區(qū)域輪廓的過程，該步驟包括以下子步驟：

(a)根據(jù)迭代圓與手部區(qū)域多邊形的相交情況，將手部區(qū)域多邊形分成相交區(qū)域i和不相交區(qū)域其中不相交區(qū)域q可能是由多個獨(dú)立多邊形{q1，q2，...，qn}構(gòu)成的；

(b)針對不相交區(qū)域q中的每個獨(dú)立多邊形q，計(jì)算q與圖像邊界的重合線段d的長度。若則在原手部區(qū)域多邊形p中剪除qi，并進(jìn)入步驟s44；若則進(jìn)入步驟s43；上述的dth為圖像邊界重合線段閾值；

(c)對不相交區(qū)域q中的每個獨(dú)立多邊形q，計(jì)算q的質(zhì)心cq，以迭代圓的圓心c為起點(diǎn)，作延長線cq直至圖像邊界，計(jì)算q與cq延長線的重合線段m的長度。若則在原手部區(qū)域多邊形p中剪除qi；

(d)判斷當(dāng)前的手部區(qū)域多邊形p是否包含多個分離的多邊形部分，若是，則將其中面積最大的多邊形pmax作為最終得到的精確手部區(qū)域pa，并返回pa的輪廓作為精確手部輪廓。

實(shí)施例6：

根據(jù)實(shí)施例1或2或3或4或5所述的基于深度圖像的手部輪廓特征優(yōu)化方法，在所述步驟(5)中結(jié)合凸包檢測的輪廓特征向量化過程，該步驟包括以下子步驟：

(a)使用graham掃描法計(jì)算精確手部區(qū)域的外部凸包輪廓；

(b)計(jì)算精確手部區(qū)域輪廓的7維hu不變矩向量；

(c)計(jì)算外部凸包輪廓的7維hu不變矩向量；

(d)組合手部區(qū)域輪廓和外部凸包輪廓的14維hu不變矩形成新的手部輪廓特征向量。

盡管已經(jīng)示出和描述了本發(fā)明的實(shí)施例，對于本領(lǐng)域的普通技術(shù)人員而言，可以理解在不脫離本發(fā)明的原理和精神的情況下可以對這些實(shí)施例進(jìn)行多種變化、修改、替換和變型，本發(fā)明的范圍由所附權(quán)利要求及其等同物限定。

相關(guān)知識

線條修飾與臉部輪廓塑造技巧.pptx
改變面部輪廓有幾種方法
臉部輪廓怎么提升？手把手教你面部提升手法！
一種基于聲音特征識別的嬰兒哭聲翻譯方法與流程
改變面部輪廓有幾種方法？
提升面部輪廓的方法有哪些？
資訊：面部輪廓塑形方法與適用人群。
臉部輪廓整形
正確認(rèn)識面部輪廓衰老
骨性硬輪廓之面部形態(tài)的穩(wěn)定與支撐

網(wǎng)址: 一種基于深度圖像的手部輪廓特征優(yōu)化方法與流程 http://www.u1s5d6.cn/newsview468545.html