1.本發(fā)明屬于健身訓(xùn)練信息處理技術(shù)領(lǐng)域，尤其涉及一種基于人體姿態(tài)識(shí)別的自重健身輔助教練系統(tǒng)、方法、終端。

背景技術(shù)：

2.目前，在線訓(xùn)練在2021全球健身趨勢(shì)報(bào)告中顯示排名第一位，自重訓(xùn)練排名第三位。中國(guó)健身起步較晚，但發(fā)展迅速，與全球領(lǐng)先水平僅半步之遙，今天全球火熱的健身趨勢(shì)基本上明天就能夠在中國(guó)國(guó)民中普及盛行。通過(guò)全球健身趨勢(shì)可以對(duì)未來(lái)五年中國(guó)的健身行業(yè)初窺門(mén)徑：便捷的可穿戴健身設(shè)備和智能健身等運(yùn)動(dòng)科技將在大眾日常健身中發(fā)揮越來(lái)越重要的作用，如何將人工智能運(yùn)用于日常健身、如何快速高效的達(dá)到每日健身目標(biāo)、如何實(shí)現(xiàn)懶人健身、如何智能識(shí)別健身者的身體狀況和生活習(xí)性、健身需求并有效結(jié)合制定適宜的健身方案、如何提高智能科技在健身領(lǐng)域的應(yīng)用水平等等都將是運(yùn)動(dòng)科技公司和傳統(tǒng)健身企業(yè)需要思考的課題。健身不僅僅是年輕人的事情，關(guān)注全生命周期的健身，包括青少年、老人和兒童，這將是健身企業(yè)的潛在目標(biāo)客戶人群，老人和孩子的健身市場(chǎng)仍是一片藍(lán)海。壓力大、時(shí)間少，身體健康很重要，健身運(yùn)動(dòng)不得不做，短平快的健身技術(shù)研發(fā)，全球人民都需要。
3.自重訓(xùn)練就是通過(guò)對(duì)抗自己的體重，從而達(dá)到刺激肌肉進(jìn)而塑形增肌的目的。當(dāng)然如果人們?cè)敢猓踔量梢哉f(shuō)是達(dá)到減肥、增強(qiáng)體能的目的。自重訓(xùn)練，可以在室內(nèi)也可以在戶外，一個(gè)俯臥撐和仰臥起坐是一個(gè)自重訓(xùn)練，一個(gè)高難度的俄挺或前水平，也屬于自重訓(xùn)練。與重量訓(xùn)練的各種“標(biāo)準(zhǔn)動(dòng)作”相比，自重訓(xùn)練的變化多種多樣，而且并不會(huì)定死一條規(guī)則。自重訓(xùn)練同樣可以突破時(shí)間和地理的限制，靈活安排訓(xùn)練。進(jìn)行重量訓(xùn)練，往往都要去健身房。而對(duì)于自重訓(xùn)練者來(lái)說(shuō)，家就是最佳的訓(xùn)練場(chǎng)所，同時(shí)自重訓(xùn)練側(cè)重平衡和身體的靈活性。從健身房里面練出來(lái)的肌肉，往往被人打上“死肌肉”的標(biāo)簽，意思是中看不中用。但這些“死肌肉”，這是為有志于參加各種比賽而準(zhǔn)備的。自重訓(xùn)練者肌肉被認(rèn)為是更具靈活性，肌肉的韌性和平衡得到極大的加強(qiáng)。
4.視覺(jué)是人類(lèi)感知世界的主要途徑之一，動(dòng)作識(shí)別已成為計(jì)算機(jī)視覺(jué)領(lǐng)域不可或缺的重要組成部分，它將使計(jì)算機(jī)能夠觀察世界，自動(dòng)識(shí)別和分析人類(lèi)活動(dòng)并做出決策。然而，對(duì)于人的姿態(tài)估計(jì)與動(dòng)作識(shí)別面臨著諸多挑戰(zhàn)，比如場(chǎng)景復(fù)雜多變，光照條件不恒定，人體自遮擋以及動(dòng)作語(yǔ)義的不確定性等，這導(dǎo)致姿態(tài)識(shí)別和動(dòng)作分析的方法多而分散。
5.最早對(duì)于人的動(dòng)作分析普遍認(rèn)為是心理學(xué)家在上世紀(jì)七十年代開(kāi)展的移動(dòng)光照顯示器(mld)實(shí)驗(yàn)，通過(guò)固定在人的關(guān)節(jié)處的亮點(diǎn)的運(yùn)動(dòng)信息判斷動(dòng)作，打開(kāi)了基于視覺(jué)的人體動(dòng)作分析的大門(mén)，此后，運(yùn)動(dòng)識(shí)別與分析進(jìn)入逐步發(fā)展階段。縱觀五十年的發(fā)展歷程，動(dòng)作分析的發(fā)明經(jīng)歷了從無(wú)到有，從簡(jiǎn)單到復(fù)雜，取得了顯著的進(jìn)步，對(duì)推動(dòng)計(jì)算機(jī)視覺(jué)、機(jī)器學(xué)習(xí)等學(xué)科的發(fā)展做出了卓越貢獻(xiàn)。
6.自重訓(xùn)練往往缺乏專(zhuān)業(yè)的指導(dǎo)，很多初入門(mén)者甚至只是盲目的模仿高級(jí)訓(xùn)練者的圖片或視頻，自身的動(dòng)作往往不標(biāo)準(zhǔn)，導(dǎo)致影響訓(xùn)練效果，達(dá)不到訓(xùn)練目標(biāo)，比較典型的就
是各種協(xié)同肌代償。更有甚者會(huì)造成運(yùn)動(dòng)損傷，多次錯(cuò)誤動(dòng)作逐漸積累也可能導(dǎo)致傷病。在健身動(dòng)作中都有一個(gè)標(biāo)準(zhǔn)的動(dòng)作體系，這些動(dòng)作標(biāo)準(zhǔn)，都是針對(duì)與動(dòng)作本身所鍛煉的身體部位，具有規(guī)避不必要的鍛煉損傷和提高健身效率的作用。
7.在傳統(tǒng)的健身訓(xùn)練中，通常采用基于肉眼觀察的訓(xùn)練方法。而早期的人體動(dòng)作識(shí)別都需要借助外接設(shè)備的輔助，非常不方便，在便攜性方面對(duì)使用者有很多約束，也存在忘記穿戴或運(yùn)動(dòng)損壞的情況。而且不同的健身者在做同一個(gè)健身動(dòng)作時(shí)，受到生活習(xí)慣，身體的姿態(tài)等各種因素的影響，導(dǎo)致健身動(dòng)作的類(lèi)內(nèi)差異較大，動(dòng)作類(lèi)別難以定義。隨著深度學(xué)習(xí)的發(fā)展，計(jì)算機(jī)可以僅通過(guò)攝像頭等設(shè)備就能夠感知人體動(dòng)作，也出現(xiàn)了很多手勢(shì)識(shí)別，姿勢(shì)識(shí)別方面的發(fā)明，在智能視頻監(jiān)控、高級(jí)人機(jī)交互等領(lǐng)域得以應(yīng)用。
8.通過(guò)上述分析，現(xiàn)有技術(shù)存在的問(wèn)題及缺陷為：
9.(1)現(xiàn)有技術(shù)中，自重訓(xùn)練往往缺乏專(zhuān)業(yè)的指導(dǎo)，很多初入門(mén)者甚至只是盲目地模仿高級(jí)訓(xùn)練者的圖片或視頻，自身的動(dòng)作往往不標(biāo)準(zhǔn)，導(dǎo)致影響訓(xùn)練效果，達(dá)不到訓(xùn)練目標(biāo)，比較典型的問(wèn)題就是各種協(xié)同肌代償。更有甚者會(huì)造成運(yùn)動(dòng)損傷,多次錯(cuò)誤動(dòng)作逐漸積累也可能導(dǎo)致傷病。
10.(2)現(xiàn)有技術(shù)健身效率低。
11.解決以上問(wèn)題及缺陷的意義為：
12.本發(fā)明以健身者居家自重健身為背景，構(gòu)建了基于openpose的自重健身輔助教練系統(tǒng)。該系統(tǒng)涉及到彩色圖像和深度圖像生成3d點(diǎn)云，通過(guò)彩色信息進(jìn)行人體關(guān)鍵點(diǎn)的識(shí)別，在3d點(diǎn)云中獲取相應(yīng)的深度信息，生成3d點(diǎn)云的骨架圖并得到健身者的實(shí)時(shí)運(yùn)動(dòng)姿態(tài)。通過(guò)intelrealsensed435攝像頭實(shí)時(shí)地獲取自重健身者的健身動(dòng)態(tài)視頻，通過(guò)openpose對(duì)其進(jìn)行初步的推理和計(jì)算相應(yīng)的人體二維關(guān)鍵點(diǎn)坐標(biāo)，再利用人體關(guān)節(jié)角度和關(guān)節(jié)點(diǎn)之間的距離等因素計(jì)算運(yùn)動(dòng)的特征，輸入分類(lèi)器得到分類(lèi)結(jié)果。比對(duì)預(yù)先采集好的健身動(dòng)作特征，從物理學(xué)，運(yùn)動(dòng)學(xué)等角度衡量健身動(dòng)作是否標(biāo)準(zhǔn)，提出哪些地方需要改進(jìn)，給予簡(jiǎn)單易懂的健身指導(dǎo)。相對(duì)于穿戴式傳感器檢測(cè)姿態(tài)而言，本系統(tǒng)不用與健身者直接接觸，更加方便運(yùn)動(dòng)。

技術(shù)實(shí)現(xiàn)要素：

13.為克服相關(guān)技術(shù)中存在的問(wèn)題，本發(fā)明公開(kāi)實(shí)施例提供了一種基于人體姿態(tài)識(shí)別的自重健身輔助教練系統(tǒng)、方法、終端。
14.本發(fā)明目的在于提供一種基于人體姿態(tài)識(shí)別的自重健身輔助教練系統(tǒng)及方法，進(jìn)行以下步驟：
15.健身者的姿態(tài)檢測(cè)需要在一定的空間范圍內(nèi)準(zhǔn)確地識(shí)別并還原人的3d骨架圖到3d點(diǎn)云中，對(duì)檢測(cè)的算法有一定的精度要求。在嘗試了多種模型后，選用openpose姿態(tài)識(shí)別網(wǎng)絡(luò)來(lái)獲取視頻幀中人體的二維骨架關(guān)節(jié)點(diǎn)坐標(biāo)，單獨(dú)處理相機(jī)深度流中的深度信息，對(duì)齊彩色幀后由關(guān)節(jié)點(diǎn)坐標(biāo)求得各關(guān)鍵點(diǎn)的深度值，進(jìn)行3d骨架化的構(gòu)建。
16.運(yùn)動(dòng)特征的提?。横槍?duì)健身動(dòng)作中各個(gè)動(dòng)作要求的重點(diǎn)選取動(dòng)作規(guī)范的特征，如關(guān)節(jié)角度，肢體朝向，運(yùn)動(dòng)幅度等，在多次選取和測(cè)試后，最終選取了15個(gè)空間距離比例和15個(gè)空間向量的余弦相似度作為特征。
17.在建立骨架圖和運(yùn)動(dòng)特征值的基礎(chǔ)上，訓(xùn)練自定義動(dòng)作的姿態(tài)識(shí)別模型。利用骨
架圖可以訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)動(dòng)作識(shí)別模型，將分類(lèi)好的特征寫(xiě)好標(biāo)簽則可以通過(guò)全連接神經(jīng)網(wǎng)絡(luò)訓(xùn)練得到動(dòng)作識(shí)別模型。
18.數(shù)據(jù)集的采集，標(biāo)注和處理：本發(fā)明在訓(xùn)練動(dòng)作識(shí)別模型時(shí)的數(shù)據(jù)集是在實(shí)驗(yàn)室模擬居家環(huán)境使用學(xué)生的運(yùn)動(dòng)姿態(tài)采集的，通過(guò)多名同學(xué)的多組健身動(dòng)作的特征采集，自動(dòng)寫(xiě)入動(dòng)作類(lèi)型的標(biāo)簽，再經(jīng)過(guò)人工的篩選去除不可用數(shù)據(jù)制作了本次動(dòng)作識(shí)別的數(shù)據(jù)集，將健身者的姿態(tài)分為了多組日常動(dòng)作和健身動(dòng)作，分別為走，站，停止動(dòng)作，俯臥撐，側(cè)向開(kāi)合，四點(diǎn)支撐，深蹲，箭步蹲。
19.所述技術(shù)方案如下：一種基于人體姿態(tài)識(shí)別的自重健身輔助教練方法，包括：
20.步驟一，利用攝像頭對(duì)健身者的動(dòng)作進(jìn)行捕捉和記錄；選用openpose姿態(tài)識(shí)別網(wǎng)絡(luò)獲取視頻幀中人體的二維骨架關(guān)節(jié)點(diǎn)坐標(biāo)，單獨(dú)處理相機(jī)深度流中的深度信息，對(duì)齊彩色幀后由關(guān)節(jié)點(diǎn)坐標(biāo)求得各關(guān)鍵點(diǎn)的深度值，進(jìn)行3d骨架化的構(gòu)建；
21.步驟二，在健身訓(xùn)練時(shí)，從運(yùn)動(dòng)幀序列中檢測(cè)健身者的動(dòng)作；
22.步驟三，通過(guò)提取健身動(dòng)作的運(yùn)動(dòng)幅度，關(guān)節(jié)角度特征識(shí)別健身者的動(dòng)作類(lèi)別；
23.步驟四，對(duì)健身者動(dòng)作類(lèi)別的運(yùn)動(dòng)標(biāo)準(zhǔn)進(jìn)行標(biāo)注和數(shù)據(jù)處理。
24.在發(fā)明一實(shí)施例中，所述步驟一利用攝像頭對(duì)健身者的動(dòng)作進(jìn)行捕捉和記錄具體包括：
25.(1)獲取相機(jī)參數(shù)矩陣：
[0026][0027]
(2)人體三維骨骼關(guān)節(jié)點(diǎn)的獲取與連接：
[0028]
將構(gòu)建好的openpose姿態(tài)識(shí)別網(wǎng)絡(luò)的動(dòng)態(tài)庫(kù)和姿態(tài)檢測(cè)模型導(dǎo)入，調(diào)用api接口獲取d435鏡頭中彩色圖像幀獲得人體二維關(guān)鍵點(diǎn)坐標(biāo)；這是一幅站立openpose姿態(tài)識(shí)別網(wǎng)絡(luò)識(shí)別出25個(gè)二維關(guān)鍵點(diǎn)的坐標(biāo)，依照人體關(guān)節(jié)連接順序連接各個(gè)關(guān)鍵點(diǎn)得到二維的骨架圖；
[0029]
獲取二維關(guān)鍵點(diǎn)坐標(biāo)后，根據(jù)二維關(guān)鍵點(diǎn)像素坐標(biāo)在對(duì)應(yīng)的已對(duì)齊的深度幀中依次獲取各關(guān)鍵點(diǎn)的深度信息，再加上相機(jī)的參數(shù)矩陣，將人體二維關(guān)鍵點(diǎn)的數(shù)據(jù)轉(zhuǎn)換相機(jī)坐標(biāo)系下的三維坐標(biāo)；對(duì)關(guān)鍵點(diǎn)三維坐標(biāo)進(jìn)行繪圖和肢體連接，得到的人體三維骨架圖。
[0030]
在發(fā)明一實(shí)施例中，所述將人體二維關(guān)鍵點(diǎn)的數(shù)據(jù)轉(zhuǎn)換相機(jī)坐標(biāo)系下的三維坐標(biāo)包括：
[0031]
像素坐標(biāo)系轉(zhuǎn)世界坐標(biāo)系，通過(guò)使用形成相應(yīng)像素p的透視變換將場(chǎng)景的3d點(diǎn)p
w
投影到圖像平面中來(lái)獲得場(chǎng)景的視圖；p
w
和p都用齊次坐標(biāo)表示，分別表示3d和2d齊次向量；針孔相機(jī)模型給出的無(wú)畸變投影變換公式如下所示：
[0032]
sp＝a[r∣t]p
w
；
[0033]
其中p
w
是相對(duì)于世界坐標(biāo)系表示的3d點(diǎn)，p是圖像平面中的2d像素，a是相機(jī)固有參數(shù)矩陣，r和t是描述坐標(biāo)從世界到相機(jī)坐標(biāo)系(或相機(jī)幀)變化的旋轉(zhuǎn)和平移，s是投影變換的任意縮放；從像素坐標(biāo)系轉(zhuǎn)換到相機(jī)坐標(biāo)系需要使用相機(jī)的內(nèi)參變換；見(jiàn)下式：
[0034][0035]
在發(fā)明一實(shí)施例中，所述步驟二從運(yùn)動(dòng)幀序列中檢測(cè)健身者的動(dòng)作包括：
[0036]
通過(guò)滑動(dòng)均值濾波或卡爾曼濾波對(duì)關(guān)鍵點(diǎn)三維坐標(biāo)進(jìn)行處理獲得更精確的關(guān)鍵點(diǎn)數(shù)據(jù)，對(duì)人體三維關(guān)鍵點(diǎn)建立3d骨架可視化，并提取人體運(yùn)動(dòng)特征后構(gòu)建數(shù)據(jù)集；最終選取15個(gè)空間距離比例和15個(gè)空間向量的余弦相似度作為特征值。
[0037]
在發(fā)明一實(shí)施例中，所述步驟三識(shí)別健身者的動(dòng)作類(lèi)別包括：
[0038]
在步驟一構(gòu)建的3d骨架化的骨架圖和步驟二選出的運(yùn)動(dòng)特征值的基礎(chǔ)上，訓(xùn)練自定義動(dòng)作的姿態(tài)識(shí)別模型；利用骨架圖訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)動(dòng)作識(shí)別模型，將分類(lèi)好的運(yùn)動(dòng)特征值寫(xiě)好標(biāo)簽則通過(guò)全連接神經(jīng)網(wǎng)絡(luò)訓(xùn)練得到動(dòng)作識(shí)別模型。
[0039]
在發(fā)明一實(shí)施例中，所述步驟四對(duì)健身者動(dòng)作類(lèi)別的運(yùn)動(dòng)標(biāo)準(zhǔn)進(jìn)行標(biāo)注和數(shù)據(jù)處理包括：
[0040]
采集運(yùn)動(dòng)姿態(tài)數(shù)據(jù)集，通過(guò)多組健身動(dòng)作的特征采集，自動(dòng)寫(xiě)入動(dòng)作類(lèi)型的標(biāo)簽，再經(jīng)過(guò)人工的篩選去除不可用數(shù)據(jù)制作動(dòng)作識(shí)別的數(shù)據(jù)集；并對(duì)動(dòng)作識(shí)別的數(shù)據(jù)集進(jìn)行預(yù)測(cè)和評(píng)估。
[0041]
在發(fā)明一實(shí)施例中，所述步驟四對(duì)健身者動(dòng)作類(lèi)別的運(yùn)動(dòng)標(biāo)準(zhǔn)進(jìn)行標(biāo)注和數(shù)據(jù)處理進(jìn)一步包括：
[0042]
在獲得健身者的實(shí)時(shí)健身數(shù)據(jù)的同時(shí)獲得該健身運(yùn)動(dòng)的分類(lèi)標(biāo)簽，將健身者的實(shí)時(shí)運(yùn)動(dòng)幀序列與該標(biāo)準(zhǔn)動(dòng)作的關(guān)鍵幀序列輸入到程序中，進(jìn)行基于dtw算法計(jì)算序列之間的相似度距離，將實(shí)時(shí)獲取的動(dòng)作幀與標(biāo)準(zhǔn)動(dòng)作關(guān)鍵幀對(duì)齊后，比較特征向量的余弦相似度實(shí)現(xiàn)動(dòng)作的評(píng)價(jià)；
[0043]
整個(gè)序列動(dòng)作如下公式矩陣的數(shù)據(jù)集：
[0044][0045]
所述dtw算法進(jìn)行幀對(duì)齊的流程包括：
[0046]
(1)輸入實(shí)時(shí)幀序列f和標(biāo)準(zhǔn)動(dòng)作幀序列h；
[0047]
(2)計(jì)算f中每一個(gè)元素和h中每一個(gè)元素的距離，距離計(jì)算方法為所有特征向量的比例總和，構(gòu)造一個(gè)n*m的距離矩陣，f
i
,h
j
分別為f和h中的任意元素，公式如下：
[0048]
matrix＝(d(f
i
,h
j
),i∈[1,m],j∈[1,n]；
[0049]
(3)基于距離矩陣matrix，采用局部最優(yōu)解的方法找到一條代價(jià)最小的規(guī)劃路徑w，k為路徑的長(zhǎng)度，路徑代價(jià)公式見(jiàn)如下公式：
[0050][0051]
此時(shí)公式中w
k
＝(f
i
,h
j
)為路徑上的第k個(gè)元素，且(f
i
,h
j
)為matrix矩陣中第i行和第j列的元素(i,j)值；
[0052]
(4)計(jì)算以匹配好的實(shí)時(shí)幀和標(biāo)準(zhǔn)動(dòng)作幀的特征向量的差異，選取動(dòng)作關(guān)鍵關(guān)節(jié)角度為評(píng)價(jià)標(biāo)準(zhǔn)，比較實(shí)時(shí)幀和標(biāo)準(zhǔn)動(dòng)作幀的關(guān)節(jié)角度余弦相似度的差異給出動(dòng)作評(píng)價(jià)。
[0053]
根據(jù)本發(fā)明公開(kāi)實(shí)施例的第二方面，提供一種基于人體姿態(tài)識(shí)別的自重健身輔助教練包括：
[0054]
人體骨架化模塊，用于通過(guò)攝像頭實(shí)時(shí)采集彩色幀序列和深度幀序列，在openpose網(wǎng)絡(luò)中得到關(guān)鍵點(diǎn)2d坐標(biāo)，結(jié)合深度幀建立人體關(guān)鍵點(diǎn)的3d坐標(biāo)，將像素坐標(biāo)系
轉(zhuǎn)化為相機(jī)坐標(biāo)系后實(shí)現(xiàn)動(dòng)態(tài)展示；
[0055]
動(dòng)作識(shí)別模塊，用于使用相機(jī)采集多組健身數(shù)據(jù)，進(jìn)行數(shù)據(jù)的初步處理，加工和整合，進(jìn)行數(shù)據(jù)存儲(chǔ)；讀取采集的數(shù)據(jù)并搭建數(shù)據(jù)集，通過(guò)兩種網(wǎng)絡(luò)分別訓(xùn)練數(shù)據(jù)，分別為全連接神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)，得到動(dòng)作分類(lèi)模型；實(shí)時(shí)檢測(cè)健身姿態(tài)計(jì)算空間人體特征距離比例和空間特征向量的余弦相似度，輸入分類(lèi)器得到動(dòng)作的分類(lèi)結(jié)果。
[0056]
動(dòng)作評(píng)估模塊，用于將計(jì)算得到的健身者的健身姿態(tài)特征值輸入dtw算法進(jìn)行幀匹配，計(jì)算動(dòng)作的偏差情況并給予動(dòng)作矯正建議；
[0057]
ui界面，用于實(shí)時(shí)訓(xùn)練展示、教學(xué)視頻展示。
[0058]
根據(jù)本發(fā)明公開(kāi)實(shí)施例的第三方面，提供一種接收用戶輸入程序存儲(chǔ)介質(zhì)，所存儲(chǔ)的計(jì)算機(jī)程序使電子設(shè)備執(zhí)行所述基于人體姿態(tài)識(shí)別的自重健身輔助教練方法。
[0059]
根據(jù)本發(fā)明公開(kāi)實(shí)施例的第四方面，提供一種信息數(shù)據(jù)處理終端，所述信息數(shù)據(jù)處理終端包括存儲(chǔ)器和處理器，所述存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被所述處理器執(zhí)行時(shí)，使得所述處理器執(zhí)行所述基于人體姿態(tài)識(shí)別的自重健身輔助教練方法。
[0060]
本發(fā)明公開(kāi)的實(shí)施例提供的技術(shù)方案可以包括以下有益效果：
[0061]
本發(fā)明旨在利用攝像頭對(duì)健身者的動(dòng)作進(jìn)行捕捉和記錄，在健身訓(xùn)練時(shí)，從運(yùn)動(dòng)幀序列中檢測(cè)健身者的動(dòng)作，通過(guò)提取健身動(dòng)作的運(yùn)動(dòng)幅度，關(guān)節(jié)角度等特征識(shí)別健身者的動(dòng)作類(lèi)別，進(jìn)行健身者運(yùn)動(dòng)標(biāo)準(zhǔn)地評(píng)估和矯正，輔助健身者訓(xùn)練，以此擺脫居家自重健身只依靠經(jīng)驗(yàn)的狀態(tài)，帶給健身者方便專(zhuān)業(yè)的健身指導(dǎo)，規(guī)避不必要的鍛煉損傷和提高健身效率。
[0062]
本發(fā)明致力于姿態(tài)識(shí)別技術(shù)在自重健身領(lǐng)域的應(yīng)用，對(duì)鏡頭中的運(yùn)動(dòng)人體進(jìn)行檢測(cè)和跟蹤，從圖像幀序列中推測(cè)健身者的動(dòng)作，從而在一定意義上實(shí)現(xiàn)達(dá)到分析運(yùn)動(dòng)姿態(tài)、提供訓(xùn)練建議的目的，克服傳統(tǒng)健身中通過(guò)基于肉眼觀察的訓(xùn)練方法，實(shí)現(xiàn)基于人體運(yùn)動(dòng)特征的分析方法。該自重健身輔助教練系統(tǒng)的發(fā)明具有重要的科研價(jià)值和潛在的巨大商業(yè)價(jià)值。
[0063]
本發(fā)明提供的系統(tǒng)目前在windows平臺(tái)和樹(shù)莓派rasbian雙端實(shí)現(xiàn)，windows平臺(tái)幀率可達(dá)10，樹(shù)莓派依賴nsc2加速可達(dá)2.7fps。
[0064]
當(dāng)理解的是，以上的一般描述和后文的細(xì)節(jié)描述僅是示例性和解釋性的，并不能限制本發(fā)明公開(kāi)。
附圖說(shuō)明
[0065]
此處的附圖被并入說(shuō)明書(shū)中并構(gòu)成本說(shuō)明書(shū)的一部分，示出了符合本公開(kāi)的實(shí)施例，并與說(shuō)明書(shū)一起用于解釋本公開(kāi)的原理。
[0066]
圖1是本發(fā)明實(shí)施例提供的基于人體姿態(tài)識(shí)別的自重健身輔助教練方法流程圖。
[0067]
圖2是本發(fā)明實(shí)施例提供的基于人體姿態(tài)識(shí)別的自重健身輔助教練系統(tǒng)示意圖。
[0068]
圖中：1、人體骨架化模塊；2、動(dòng)作識(shí)別模塊；3、動(dòng)作評(píng)估模塊；4、ui界面。
[0069]
圖3是本發(fā)明實(shí)施例提供的基于人體姿態(tài)識(shí)別的自重健身輔助教練系統(tǒng)原理圖。
[0070]
圖4是本發(fā)明實(shí)施例提供的基于人體姿態(tài)識(shí)別的自重健身輔助教練方法原理圖。
[0071]
圖5是本發(fā)明實(shí)施例提供的相機(jī)標(biāo)定簡(jiǎn)單步驟圖。
[0072]
圖6是本發(fā)明實(shí)施例提供的人體二維關(guān)鍵點(diǎn)坐標(biāo)圖。
[0073]
圖7是本發(fā)明實(shí)施例提供的人體三維骨架圖圖。
[0074]
圖8是本發(fā)明實(shí)施例提供的坐標(biāo)系轉(zhuǎn)換過(guò)程示意圖。
[0075]
圖9是本發(fā)明實(shí)施例提供的滑動(dòng)濾波原理圖。
[0076]
圖10是本發(fā)明實(shí)施例提供的卡爾曼濾波進(jìn)行修正原理圖.
[0077]
圖11是本發(fā)明實(shí)施例提供的數(shù)據(jù)采集流程圖。
[0078]
圖12是本發(fā)明實(shí)施例提供的全連接神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖。
[0079]
圖13是本發(fā)明實(shí)施例提供的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖。
[0080]
圖14是本發(fā)明實(shí)施例提供的cnn訓(xùn)練結(jié)果圖.
[0081]
圖15是本發(fā)明實(shí)施例提供的健身動(dòng)作識(shí)別網(wǎng)絡(luò)訓(xùn)練階段流程圖。
具體實(shí)施方式
[0082]
這里將詳細(xì)地對(duì)示例性實(shí)施例進(jìn)行說(shuō)明，其示例表示在附圖中。下面的描述涉及附圖時(shí)，除非另有表示，不同附圖中的相同數(shù)字表示相同或相似的要素。以下示例性實(shí)施例中所描述的實(shí)施方式并不代表與本公開(kāi)相一致的所有實(shí)施方式。相反，它們僅是與如所附權(quán)利要求書(shū)中所詳述的、本公開(kāi)的一些方面相一致的裝置和方法的例子。
[0083]
1.如圖1所示，本發(fā)明公開(kāi)實(shí)施例所提供的基于人體姿態(tài)識(shí)別的自重健身輔助教練方法包括：
[0084]
s101，利用攝像頭對(duì)健身者的動(dòng)作進(jìn)行捕捉和記錄；
[0085]
s102，在健身訓(xùn)練時(shí)，從運(yùn)動(dòng)幀序列中檢測(cè)健身者的動(dòng)作；
[0086]
s103，通過(guò)提取健身動(dòng)作的運(yùn)動(dòng)幅度，關(guān)節(jié)角度等特征識(shí)別健身者的動(dòng)作類(lèi)別，進(jìn)行健身者運(yùn)動(dòng)標(biāo)準(zhǔn)地評(píng)估和矯正，輔助健身者訓(xùn)練。
[0087]
2.下面結(jié)合需求分析及系統(tǒng)總體發(fā)明對(duì)本發(fā)明的技術(shù)方案作進(jìn)一步描述。
[0088]
2.1系統(tǒng)需求分析
[0089]
2.1.1系統(tǒng)功能需求
[0090]
本發(fā)明需要搭建一個(gè)可以識(shí)別自重健身者在家中健身的姿態(tài)并給予指導(dǎo)的系統(tǒng)，整個(gè)系統(tǒng)涉及到的功能包括構(gòu)建點(diǎn)云渲染器，建立3d骨架圖，數(shù)據(jù)采集與標(biāo)注，全連接神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練以及可視化呈現(xiàn)，每個(gè)功能詳細(xì)的需求說(shuō)明如下：
[0091]
(1)點(diǎn)云渲染器：對(duì)intelrealsensed435相機(jī)進(jìn)行標(biāo)定和內(nèi)參讀取，將相機(jī)實(shí)時(shí)捕獲的彩色幀和深度幀對(duì)齊，使用opencv和numpy制作點(diǎn)云渲染器，過(guò)濾無(wú)效深度后繪制三維坐標(biāo)軸和平面柵格，建立相機(jī)坐標(biāo)系，用painter算法繪制點(diǎn)云，從后到前排序點(diǎn)，在視圖空間中獲取按深度值反向排序的索引，忽略越界索引后將點(diǎn)映射到點(diǎn)云中。
[0092]
(2)建立3d骨架圖：搭建openpose環(huán)境，通過(guò)預(yù)訓(xùn)練的body_25模型對(duì)彩色流進(jìn)行關(guān)鍵點(diǎn)檢測(cè)，獲取各個(gè)關(guān)鍵點(diǎn)的坐標(biāo)值和置信度以及heatmap。提取2d關(guān)鍵點(diǎn)坐標(biāo)，捕獲關(guān)鍵點(diǎn)的深度信息，生成人體3d關(guān)鍵點(diǎn)坐標(biāo)，分幀保存后制作關(guān)鍵點(diǎn)的序列幀csv文件并進(jìn)行滑動(dòng)均值濾波處理，將像素坐標(biāo)系轉(zhuǎn)化為相機(jī)坐標(biāo)系，實(shí)現(xiàn)火柴人模型的動(dòng)態(tài)展示。
[0093]
(3)數(shù)據(jù)采集與標(biāo)注：制作數(shù)據(jù)采集界面，實(shí)時(shí)處理捕獲人體骨架圖，檢測(cè)人體3d坐標(biāo)，提取人體健身運(yùn)動(dòng)特征距離和特征角度，保存運(yùn)動(dòng)特征并寫(xiě)入標(biāo)簽，制作訓(xùn)練集。
[0094]
(4)神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練：根據(jù)提取的30個(gè)健身運(yùn)動(dòng)特征構(gòu)建全連接神經(jīng)網(wǎng)絡(luò)模型，根據(jù)生成的骨架圖構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)模型，對(duì)實(shí)時(shí)健身動(dòng)作姿態(tài)實(shí)現(xiàn)動(dòng)作分類(lèi)識(shí)別。
[0095]
(5)可視化呈現(xiàn)：構(gòu)建pyqt界面，實(shí)時(shí)顯示姿態(tài)估計(jì)圖，根據(jù)健身者的運(yùn)動(dòng)姿態(tài)播放實(shí)時(shí)的動(dòng)作視頻指導(dǎo)，比對(duì)健身者健身姿勢(shì)與標(biāo)準(zhǔn)姿勢(shì)的差異，給出相應(yīng)的指導(dǎo)意見(jiàn)。
[0096]
2.1.2系統(tǒng)非功能需求
[0097]
本系統(tǒng)的非功能需求有：系統(tǒng)的性能需求、易用性需求、可擴(kuò)展性需求、正確性需求，健壯性需求等。針對(duì)各個(gè)非功能需求，具體描述如下。
[0098]
(1)測(cè)試環(huán)境：
[0099]
如表1所示，測(cè)試環(huán)境詳細(xì)介紹如下。
[0100]
表1系統(tǒng)測(cè)試環(huán)境
[0101][0102]
(2)性能需求：可以快速地識(shí)別健身者的姿態(tài)，對(duì)于健身動(dòng)作的視頻指導(dǎo)能做到快速反饋，對(duì)于終止訓(xùn)練的指令能快速響應(yīng)，對(duì)于健身動(dòng)作的評(píng)價(jià)和糾正能快速分析，整個(gè)系統(tǒng)無(wú)卡頓現(xiàn)象。
[0103]
(3)易用性需求：界面友好，用戶能輕易上手，標(biāo)題和圖標(biāo)含義明確，健身者能夠便捷操作系統(tǒng)，健身的動(dòng)作評(píng)估信息簡(jiǎn)潔易懂，系統(tǒng)使用者可快速上手。
[0104]
(4)可擴(kuò)展性需求：可識(shí)別的健身動(dòng)作方便擴(kuò)展，模型訓(xùn)練開(kāi)銷(xiāo)小，系統(tǒng)的接口和功能容易擴(kuò)展。
[0105]
(5)正確性需求：全連接神經(jīng)網(wǎng)絡(luò)訓(xùn)練的動(dòng)作識(shí)別模型正確率在90％以上，基于dtw的動(dòng)作匹配評(píng)估正確率在80％左右，整個(gè)系統(tǒng)具備現(xiàn)實(shí)使用價(jià)值。
[0106]
(6)可移植性需求：該系統(tǒng)在windows平臺(tái)進(jìn)行開(kāi)發(fā)和測(cè)試，最終成功移植到樹(shù)莓派rasbian上，并能正確運(yùn)行和返回結(jié)果。
[0107]
2.2系統(tǒng)總體發(fā)明
[0108]
2.2.1系統(tǒng)功能模塊
[0109]
如圖2所示，基于人體姿態(tài)識(shí)別的自重健身輔助教練系統(tǒng)包括四個(gè)模塊，分別為人體骨架化模塊1，動(dòng)作識(shí)別模塊2，動(dòng)作評(píng)估模塊3以及ui界面4。
[0110]
如圖3所示，基于人體姿態(tài)識(shí)別的自重健身輔助教練系統(tǒng)原理圖。
[0111]
人體骨架化模塊1：通過(guò)攝像頭實(shí)時(shí)采集彩色幀序列和深度幀序列，在openpose網(wǎng)絡(luò)中得到關(guān)鍵點(diǎn)2d坐標(biāo)，結(jié)合深度幀建立人體關(guān)鍵點(diǎn)的3d坐標(biāo)，將像素坐標(biāo)系轉(zhuǎn)化為相機(jī)坐標(biāo)系后實(shí)現(xiàn)動(dòng)態(tài)展示。
[0112]
動(dòng)作識(shí)別模塊2：主要使用intelrealsensed435相機(jī)采集多組健身數(shù)據(jù)，進(jìn)行數(shù)據(jù)的初步處理，加工和整合，進(jìn)行數(shù)據(jù)存儲(chǔ)。讀取采集的數(shù)據(jù)并搭建數(shù)據(jù)集，通過(guò)兩種網(wǎng)絡(luò)分別訓(xùn)練數(shù)據(jù)，分別為全連接神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)，得到動(dòng)作分類(lèi)模型。實(shí)時(shí)檢測(cè)健身姿態(tài)計(jì)算空間人體特征距離比例和空間特征向量的余弦相似度，輸入分類(lèi)器得到動(dòng)作的分類(lèi)結(jié)果。
[0113]
動(dòng)作評(píng)估模塊3：將計(jì)算得到的健身者的健身姿態(tài)特征值輸入dtw算法進(jìn)行幀匹配，計(jì)算動(dòng)作的偏差情況并給予動(dòng)作矯正建議。
[0114]
ui界面4，用于實(shí)時(shí)訓(xùn)練展示、教學(xué)視頻展示。
[0115]
2.2.2系統(tǒng)流程
[0116]
整個(gè)系統(tǒng)的流程如圖4所示，首先要讀取并載入相機(jī)參數(shù)，獲取并初步處理d435相機(jī)采集到的彩色圖像和深度圖像，通過(guò)openpose模型獲取人體二維關(guān)鍵點(diǎn)坐標(biāo)并結(jié)合深度信息，實(shí)現(xiàn)人體三維骨架圖的建立，從三維關(guān)鍵點(diǎn)坐標(biāo)中發(fā)明提取運(yùn)動(dòng)特征。將運(yùn)動(dòng)特征輸入分類(lèi)器，判斷當(dāng)前健身動(dòng)作的類(lèi)型，如果該動(dòng)作為停止動(dòng)作，則判斷健身狀態(tài)中斷正在進(jìn)行的健身并執(zhí)行動(dòng)作評(píng)估，若該動(dòng)作為健身動(dòng)作則在判斷狀態(tài)后進(jìn)行相應(yīng)動(dòng)作的健身指導(dǎo)。
[0117]
3.下面結(jié)合動(dòng)作三維姿態(tài)獲取對(duì)本發(fā)明的技術(shù)方案作進(jìn)一步描述。
[0118]
3.1相機(jī)的標(biāo)定
[0119]
首先對(duì)相機(jī)是否校準(zhǔn)進(jìn)行評(píng)估，手持或平放d435攝像頭將其對(duì)準(zhǔn)平面，例如1米外的白色墻壁，注意不能選擇黑色表面。觀察intelrealsenseviewer的深度圖像顯示，肉眼可見(jiàn)有很多黑點(diǎn)，這說(shuō)明相機(jī)未校準(zhǔn)。
[0120]
動(dòng)態(tài)校準(zhǔn)是優(yōu)化外部參數(shù)，也就是說(shuō)，它們是指在用戶環(huán)境中進(jìn)行的現(xiàn)場(chǎng)校準(zhǔn)，用戶干預(yù)最少或不干預(yù)。它們只是相機(jī)圖像相對(duì)于主軸系統(tǒng)(左右之間的軸)的外部參數(shù)(平移和旋轉(zhuǎn))。畸變、視場(chǎng)、主點(diǎn)等固有參數(shù)沒(méi)有進(jìn)行動(dòng)態(tài)標(biāo)定。動(dòng)態(tài)校準(zhǔn)是在假定深度攝像機(jī)在工廠校準(zhǔn)后重新校準(zhǔn)，或至少已知標(biāo)稱參數(shù)的情況下進(jìn)行的。rgb參數(shù)僅適用于帶有rgb顏色傳感器的深度相機(jī)，例如本次實(shí)驗(yàn)所使用的d435深度相機(jī)。
[0121]
intel提供了兩種標(biāo)定的方法：
[0122]
(1)整流校準(zhǔn)：對(duì)準(zhǔn)對(duì)極線以使深度管線正確工作并減少深度圖像中的孔。
[0123]
(2)深度刻度校準(zhǔn)：由于光學(xué)元件位置的變化而對(duì)準(zhǔn)深度框。
[0124]
本發(fā)明選擇第二種，動(dòng)態(tài)校準(zhǔn)器僅支持目標(biāo)校準(zhǔn)，本發(fā)明在這里使用目標(biāo)校準(zhǔn)，因?yàn)樗С中Ｕ蜕疃瓤潭刃?zhǔn)，并且比無(wú)目標(biāo)校準(zhǔn)中僅進(jìn)行校正的校準(zhǔn)將提供更準(zhǔn)確的結(jié)果。在目標(biāo)模式下，動(dòng)態(tài)校準(zhǔn)api支持深度刻度校準(zhǔn)，需要一個(gè)目標(biāo)。目標(biāo)是預(yù)定義的，可以通過(guò)手機(jī)應(yīng)用程序在智能手機(jī)上顯示。相機(jī)標(biāo)定簡(jiǎn)單步驟如圖5所示。
[0125]
在打印好原尺寸的標(biāo)定目標(biāo)后，從鏡頭實(shí)時(shí)地獲取圖像并檢測(cè)目標(biāo)，重復(fù)移動(dòng)目標(biāo)使其覆蓋大部分的圖像以校準(zhǔn)刻度，再拍攝15張照片校準(zhǔn)rgb攝像機(jī)即可完成矯正。
[0126]
3.2圖像的獲取
[0127]
實(shí)驗(yàn)用的深度圖像和彩色圖像是通過(guò)intelrealsensed435攝像頭獲得，該攝像頭在各種光線條件下表現(xiàn)出色，并且可以拍攝距離10米內(nèi)的物體，可以滿足實(shí)驗(yàn)硬件要求。由于本次實(shí)驗(yàn)主要針對(duì)健身者的日常自重健身姿態(tài)的捕獲，所以在實(shí)驗(yàn)室模擬居家環(huán)境采集了三名同學(xué)的健身姿態(tài)。
[0128]
在配置好的流式傳輸管道中分別以z16和bgr8格式來(lái)獲取彩色流和深度流，開(kāi)始流式傳輸后需創(chuàng)建對(duì)齊對(duì)象，執(zhí)行深度幀和彩色幀的對(duì)齊，在流式循環(huán)中按幀讀取數(shù)據(jù)，因?yàn)樯疃葓D是由float16格式讀取，所以要對(duì)深度幀著色處理可以直觀了解深度信息采集結(jié)果。
[0129]
經(jīng)過(guò)單一變量法對(duì)不同通道，不同分辨率和不同設(shè)定幀率等條件的測(cè)試，相機(jī)內(nèi)參與設(shè)定幀率、通道類(lèi)型無(wú)關(guān)，只與分辨率和相機(jī)本身有關(guān)，獲取的相機(jī)參數(shù)如下矩陣所示。
[0130][0131]
在得到彩色圖和深度圖后，配準(zhǔn)過(guò)程中選用的是彩色圖的坐標(biāo)系，所以在合成點(diǎn)云時(shí)也要選用彩色圖的相機(jī)參數(shù)。在點(diǎn)云中要顯示三維加色彩的點(diǎn)云坐標(biāo)，每個(gè)點(diǎn)包含了x，y，z，rgb四個(gè)參數(shù)，這樣可以直接在點(diǎn)云中由關(guān)鍵點(diǎn)的二維坐標(biāo)獲取關(guān)鍵點(diǎn)的3d坐標(biāo)和顏色信息。
[0132]
3.3人體三維骨骼關(guān)節(jié)點(diǎn)的獲取與連接
[0133]
3.3.1三維關(guān)鍵點(diǎn)的獲取
[0134]
在眾多人體姿態(tài)識(shí)別方法中基于深度學(xué)習(xí)的人體姿態(tài)識(shí)別算法深受歡迎，但普遍的基于卷積神經(jīng)網(wǎng)絡(luò)的實(shí)時(shí)性較差，為了保證系統(tǒng)低延遲，本此發(fā)明選用openpose來(lái)獲取人體運(yùn)動(dòng)關(guān)節(jié)二維關(guān)鍵點(diǎn)信息，因?yàn)樵诒ＷC高實(shí)時(shí)性的同時(shí)也能保持高精度。在構(gòu)建好環(huán)境之后，分別調(diào)用檢測(cè)身體的三個(gè)關(guān)鍵點(diǎn)模型，對(duì)比發(fā)現(xiàn)，body_25模型檢測(cè)速度快，識(shí)別準(zhǔn)確率高，是選擇獲取二維關(guān)鍵點(diǎn)坐標(biāo)模型的不二之選。
[0135]
將構(gòu)建好的openpose項(xiàng)目的動(dòng)態(tài)庫(kù)和姿態(tài)檢測(cè)模型導(dǎo)入工程，調(diào)用api接口獲取d435鏡頭中彩色圖像幀即可獲得人體二維關(guān)鍵點(diǎn)坐標(biāo)如圖6所示，這是一幅站立姿態(tài)下采集的二維骨架圖。openpose識(shí)別出來(lái)25個(gè)二維關(guān)鍵點(diǎn)的坐標(biāo)，關(guān)鍵點(diǎn)對(duì)應(yīng)如圖3
?
6所示，其中頭部的關(guān)鍵點(diǎn)包括鼻子，眼睛和耳朵(0,15,16,17,18)，手臂關(guān)鍵點(diǎn)包括(2,3,4,5,6,7)，腿部關(guān)鍵點(diǎn)包括(8,9,10,11,12,13,14)，足部關(guān)鍵點(diǎn)包括(11,14,19,20,21,22,23,24)，依照人體關(guān)節(jié)連接順序連接好各個(gè)關(guān)鍵點(diǎn)便可以得到二維的骨架圖。
[0136]
獲取人體二維關(guān)鍵點(diǎn)坐標(biāo)后，根據(jù)二維關(guān)鍵點(diǎn)像素坐標(biāo)在對(duì)應(yīng)的已對(duì)齊的深度幀中依次獲取各關(guān)鍵點(diǎn)的深度信息，再加上相機(jī)的內(nèi)參矩陣，可以將人體二維關(guān)鍵點(diǎn)的數(shù)據(jù)轉(zhuǎn)為相機(jī)坐標(biāo)系下的三維坐標(biāo)，更能顯示一個(gè)人的真實(shí)姿態(tài)。對(duì)關(guān)鍵點(diǎn)三維坐標(biāo)進(jìn)行繪圖和肢體連接，得到的人體三維骨架圖如圖7所示。
[0137]
3.3.2坐標(biāo)系的轉(zhuǎn)換
[0138]
像素坐標(biāo)系轉(zhuǎn)世界坐標(biāo)系，通過(guò)使用形成相應(yīng)像素p的透視變換將場(chǎng)景的3d點(diǎn)p
w
投影到圖像平面中來(lái)獲得場(chǎng)景的視圖。p
w
和p都用齊次坐標(biāo)表示，即分別表示3d和2d齊次向量。針孔相機(jī)模型給出的無(wú)畸變投影變換公式如(3
?
1)所示：
[0139]
sp＝a[r∣t]p
w
?????????????????????????
(3
?
1)
[0140]
其中p
w
是相對(duì)于世界坐標(biāo)系表示的3d點(diǎn)，p是圖像平面中的2d像素，a是相機(jī)固有參數(shù)矩陣，r和t是描述坐標(biāo)從世界到相機(jī)坐標(biāo)系(或相機(jī)幀)變化的旋轉(zhuǎn)和平移，s是投影變換的任意縮放，而不是相機(jī)模型的一部分。從像素坐標(biāo)系轉(zhuǎn)換到相機(jī)坐標(biāo)系需要使用相機(jī)的內(nèi)參變換。見(jiàn)式(3
?
2)：
[0141][0142]
轉(zhuǎn)換過(guò)程示意圖如圖8所示.
[0143]
3.3.3滑動(dòng)均值濾波和卡爾曼濾波
[0144]
由于健身動(dòng)作的識(shí)別是從獲取的視頻中提取運(yùn)動(dòng)的特征，在動(dòng)作幀序列間存在時(shí)空的約束，連續(xù)幀之間彼此影響，在進(jìn)行動(dòng)作識(shí)別時(shí)，openpose提取算法會(huì)有誤差，例如沒(méi)有檢測(cè)到耳朵或?qū)⑹植孔R(shí)別為手肘等問(wèn)題，利用幀序列間的時(shí)空約束，可以對(duì)人體關(guān)節(jié)的位置進(jìn)行修正，這里采用滑動(dòng)均值濾波和卡爾曼濾波狀態(tài)估計(jì)法?；瑒?dòng)均值濾波是采用時(shí)間窗的方式對(duì)采取的臨近幀進(jìn)行滑動(dòng)均值處理，而卡爾曼濾波通過(guò)觀測(cè)值和預(yù)測(cè)值不斷地對(duì)卡爾曼方程進(jìn)行調(diào)整，消除噪聲。以站立不動(dòng)狀態(tài)下人體中臀關(guān)鍵點(diǎn)在像素坐標(biāo)系下x值隨時(shí)間的變化為例,在openpose的觀測(cè)值、卡爾曼濾波的預(yù)測(cè)值、滑動(dòng)均值濾波的預(yù)測(cè)值中，滑動(dòng)均值濾波修正了數(shù)據(jù)的異常波動(dòng)，可對(duì)異常值進(jìn)行臨近幀的均值處理，處理的精度受fps和滑動(dòng)的窗口數(shù)影響?？柭鼮V波的預(yù)測(cè)值在前200幀并不可信，隨著幀數(shù)的增加，預(yù)測(cè)值逐漸平穩(wěn)并在準(zhǔn)確值方面優(yōu)于均值濾波的處理結(jié)果。
[0145]
滑動(dòng)均值濾波在緩沖區(qū)按順序存放4條人體三維關(guān)鍵點(diǎn)數(shù)據(jù)，每次有新的關(guān)鍵點(diǎn)數(shù)據(jù)進(jìn)來(lái)則彈出最早進(jìn)入的關(guān)鍵點(diǎn)數(shù)據(jù)，之后計(jì)算隊(duì)列中的數(shù)據(jù)的平均值，這樣每當(dāng)采集到一幀新的關(guān)鍵點(diǎn)數(shù)據(jù)就可以計(jì)算出一個(gè)新的修正值，相較于卡爾曼濾波處理速度更快?；瑒?dòng)均值濾波的關(guān)鍵是每當(dāng)有新的一組三維關(guān)鍵點(diǎn)數(shù)據(jù)進(jìn)入，就移動(dòng)一次數(shù)據(jù)塊計(jì)算新一組數(shù)據(jù)的平均值，其原理如圖9所示。
[0146]
卡爾曼濾波應(yīng)用很廣，在處理很多的問(wèn)題時(shí)表現(xiàn)較優(yōu)，是效率很高的濾波器，其主要包括預(yù)測(cè)和更新兩步。關(guān)鍵在根據(jù)當(dāng)前的三維關(guān)鍵點(diǎn)坐標(biāo)的測(cè)量值和上一幀的預(yù)測(cè)值和誤差，求得當(dāng)前時(shí)刻的最優(yōu)值，再預(yù)測(cè)下一刻的關(guān)鍵點(diǎn)坐標(biāo)。在不確定實(shí)時(shí)運(yùn)動(dòng)信息的動(dòng)態(tài)系統(tǒng)中使用卡爾曼濾波是非常理想的，即便伴隨著各種干擾，卡爾曼濾波也可以對(duì)系統(tǒng)的下一刻走向做出良好的預(yù)測(cè)?？柭鼮V波對(duì)本系統(tǒng)進(jìn)行修正原理如圖10。
[0147]
其中系統(tǒng)狀態(tài)為三維關(guān)鍵點(diǎn)的坐標(biāo)以及各關(guān)鍵點(diǎn)的運(yùn)動(dòng)速度，h為觀測(cè)矩陣，q為狀態(tài)變化的不確定性，x表示系統(tǒng)的最優(yōu)估計(jì)值，p為系統(tǒng)的協(xié)方差，r為測(cè)試過(guò)程中的不確定性，k表示卡爾曼濾波增益，i為單位矩陣。
[0148]
(1)卡爾曼濾波由k
?
1時(shí)刻對(duì)k時(shí)刻狀態(tài)進(jìn)行估計(jì)，見(jiàn)式(3
?
3)。其中為k時(shí)刻的預(yù)測(cè)值，x
k
?1為k
?
1時(shí)刻的最優(yōu)估計(jì)值。
[0149][0150]
其中f為狀態(tài)轉(zhuǎn)移矩陣，設(shè)為：
[0151][0152]
(2)得到后，需要更新協(xié)方差，公式如下：
[0153][0154]
(3)綜合系統(tǒng)的觀測(cè)值z(mì)
k
和求得的預(yù)測(cè)值求解當(dāng)前幀三維關(guān)鍵點(diǎn)位置的最優(yōu)估計(jì)值x
k
公式如下：
[0155][0156]
(4)求解卡爾曼濾波增益公式如下：
[0157][0158]
(5)求解誤差協(xié)方差公式如下：
[0159][0160]
3.3.4健身動(dòng)作3d骨架可視化
[0161]
搭建openpose環(huán)境，通過(guò)預(yù)訓(xùn)練的body_25模型對(duì)彩色流進(jìn)行關(guān)鍵點(diǎn)檢測(cè)，每讀取一幀便向姿態(tài)檢測(cè)模型輸入一幀，接收其返回值，可以得到人體各個(gè)關(guān)鍵點(diǎn)的坐標(biāo)值等信息，將像素坐標(biāo)系下的2d關(guān)鍵點(diǎn)坐標(biāo)提取出來(lái)，找到對(duì)齊的深度圖像中并獲取各個(gè)關(guān)鍵點(diǎn)的深度信息，恢復(fù)人體3d關(guān)鍵點(diǎn)坐標(biāo)并保存骨架序列幀，分幀保存后制作關(guān)鍵點(diǎn)的序列幀csv文件并進(jìn)行均值濾波處理，將像素坐標(biāo)系下的關(guān)鍵點(diǎn)信息轉(zhuǎn)化為相機(jī)坐標(biāo)系，并將關(guān)鍵點(diǎn)相連恢復(fù)肢體，實(shí)現(xiàn)火柴人模型的動(dòng)態(tài)展示。
[0162]
3.4特征向量的發(fā)明和計(jì)算
[0163]
在健身動(dòng)作識(shí)別之前，為了簡(jiǎn)化網(wǎng)絡(luò)結(jié)構(gòu)，方便快速精準(zhǔn)地識(shí)別健身動(dòng)作，先進(jìn)行特征提取就變得至關(guān)重要。目前已完成8個(gè)動(dòng)作數(shù)據(jù)的采集，包括站立、走路2個(gè)日常動(dòng)作和深蹲、俯臥撐、箭步蹲、四點(diǎn)支撐、側(cè)向開(kāi)合5個(gè)自重健身動(dòng)作以及1個(gè)停止的標(biāo)志動(dòng)作。特征提取的關(guān)鍵就在于從含有大量無(wú)關(guān)信息的圖像或幀序列中挑選特征性強(qiáng)，易于區(qū)分的信息來(lái)描述健身動(dòng)作。在選取健身特征時(shí)要做到來(lái)自同一個(gè)健身動(dòng)作的不同樣本的特征要相像，而不同類(lèi)別健身動(dòng)作的樣本特征就要差別盡量大。健身動(dòng)作特征選取如表2所示。
[0164]
表2健身動(dòng)作特征選取
[0165]
[0166][0167]
特征選擇的標(biāo)準(zhǔn)好，后續(xù)分類(lèi)和評(píng)估的工作就可以簡(jiǎn)化優(yōu)化。在多次測(cè)試和修正后，最終選定了30個(gè)特征向量作為健身動(dòng)作分類(lèi)器的輸入特征，選取空間關(guān)鍵點(diǎn)的距離和脊柱的長(zhǎng)度比例作為距離特征，其在不同健身動(dòng)作中差異很大，易于區(qū)分鑒別，比如雙手之間的距離比例，在站立、側(cè)向開(kāi)合運(yùn)動(dòng)和深蹲中的有明顯區(qū)別。
[0168]
在用d435鏡頭采集健身數(shù)據(jù)時(shí)，保存骨架圖和運(yùn)動(dòng)特征的同時(shí)也寫(xiě)入了健身動(dòng)作的類(lèi)別標(biāo)簽，方便在模型的訓(xùn)練階段快速完成數(shù)據(jù)集的準(zhǔn)備。
[0169]
每一個(gè)特征距離由兩個(gè)空間關(guān)鍵點(diǎn)的歐式距離除以脖子到中臀的歐式距離來(lái)作為特征，盡可能地消除行為人距離鏡頭的距離和體態(tài)差異的影響。關(guān)鍵點(diǎn)角度的特征選取是觀察健身動(dòng)作中較為頻繁且有明顯變化的角度，先計(jì)算三個(gè)關(guān)鍵點(diǎn)產(chǎn)生的兩個(gè)空間向量，再用兩個(gè)向量的余弦相似度作為運(yùn)動(dòng)特征?？臻g距離和角度共30個(gè)特征作為自重健身動(dòng)作識(shí)別和評(píng)估的關(guān)鍵，選取很重要，本發(fā)明選取的30個(gè)特征經(jīng)過(guò)多次測(cè)試和反復(fù)驗(yàn)證最
終確定。
[0170]
3.5數(shù)據(jù)采集
[0171]
優(yōu)質(zhì)的數(shù)據(jù)集對(duì)于模型的訓(xùn)練至關(guān)重要，健身者自重健身姿態(tài)三維關(guān)鍵點(diǎn)數(shù)據(jù)集的構(gòu)建，是進(jìn)行后續(xù)發(fā)明的基礎(chǔ)，對(duì)于實(shí)現(xiàn)系統(tǒng)動(dòng)作識(shí)別和動(dòng)作評(píng)估有重要意義。在經(jīng)過(guò)多次采集，共構(gòu)建了800多幀健身者的姿態(tài)數(shù)據(jù)，其中骨架圖和提取的運(yùn)動(dòng)特征是一一對(duì)應(yīng)的關(guān)系。
[0172]
數(shù)據(jù)集的構(gòu)建由骨架圖數(shù)據(jù)集和運(yùn)動(dòng)特征數(shù)據(jù)集兩部分組成，搭建數(shù)據(jù)采集界面方便逐幀的采集數(shù)據(jù)，自動(dòng)保存標(biāo)簽和數(shù)據(jù)之后由骨架圖人工進(jìn)行篩選過(guò)濾掉未能準(zhǔn)確識(shí)別出人體運(yùn)動(dòng)姿態(tài)的數(shù)據(jù)。制作好的骨架圖數(shù)據(jù)集。
[0173]
數(shù)據(jù)采集過(guò)程包括彩色和深度圖像的獲取，圖像的初步處理和三維關(guān)鍵點(diǎn)的獲取，健身動(dòng)作特征的提取和數(shù)據(jù)集的建立等，其步驟可見(jiàn)圖11。
[0174]
大批次采集數(shù)據(jù)，寫(xiě)入數(shù)據(jù)的標(biāo)簽和人工篩選是非常耗費(fèi)人力和時(shí)間的，為了簡(jiǎn)化大規(guī)模數(shù)據(jù)采集的流程，方便隨時(shí)補(bǔ)充數(shù)據(jù)，制作一個(gè)健身動(dòng)作數(shù)據(jù)采集系統(tǒng)就顯得尤為重要。
[0175]
該系統(tǒng)共有三個(gè)畫(huà)面窗口，分別顯示d435相機(jī)捕獲的彩色幀序列，人體二維關(guān)鍵點(diǎn)骨架圖和保存的rgb背景圖片，采集圖片的同時(shí)也計(jì)算人體三維關(guān)鍵點(diǎn)坐標(biāo)，進(jìn)行特征提取后將特征和標(biāo)簽一同寫(xiě)入訓(xùn)練集文件中。
[0176]
本發(fā)明描述了系統(tǒng)是如何獲得和處理數(shù)據(jù)的。首先通過(guò)深度刻度校準(zhǔn)實(shí)現(xiàn)深度相機(jī)的標(biāo)定，以提高鏡頭采集數(shù)據(jù)的精度。其次分析了系統(tǒng)如何獲取彩色圖像和深度圖像，圖片經(jīng)過(guò)處理后傳入openpose網(wǎng)絡(luò)得到人體二維關(guān)鍵點(diǎn)坐標(biāo)，結(jié)合深度信息形成人體三維關(guān)鍵點(diǎn)數(shù)據(jù)，通過(guò)滑動(dòng)均值濾波或卡爾曼濾波對(duì)數(shù)據(jù)進(jìn)行處理以獲得更精確的關(guān)鍵點(diǎn)數(shù)據(jù)，對(duì)人體三維關(guān)鍵點(diǎn)建立3d骨架可視化，發(fā)明并提取人體運(yùn)動(dòng)特征后構(gòu)建數(shù)據(jù)集。
[0177]
4.下面結(jié)合動(dòng)作識(shí)別分類(lèi)器的發(fā)明與實(shí)現(xiàn)對(duì)本發(fā)明的技術(shù)方案作進(jìn)一步描述。
[0178]
4.1基于全連接神經(jīng)網(wǎng)絡(luò)的動(dòng)作識(shí)別
[0179]
本發(fā)明共有四層神經(jīng)網(wǎng)絡(luò)，輸入層為30個(gè)運(yùn)動(dòng)特征向量，第一層隱藏層一共發(fā)明了200個(gè)神經(jīng)元，第二層隱藏層是300個(gè)神經(jīng)元，第三層隱藏層是100個(gè)神經(jīng)元，輸出維度是24。其結(jié)構(gòu)如圖12。
[0180]
全連接神經(jīng)網(wǎng)絡(luò)中選取的激活函數(shù)為relu函數(shù)，見(jiàn)下式(4
?
1)：
[0181]
f(x)＝max(0,x)
???????????????????????
(4
?
1)
[0182]
激活函數(shù)是一種信息處理手段，又稱非線性函數(shù)，常見(jiàn)的激活函數(shù)有s型生長(zhǎng)曲線，雙曲正切函數(shù)和修正線性單元等等。激活函數(shù)可以增加神經(jīng)網(wǎng)絡(luò)的非線性，選擇修正線性單元的原因是其可以在隨機(jī)梯度下降中快速收斂，當(dāng)輸入大于0時(shí)其導(dǎo)數(shù)始終等于1，在保持低計(jì)算復(fù)雜度的同時(shí)有效減少了梯度消失的問(wèn)題。損失函數(shù)則選擇基于歸一化指數(shù)函數(shù)的交叉熵函數(shù)，本質(zhì)上是對(duì)有限個(gè)離散概率分布的梯度對(duì)數(shù)歸一化，其在多分類(lèi)問(wèn)題中被廣泛應(yīng)用，表達(dá)式如下式(4
?
2)：
[0183][0184]
本發(fā)明使用的優(yōu)化器是adam，adam于2014年末被提出，它結(jié)合了adagrad和
rmsprop兩種優(yōu)化算法的優(yōu)點(diǎn)，也做了一些自己的創(chuàng)新，對(duì)梯度的均值和方差進(jìn)行綜合考慮，計(jì)算出更新步長(zhǎng)。adam易于實(shí)現(xiàn)，節(jié)約計(jì)算資源，并且超參數(shù)幾乎無(wú)需調(diào)整，在很多情況下工作表現(xiàn)優(yōu)秀。
[0185]
4.2基于卷積神經(jīng)網(wǎng)絡(luò)的動(dòng)作識(shí)別
[0186]
本發(fā)明的目的是識(shí)別健身者當(dāng)前進(jìn)行的健身動(dòng)作的類(lèi)別，為后續(xù)動(dòng)作評(píng)估做準(zhǔn)備。卷積神經(jīng)網(wǎng)絡(luò)主要應(yīng)用于圖像處理，本發(fā)明中數(shù)據(jù)采集時(shí)保存的二維動(dòng)作骨架圖可以看成含有三個(gè)顏色通道的二維矩陣，在此卷積的主要功能是給骨架圖上滑動(dòng)一個(gè)卷積核，通過(guò)計(jì)算后得到一組新的特征。因?yàn)橛?xùn)練集的骨架圖在采集時(shí)都處理成尺寸相同的圖片，在此不需要再次處理就可以輸入網(wǎng)絡(luò)，健身動(dòng)作的骨架圖會(huì)被切割成眾多局部特征，其結(jié)構(gòu)如圖13所示.
[0187]
本發(fā)明通過(guò)從深度相機(jī)的彩色幀序列中識(shí)別出健身者的二維關(guān)鍵點(diǎn)坐標(biāo)，將坐標(biāo)相連接為骨骼形成健身動(dòng)作骨架圖，若是選用全連接神經(jīng)網(wǎng)絡(luò)訓(xùn)練骨架圖的話，輸入層神經(jīng)元總數(shù)會(huì)非常多，權(quán)重函數(shù)也過(guò)于多，會(huì)導(dǎo)致訓(xùn)練效率較低。
[0188]
準(zhǔn)備好骨架圖數(shù)據(jù)集后，需要對(duì)訓(xùn)練方式進(jìn)行設(shè)置，本發(fā)明選擇以批次為2，每次迭代的批次樣本順序隨機(jī)變動(dòng)，迭代次數(shù)為4進(jìn)行訓(xùn)練。
[0189]
在訓(xùn)練cnn網(wǎng)絡(luò)動(dòng)作識(shí)別模型之前，有必要介紹一下卷積核函數(shù)。卷積核就是一個(gè)權(quán)值矩陣，它有很多種，比較常見(jiàn)的有identity，edgedetection,sharpen,boxblur,gaussianblur等，在第一層卷積層上，我們選用一個(gè)3*3的卷積核在像素大小為480*640圖像上移動(dòng)窗口，每次都將窗口與卷積核進(jìn)行卷積運(yùn)算，并將所得值依次填入新矩陣中，這個(gè)新矩陣就是特征圖，用來(lái)判斷原始圖中對(duì)應(yīng)位置與卷積核的匹配度。從左到右，從上到下移動(dòng)窗口進(jìn)行卷積運(yùn)算，得到的特征圖作為后續(xù)卷積層的輸入。特征圖和輸入的健身動(dòng)作骨架圖看起來(lái)相像，是因?yàn)殛P(guān)節(jié)點(diǎn)附近的特征值更高。
[0190]
與全連接神經(jīng)網(wǎng)絡(luò)一樣，卷積神經(jīng)網(wǎng)絡(luò)也需要使用激活函數(shù)來(lái)增加非線性特征，本發(fā)明選取常用的relu激活函數(shù)舍棄負(fù)相關(guān)的數(shù)據(jù)，使特征矩陣更加稀疏，提高效率。但這還遠(yuǎn)遠(yuǎn)不夠，我們還需要通過(guò)池化層進(jìn)一步削減數(shù)據(jù)量。
[0191]
在卷積網(wǎng)絡(luò)中選擇最大池化層來(lái)做圖像的處理，將特征圖片輸入池化層，可以得到池化過(guò)的尺寸更小的特征圖片。池化層能在保留骨架圖的特征的前提下通過(guò)將圖片變小來(lái)實(shí)現(xiàn)降維，提高健身動(dòng)作分類(lèi)器的運(yùn)行效率。當(dāng)動(dòng)作骨架圖通過(guò)三層卷積層和一層全連接層后對(duì)所有的特征值進(jìn)行投票，識(shí)別完成后輸出健身動(dòng)作類(lèi)別結(jié)果。
[0192]
通過(guò)訓(xùn)練樣本，反向傳播會(huì)對(duì)各個(gè)層的權(quán)重進(jìn)行調(diào)整，經(jīng)過(guò)8個(gè)迭代周期識(shí)別準(zhǔn)確率逐步提高，圖14展示了迭代過(guò)程中損失值(圖14(a)和準(zhǔn)確率的變化(圖14(b))。
[0193]
圖15為健身動(dòng)作識(shí)別網(wǎng)絡(luò)訓(xùn)練階段流程圖，每次迭代都會(huì)隨機(jī)變動(dòng)批次樣本順序，在前向傳播的過(guò)程中計(jì)算損失函數(shù)差值，若不滿足所設(shè)閾值則通過(guò)反向傳播更新參數(shù)，進(jìn)入下一次迭代，直至訓(xùn)練完成(損失函數(shù)差值小于閾值或迭代次數(shù)超過(guò)上限)。
[0194]
4.3動(dòng)作識(shí)別測(cè)試
[0195]
訓(xùn)練好全連接神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)的動(dòng)作識(shí)別模型后，模擬居家環(huán)境對(duì)模型進(jìn)行測(cè)試，共兩名同學(xué)參與測(cè)試，每組環(huán)境每人測(cè)試10次，測(cè)試結(jié)果記錄如表3。
[0196]
表3動(dòng)作識(shí)別模型測(cè)試結(jié)果
[0197][0198]
由測(cè)試結(jié)果可見(jiàn)，針對(duì)此健身動(dòng)作識(shí)別發(fā)明的cnn模型在識(shí)別準(zhǔn)確率上遠(yuǎn)不及全連接神經(jīng)網(wǎng)絡(luò)模型，一方面原因是cnn的數(shù)據(jù)集為2d骨架圖數(shù)據(jù)，而全連接的數(shù)據(jù)集為3d姿態(tài)提取的運(yùn)動(dòng)特征，比起骨架圖更能描述健身者的運(yùn)動(dòng)姿態(tài)，另一方面原因是訓(xùn)練集的規(guī)模太小，沒(méi)有大批次的采集健身者的運(yùn)動(dòng)數(shù)據(jù)導(dǎo)致cnn網(wǎng)絡(luò)模型訓(xùn)練不完善。
[0199]
針對(duì)不同環(huán)境條件對(duì)比可知，在光線良好，健身者全身無(wú)遮擋，側(cè)面面對(duì)攝像頭時(shí)識(shí)別的準(zhǔn)確率相對(duì)較高，存在外界光線干擾，雜物遮擋或自身遮擋則會(huì)在不同程度上影響動(dòng)作識(shí)別的準(zhǔn)確率。在識(shí)別健身者做的動(dòng)作的同時(shí)會(huì)自動(dòng)播放健身指導(dǎo)視頻和語(yǔ)音指導(dǎo)健身者健身，如果健身者在當(dāng)前進(jìn)行中的健身動(dòng)作訓(xùn)練完成前退出或休息，只需擺出提前預(yù)設(shè)好的停止動(dòng)作，系統(tǒng)即可暫停當(dāng)前訓(xùn)練。
[0200]
本發(fā)明通過(guò)兩種方法實(shí)現(xiàn)分類(lèi)預(yù)測(cè)，分別是全連接神經(jīng)網(wǎng)絡(luò)模型和卷積神經(jīng)網(wǎng)絡(luò)模型。通過(guò)采集的健身動(dòng)作數(shù)據(jù)集自定義網(wǎng)絡(luò)參數(shù)，選擇合適的激活函數(shù)和損失函數(shù)等來(lái)訓(xùn)練網(wǎng)絡(luò)模型，經(jīng)過(guò)測(cè)試在現(xiàn)階段全連接神經(jīng)網(wǎng)絡(luò)訓(xùn)練的健身動(dòng)作分類(lèi)器表現(xiàn)更為出色，卷積神經(jīng)網(wǎng)絡(luò)仍需進(jìn)一步完善，數(shù)據(jù)集仍需大規(guī)模采集。
[0201]
5.下面結(jié)合基于dtw的動(dòng)作評(píng)價(jià)對(duì)本發(fā)明技術(shù)方案作進(jìn)一步描述。
[0202]
5.1本發(fā)明將利用獲取的運(yùn)動(dòng)標(biāo)簽和保存的實(shí)時(shí)健身特征向量來(lái)實(shí)現(xiàn)對(duì)于健身者實(shí)時(shí)的健身動(dòng)作和標(biāo)準(zhǔn)健身動(dòng)作的差異比價(jià)和評(píng)價(jià)。
[0203]
5.2序列幀的對(duì)齊與動(dòng)作評(píng)價(jià)
[0204]
在3d關(guān)鍵點(diǎn)坐標(biāo)形式下，運(yùn)動(dòng)可以由健身者的運(yùn)動(dòng)特征值的時(shí)間序列表示，本發(fā)明對(duì)于動(dòng)作評(píng)價(jià)功能的實(shí)現(xiàn)就是通過(guò)在各時(shí)間節(jié)點(diǎn)關(guān)鍵點(diǎn)坐標(biāo)形成的特征向量，并基于動(dòng)態(tài)時(shí)間規(guī)劃對(duì)特征向量進(jìn)行動(dòng)作幀的對(duì)齊，在保存動(dòng)作時(shí)序特征的基礎(chǔ)上能有效地做出評(píng)價(jià)。
[0205]
每個(gè)健身動(dòng)作有數(shù)量不等的關(guān)鍵幀，如俯臥撐動(dòng)作的關(guān)鍵幀為直臂支撐幀和曲臂最大角度支撐幀，標(biāo)準(zhǔn)動(dòng)作關(guān)鍵幀的采集和選取現(xiàn)階段需人工判斷是否為標(biāo)準(zhǔn)動(dòng)作以及是否為該動(dòng)作的關(guān)鍵幀。標(biāo)準(zhǔn)動(dòng)作的選取有兩種思路，一是選取所有同種采集健身動(dòng)作關(guān)鍵幀的平均值，二是以某一個(gè)自選取的關(guān)鍵幀為關(guān)鍵動(dòng)作?？紤]到參與數(shù)據(jù)采集的同學(xué)大多姿勢(shì)不標(biāo)準(zhǔn)，所以在該系統(tǒng)實(shí)現(xiàn)中選取主觀判斷最為標(biāo)準(zhǔn)的一幀作為該動(dòng)作的標(biāo)準(zhǔn)動(dòng)作關(guān)
鍵幀。選取好一個(gè)標(biāo)準(zhǔn)動(dòng)作的關(guān)鍵幀后，將該動(dòng)作所有選取的關(guān)鍵幀計(jì)算得出的特征向量存儲(chǔ)到矩陣中，作為該標(biāo)準(zhǔn)動(dòng)作的關(guān)鍵幀序列。
[0206]
在獲得健身者的實(shí)時(shí)健身數(shù)據(jù)的同時(shí)獲得該健身運(yùn)動(dòng)的分類(lèi)標(biāo)簽，將健身者的實(shí)時(shí)運(yùn)動(dòng)幀序列與該標(biāo)準(zhǔn)動(dòng)作的關(guān)鍵幀序列輸入到程序中，進(jìn)行基于dtw算法計(jì)算序列之間的相似度距離，將實(shí)時(shí)獲取的動(dòng)作幀與標(biāo)準(zhǔn)動(dòng)作關(guān)鍵幀對(duì)齊后，比較特征向量的余弦相似度來(lái)實(shí)現(xiàn)動(dòng)作的評(píng)價(jià)。
[0207]
整個(gè)序列動(dòng)作可以看成是如下公式矩陣的數(shù)據(jù)集。
[0208][0209]
dtw算法進(jìn)行幀對(duì)齊的流程包括：
[0210]
(1)輸入實(shí)時(shí)幀序列f和標(biāo)準(zhǔn)動(dòng)作幀序列h
[0211]
(2)計(jì)算f中每一個(gè)元素和h中每一個(gè)元素的距離，距離計(jì)算方法為所有特征向量的比例總和，構(gòu)造一個(gè)n*m的距離矩陣，f
i
，h
j
分別為f和h中的任意元素，公式如下：
[0212]
matrix＝(d(f
i
，h
j
)，i∈[1，m]，j∈[1，n]
????????????
(5
?
2)
[0213]
(3)基于距離矩陣matrix，采用局部最優(yōu)解的方法找到一條代價(jià)最小的規(guī)劃路徑w，k為路徑的長(zhǎng)度，路徑代價(jià)公式見(jiàn)如下公式：
[0214][0215]
此時(shí)公式中w
k
＝(f
i
，h
j
)為路徑上的第k個(gè)元素，且(f
i
，h
j
)為matrix矩陣中第i行和第j列的元素(i，j)值。
[0216]
(4)計(jì)算以匹配好的實(shí)時(shí)幀和標(biāo)準(zhǔn)動(dòng)作幀的特征向量的差異，選取動(dòng)作關(guān)鍵關(guān)節(jié)角度為評(píng)價(jià)標(biāo)準(zhǔn)，比較實(shí)時(shí)幀和標(biāo)準(zhǔn)動(dòng)作幀的關(guān)節(jié)角度余弦相似度的差異給出動(dòng)作評(píng)價(jià)。
[0217]
以側(cè)向開(kāi)合動(dòng)作為例，標(biāo)準(zhǔn)動(dòng)作關(guān)鍵幀選用a同學(xué)的健身動(dòng)作數(shù)據(jù)，實(shí)時(shí)測(cè)試動(dòng)作選用b同學(xué)的健身動(dòng)作數(shù)據(jù)，兩者以各自的經(jīng)驗(yàn)理解做出健身動(dòng)作進(jìn)行數(shù)據(jù)采集。
[0218]
本發(fā)明首先是標(biāo)準(zhǔn)動(dòng)作關(guān)鍵幀的選取，采用人工采集的方法建立每個(gè)健身動(dòng)作的標(biāo)準(zhǔn)動(dòng)作幀特征矩陣，在實(shí)時(shí)獲取當(dāng)前幀序列的運(yùn)動(dòng)特征，通過(guò)dtw算法求得兩者的幀匹配結(jié)果，計(jì)算關(guān)節(jié)角度余弦相似度的比較給出運(yùn)動(dòng)評(píng)價(jià)和糾正建議。
[0219]
綜上所述，本發(fā)明基于人體的姿態(tài)識(shí)別，以自重健身輔助系統(tǒng)為目的。通過(guò)intel realsense d435攝像頭實(shí)時(shí)地獲取自重健身者的健身動(dòng)態(tài)視頻，對(duì)健身者的動(dòng)作進(jìn)行捕獲和分析，進(jìn)行人體姿態(tài)估計(jì)，建立人體骨架關(guān)節(jié)點(diǎn)幀序列，提取計(jì)算動(dòng)作的特征向量，來(lái)描述健身者的動(dòng)作姿態(tài)。從實(shí)時(shí)幀序列中判斷健身者的健身動(dòng)作，對(duì)運(yùn)動(dòng)特征進(jìn)行匹配和比較，實(shí)現(xiàn)了對(duì)自重健身者健身動(dòng)作是否標(biāo)準(zhǔn)的評(píng)判，提出改正方法輔助健身者訓(xùn)練，從此自重健身訓(xùn)練也可以不再僅依靠經(jīng)驗(yàn)，實(shí)時(shí)接受自重健身輔助教練系統(tǒng)的健身分析指導(dǎo)。
[0220]
本發(fā)明主要積極效果：
[0221]
對(duì)intel realsense相機(jī)完成標(biāo)定，獲取彩色圖像和深度圖像并構(gòu)建點(diǎn)云渲染器，將平面點(diǎn)轉(zhuǎn)化為空間點(diǎn)表示，通過(guò)openpose獲取健身動(dòng)作序列幀中人體的二維骨架關(guān)節(jié)點(diǎn)信息，結(jié)合深度信息將關(guān)鍵點(diǎn)轉(zhuǎn)化為3d坐標(biāo)，實(shí)現(xiàn)健身動(dòng)作的3d可視化，更好地表示健身者的姿態(tài)。
[0222]
運(yùn)動(dòng)特征的提取，針對(duì)每一個(gè)健身動(dòng)作選取動(dòng)作規(guī)范的特征，如關(guān)節(jié)角度，肢體朝
向，運(yùn)動(dòng)幅度，動(dòng)作速度等，建立評(píng)價(jià)的標(biāo)準(zhǔn)。
[0223]
構(gòu)建健身者自重健身數(shù)據(jù)集，發(fā)明全連接神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練動(dòng)作識(shí)別的模型，可以快速準(zhǔn)確的識(shí)別健身動(dòng)作姿態(tài)，同時(shí)基于dtw算法實(shí)現(xiàn)對(duì)健身動(dòng)作的評(píng)估和糾正。
[0224]
系統(tǒng)目前在windows平臺(tái)和樹(shù)莓派rasbian雙端實(shí)現(xiàn)，windows平臺(tái)幀率可達(dá)10，樹(shù)莓派依賴nsc2加速可達(dá)2.7fps。
[0225]
本領(lǐng)域技術(shù)人員在考慮說(shuō)明書(shū)及實(shí)踐這里公開(kāi)的公開(kāi)后，將容易想到本公開(kāi)的其它實(shí)施方案。本技術(shù)旨在涵蓋本公開(kāi)的任何變型、用途或者適應(yīng)性變化，這些變型、用途或者適應(yīng)性變化遵循本公開(kāi)的一般性原理并包括本公開(kāi)未公開(kāi)的本技術(shù)領(lǐng)域中的公知常識(shí)或慣用技術(shù)手段。說(shuō)明書(shū)和實(shí)施例僅被視為示例性的，本公開(kāi)的真正范圍和精神由所附的權(quán)利要求指出。
[0226]
應(yīng)當(dāng)理解的是，本公開(kāi)并不局限于上面已經(jīng)描述并在附圖中示出的精確結(jié)構(gòu)，并且可以在不脫離其范圍進(jìn)行各種修改和改變。本公開(kāi)的范圍應(yīng)由所附的權(quán)利要求來(lái)限制。

相關(guān)知識(shí)

湯雨陽(yáng)/基于HarmonyOS的健康體重管理系統(tǒng)
形體訓(xùn)練的正確方法
基于腦電數(shù)據(jù)與面部表情影像的抑郁癥病癥輔助識(shí)別方法技術(shù)
智能健康管理系統(tǒng)的制作方法
形體訓(xùn)練基礎(chǔ)知識(shí)
老年人健康管理系統(tǒng)的制作方法
五大教練助你打造完美身體 減肥方法
神經(jīng)系統(tǒng)疾病康復(fù)病人健康教育
感統(tǒng)訓(xùn)練方法.pdf
競(jìng)技體育有了“AI教練”——“聚焦智能體育消費(fèi)新業(yè)態(tài)”系列報(bào)道之四

網(wǎng)址: 基于人體姿態(tài)識(shí)別的自重健身輔助教練系統(tǒng)、方法、終端 http://www.u1s5d6.cn/newsview248355.html