1.本發(fā)明屬于健身訓練信息處理技術領域，尤其涉及一種基于人體姿態(tài)識別的自重健身輔助教練系統(tǒng)、方法、終端。

背景技術：

2.目前，在線訓練在2021全球健身趨勢報告中顯示排名第一位，自重訓練排名第三位。中國健身起步較晚，但發(fā)展迅速，與全球領先水平僅半步之遙，今天全球火熱的健身趨勢基本上明天就能夠在中國國民中普及盛行。通過全球健身趨勢可以對未來五年中國的健身行業(yè)初窺門徑：便捷的可穿戴健身設備和智能健身等運動科技將在大眾日常健身中發(fā)揮越來越重要的作用，如何將人工智能運用于日常健身、如何快速高效的達到每日健身目標、如何實現(xiàn)懶人健身、如何智能識別健身者的身體狀況和生活習性、健身需求并有效結合制定適宜的健身方案、如何提高智能科技在健身領域的應用水平等等都將是運動科技公司和傳統(tǒng)健身企業(yè)需要思考的課題。健身不僅僅是年輕人的事情，關注全生命周期的健身，包括青少年、老人和兒童，這將是健身企業(yè)的潛在目標客戶人群，老人和孩子的健身市場仍是一片藍海。壓力大、時間少，身體健康很重要，健身運動不得不做，短平快的健身技術研發(fā)，全球人民都需要。
3.自重訓練就是通過對抗自己的體重，從而達到刺激肌肉進而塑形增肌的目的。當然如果人們愿意，甚至可以說是達到減肥、增強體能的目的。自重訓練，可以在室內(nèi)也可以在戶外，一個俯臥撐和仰臥起坐是一個自重訓練，一個高難度的俄挺或前水平，也屬于自重訓練。與重量訓練的各種“標準動作”相比，自重訓練的變化多種多樣，而且并不會定死一條規(guī)則。自重訓練同樣可以突破時間和地理的限制，靈活安排訓練。進行重量訓練，往往都要去健身房。而對于自重訓練者來說，家就是最佳的訓練場所，同時自重訓練側重平衡和身體的靈活性。從健身房里面練出來的肌肉，往往被人打上“死肌肉”的標簽，意思是中看不中用。但這些“死肌肉”，這是為有志于參加各種比賽而準備的。自重訓練者肌肉被認為是更具靈活性，肌肉的韌性和平衡得到極大的加強。
4.視覺是人類感知世界的主要途徑之一，動作識別已成為計算機視覺領域不可或缺的重要組成部分，它將使計算機能夠觀察世界，自動識別和分析人類活動并做出決策。然而，對于人的姿態(tài)估計與動作識別面臨著諸多挑戰(zhàn)，比如場景復雜多變，光照條件不恒定，人體自遮擋以及動作語義的不確定性等，這導致姿態(tài)識別和動作分析的方法多而分散。
5.最早對于人的動作分析普遍認為是心理學家在上世紀七十年代開展的移動光照顯示器(mld)實驗，通過固定在人的關節(jié)處的亮點的運動信息判斷動作，打開了基于視覺的人體動作分析的大門，此后，運動識別與分析進入逐步發(fā)展階段?？v觀五十年的發(fā)展歷程，動作分析的發(fā)明經(jīng)歷了從無到有，從簡單到復雜，取得了顯著的進步，對推動計算機視覺、機器學習等學科的發(fā)展做出了卓越貢獻。
6.自重訓練往往缺乏專業(yè)的指導，很多初入門者甚至只是盲目的模仿高級訓練者的圖片或視頻，自身的動作往往不標準，導致影響訓練效果，達不到訓練目標，比較典型的就
是各種協(xié)同肌代償。更有甚者會造成運動損傷，多次錯誤動作逐漸積累也可能導致傷病。在健身動作中都有一個標準的動作體系，這些動作標準，都是針對與動作本身所鍛煉的身體部位，具有規(guī)避不必要的鍛煉損傷和提高健身效率的作用。
7.在傳統(tǒng)的健身訓練中，通常采用基于肉眼觀察的訓練方法。而早期的人體動作識別都需要借助外接設備的輔助，非常不方便，在便攜性方面對使用者有很多約束，也存在忘記穿戴或運動損壞的情況。而且不同的健身者在做同一個健身動作時，受到生活習慣，身體的姿態(tài)等各種因素的影響，導致健身動作的類內(nèi)差異較大，動作類別難以定義。隨著深度學習的發(fā)展，計算機可以僅通過攝像頭等設備就能夠感知人體動作，也出現(xiàn)了很多手勢識別，姿勢識別方面的發(fā)明，在智能視頻監(jiān)控、高級人機交互等領域得以應用。
8.通過上述分析，現(xiàn)有技術存在的問題及缺陷為：
9.(1)現(xiàn)有技術中，自重訓練往往缺乏專業(yè)的指導，很多初入門者甚至只是盲目地模仿高級訓練者的圖片或視頻，自身的動作往往不標準，導致影響訓練效果，達不到訓練目標，比較典型的問題就是各種協(xié)同肌代償。更有甚者會造成運動損傷,多次錯誤動作逐漸積累也可能導致傷病。
10.(2)現(xiàn)有技術健身效率低。
11.解決以上問題及缺陷的意義為：
12.本發(fā)明以健身者居家自重健身為背景，構建了基于openpose的自重健身輔助教練系統(tǒng)。該系統(tǒng)涉及到彩色圖像和深度圖像生成3d點云，通過彩色信息進行人體關鍵點的識別，在3d點云中獲取相應的深度信息，生成3d點云的骨架圖并得到健身者的實時運動姿態(tài)。通過intelrealsensed435攝像頭實時地獲取自重健身者的健身動態(tài)視頻，通過openpose對其進行初步的推理和計算相應的人體二維關鍵點坐標，再利用人體關節(jié)角度和關節(jié)點之間的距離等因素計算運動的特征，輸入分類器得到分類結果。比對預先采集好的健身動作特征，從物理學，運動學等角度衡量健身動作是否標準，提出哪些地方需要改進，給予簡單易懂的健身指導。相對于穿戴式傳感器檢測姿態(tài)而言，本系統(tǒng)不用與健身者直接接觸，更加方便運動。

技術實現(xiàn)要素：

13.為克服相關技術中存在的問題，本發(fā)明公開實施例提供了一種基于人體姿態(tài)識別的自重健身輔助教練系統(tǒng)、方法、終端。
14.本發(fā)明目的在于提供一種基于人體姿態(tài)識別的自重健身輔助教練系統(tǒng)及方法，進行以下步驟：
15.健身者的姿態(tài)檢測需要在一定的空間范圍內(nèi)準確地識別并還原人的3d骨架圖到3d點云中，對檢測的算法有一定的精度要求。在嘗試了多種模型后，選用openpose姿態(tài)識別網(wǎng)絡來獲取視頻幀中人體的二維骨架關節(jié)點坐標，單獨處理相機深度流中的深度信息，對齊彩色幀后由關節(jié)點坐標求得各關鍵點的深度值，進行3d骨架化的構建。
16.運動特征的提取：針對健身動作中各個動作要求的重點選取動作規(guī)范的特征，如關節(jié)角度，肢體朝向，運動幅度等，在多次選取和測試后，最終選取了15個空間距離比例和15個空間向量的余弦相似度作為特征。
17.在建立骨架圖和運動特征值的基礎上，訓練自定義動作的姿態(tài)識別模型。利用骨
架圖可以訓練卷積神經(jīng)網(wǎng)絡動作識別模型，將分類好的特征寫好標簽則可以通過全連接神經(jīng)網(wǎng)絡訓練得到動作識別模型。
18.數(shù)據(jù)集的采集，標注和處理：本發(fā)明在訓練動作識別模型時的數(shù)據(jù)集是在實驗室模擬居家環(huán)境使用學生的運動姿態(tài)采集的，通過多名同學的多組健身動作的特征采集，自動寫入動作類型的標簽，再經(jīng)過人工的篩選去除不可用數(shù)據(jù)制作了本次動作識別的數(shù)據(jù)集，將健身者的姿態(tài)分為了多組日常動作和健身動作，分別為走，站，停止動作，俯臥撐，側向開合，四點支撐，深蹲，箭步蹲。
19.所述技術方案如下：一種基于人體姿態(tài)識別的自重健身輔助教練方法，包括：
20.步驟一，利用攝像頭對健身者的動作進行捕捉和記錄；選用openpose姿態(tài)識別網(wǎng)絡獲取視頻幀中人體的二維骨架關節(jié)點坐標，單獨處理相機深度流中的深度信息，對齊彩色幀后由關節(jié)點坐標求得各關鍵點的深度值，進行3d骨架化的構建；
21.步驟二，在健身訓練時，從運動幀序列中檢測健身者的動作；
22.步驟三，通過提取健身動作的運動幅度，關節(jié)角度特征識別健身者的動作類別；
23.步驟四，對健身者動作類別的運動標準進行標注和數(shù)據(jù)處理。
24.在發(fā)明一實施例中，所述步驟一利用攝像頭對健身者的動作進行捕捉和記錄具體包括：
25.(1)獲取相機參數(shù)矩陣：
[0026][0027]
(2)人體三維骨骼關節(jié)點的獲取與連接：
[0028]
將構建好的openpose姿態(tài)識別網(wǎng)絡的動態(tài)庫和姿態(tài)檢測模型導入，調(diào)用api接口獲取d435鏡頭中彩色圖像幀獲得人體二維關鍵點坐標；這是一幅站立openpose姿態(tài)識別網(wǎng)絡識別出25個二維關鍵點的坐標，依照人體關節(jié)連接順序連接各個關鍵點得到二維的骨架圖；
[0029]
獲取二維關鍵點坐標后，根據(jù)二維關鍵點像素坐標在對應的已對齊的深度幀中依次獲取各關鍵點的深度信息，再加上相機的參數(shù)矩陣，將人體二維關鍵點的數(shù)據(jù)轉(zhuǎn)換相機坐標系下的三維坐標；對關鍵點三維坐標進行繪圖和肢體連接，得到的人體三維骨架圖。
[0030]
在發(fā)明一實施例中，所述將人體二維關鍵點的數(shù)據(jù)轉(zhuǎn)換相機坐標系下的三維坐標包括：
[0031]
像素坐標系轉(zhuǎn)世界坐標系，通過使用形成相應像素p的透視變換將場景的3d點p
w
投影到圖像平面中來獲得場景的視圖；p
w
和p都用齊次坐標表示，分別表示3d和2d齊次向量；針孔相機模型給出的無畸變投影變換公式如下所示：
[0032]
sp＝a[r∣t]p
w
；
[0033]
其中p
w
是相對于世界坐標系表示的3d點，p是圖像平面中的2d像素，a是相機固有參數(shù)矩陣，r和t是描述坐標從世界到相機坐標系(或相機幀)變化的旋轉(zhuǎn)和平移，s是投影變換的任意縮放；從像素坐標系轉(zhuǎn)換到相機坐標系需要使用相機的內(nèi)參變換；見下式：
[0034][0035]
在發(fā)明一實施例中，所述步驟二從運動幀序列中檢測健身者的動作包括：
[0036]
通過滑動均值濾波或卡爾曼濾波對關鍵點三維坐標進行處理獲得更精確的關鍵點數(shù)據(jù)，對人體三維關鍵點建立3d骨架可視化，并提取人體運動特征后構建數(shù)據(jù)集；最終選取15個空間距離比例和15個空間向量的余弦相似度作為特征值。
[0037]
在發(fā)明一實施例中，所述步驟三識別健身者的動作類別包括：
[0038]
在步驟一構建的3d骨架化的骨架圖和步驟二選出的運動特征值的基礎上，訓練自定義動作的姿態(tài)識別模型；利用骨架圖訓練卷積神經(jīng)網(wǎng)絡動作識別模型，將分類好的運動特征值寫好標簽則通過全連接神經(jīng)網(wǎng)絡訓練得到動作識別模型。
[0039]
在發(fā)明一實施例中，所述步驟四對健身者動作類別的運動標準進行標注和數(shù)據(jù)處理包括：
[0040]
采集運動姿態(tài)數(shù)據(jù)集，通過多組健身動作的特征采集，自動寫入動作類型的標簽，再經(jīng)過人工的篩選去除不可用數(shù)據(jù)制作動作識別的數(shù)據(jù)集；并對動作識別的數(shù)據(jù)集進行預測和評估。
[0041]
在發(fā)明一實施例中，所述步驟四對健身者動作類別的運動標準進行標注和數(shù)據(jù)處理進一步包括：
[0042]
在獲得健身者的實時健身數(shù)據(jù)的同時獲得該健身運動的分類標簽，將健身者的實時運動幀序列與該標準動作的關鍵幀序列輸入到程序中，進行基于dtw算法計算序列之間的相似度距離，將實時獲取的動作幀與標準動作關鍵幀對齊后，比較特征向量的余弦相似度實現(xiàn)動作的評價；
[0043]
整個序列動作如下公式矩陣的數(shù)據(jù)集：
[0044][0045]
所述dtw算法進行幀對齊的流程包括：
[0046]
(1)輸入實時幀序列f和標準動作幀序列h；
[0047]
(2)計算f中每一個元素和h中每一個元素的距離，距離計算方法為所有特征向量的比例總和，構造一個n*m的距離矩陣，f
i
,h
j
分別為f和h中的任意元素，公式如下：
[0048]
matrix＝(d(f
i
,h
j
),i∈[1,m],j∈[1,n]；
[0049]
(3)基于距離矩陣matrix，采用局部最優(yōu)解的方法找到一條代價最小的規(guī)劃路徑w，k為路徑的長度，路徑代價公式見如下公式：
[0050][0051]
此時公式中w
k
＝(f
i
,h
j
)為路徑上的第k個元素，且(f
i
,h
j
)為matrix矩陣中第i行和第j列的元素(i,j)值；
[0052]
(4)計算以匹配好的實時幀和標準動作幀的特征向量的差異，選取動作關鍵關節(jié)角度為評價標準，比較實時幀和標準動作幀的關節(jié)角度余弦相似度的差異給出動作評價。
[0053]
根據(jù)本發(fā)明公開實施例的第二方面，提供一種基于人體姿態(tài)識別的自重健身輔助教練包括：
[0054]
人體骨架化模塊，用于通過攝像頭實時采集彩色幀序列和深度幀序列，在openpose網(wǎng)絡中得到關鍵點2d坐標，結合深度幀建立人體關鍵點的3d坐標，將像素坐標系
轉(zhuǎn)化為相機坐標系后實現(xiàn)動態(tài)展示；
[0055]
動作識別模塊，用于使用相機采集多組健身數(shù)據(jù)，進行數(shù)據(jù)的初步處理，加工和整合，進行數(shù)據(jù)存儲；讀取采集的數(shù)據(jù)并搭建數(shù)據(jù)集，通過兩種網(wǎng)絡分別訓練數(shù)據(jù)，分別為全連接神經(jīng)網(wǎng)絡和卷積神經(jīng)網(wǎng)絡，得到動作分類模型；實時檢測健身姿態(tài)計算空間人體特征距離比例和空間特征向量的余弦相似度，輸入分類器得到動作的分類結果。
[0056]
動作評估模塊，用于將計算得到的健身者的健身姿態(tài)特征值輸入dtw算法進行幀匹配，計算動作的偏差情況并給予動作矯正建議；
[0057]
ui界面，用于實時訓練展示、教學視頻展示。
[0058]
根據(jù)本發(fā)明公開實施例的第三方面，提供一種接收用戶輸入程序存儲介質(zhì)，所存儲的計算機程序使電子設備執(zhí)行所述基于人體姿態(tài)識別的自重健身輔助教練方法。
[0059]
根據(jù)本發(fā)明公開實施例的第四方面，提供一種信息數(shù)據(jù)處理終端，所述信息數(shù)據(jù)處理終端包括存儲器和處理器，所述存儲器存儲有計算機程序，所述計算機程序被所述處理器執(zhí)行時，使得所述處理器執(zhí)行所述基于人體姿態(tài)識別的自重健身輔助教練方法。
[0060]
本發(fā)明公開的實施例提供的技術方案可以包括以下有益效果：
[0061]
本發(fā)明旨在利用攝像頭對健身者的動作進行捕捉和記錄，在健身訓練時，從運動幀序列中檢測健身者的動作，通過提取健身動作的運動幅度，關節(jié)角度等特征識別健身者的動作類別，進行健身者運動標準地評估和矯正，輔助健身者訓練，以此擺脫居家自重健身只依靠經(jīng)驗的狀態(tài)，帶給健身者方便專業(yè)的健身指導，規(guī)避不必要的鍛煉損傷和提高健身效率。
[0062]
本發(fā)明致力于姿態(tài)識別技術在自重健身領域的應用，對鏡頭中的運動人體進行檢測和跟蹤，從圖像幀序列中推測健身者的動作，從而在一定意義上實現(xiàn)達到分析運動姿態(tài)、提供訓練建議的目的，克服傳統(tǒng)健身中通過基于肉眼觀察的訓練方法，實現(xiàn)基于人體運動特征的分析方法。該自重健身輔助教練系統(tǒng)的發(fā)明具有重要的科研價值和潛在的巨大商業(yè)價值。
[0063]
本發(fā)明提供的系統(tǒng)目前在windows平臺和樹莓派rasbian雙端實現(xiàn)，windows平臺幀率可達10，樹莓派依賴nsc2加速可達2.7fps。
[0064]
當理解的是，以上的一般描述和后文的細節(jié)描述僅是示例性和解釋性的，并不能限制本發(fā)明公開。
附圖說明
[0065]
此處的附圖被并入說明書中并構成本說明書的一部分，示出了符合本公開的實施例，并與說明書一起用于解釋本公開的原理。
[0066]
圖1是本發(fā)明實施例提供的基于人體姿態(tài)識別的自重健身輔助教練方法流程圖。
[0067]
圖2是本發(fā)明實施例提供的基于人體姿態(tài)識別的自重健身輔助教練系統(tǒng)示意圖。
[0068]
圖中：1、人體骨架化模塊；2、動作識別模塊；3、動作評估模塊；4、ui界面。
[0069]
圖3是本發(fā)明實施例提供的基于人體姿態(tài)識別的自重健身輔助教練系統(tǒng)原理圖。
[0070]
圖4是本發(fā)明實施例提供的基于人體姿態(tài)識別的自重健身輔助教練方法原理圖。
[0071]
圖5是本發(fā)明實施例提供的相機標定簡單步驟圖。
[0072]
圖6是本發(fā)明實施例提供的人體二維關鍵點坐標圖。
[0073]
圖7是本發(fā)明實施例提供的人體三維骨架圖圖。
[0074]
圖8是本發(fā)明實施例提供的坐標系轉(zhuǎn)換過程示意圖。
[0075]
圖9是本發(fā)明實施例提供的滑動濾波原理圖。
[0076]
圖10是本發(fā)明實施例提供的卡爾曼濾波進行修正原理圖.
[0077]
圖11是本發(fā)明實施例提供的數(shù)據(jù)采集流程圖。
[0078]
圖12是本發(fā)明實施例提供的全連接神經(jīng)網(wǎng)絡結構圖。
[0079]
圖13是本發(fā)明實施例提供的卷積神經(jīng)網(wǎng)絡結構圖。
[0080]
圖14是本發(fā)明實施例提供的cnn訓練結果圖.
[0081]
圖15是本發(fā)明實施例提供的健身動作識別網(wǎng)絡訓練階段流程圖。
具體實施方式
[0082]
這里將詳細地對示例性實施例進行說明，其示例表示在附圖中。下面的描述涉及附圖時，除非另有表示，不同附圖中的相同數(shù)字表示相同或相似的要素。以下示例性實施例中所描述的實施方式并不代表與本公開相一致的所有實施方式。相反，它們僅是與如所附權利要求書中所詳述的、本公開的一些方面相一致的裝置和方法的例子。
[0083]
1.如圖1所示，本發(fā)明公開實施例所提供的基于人體姿態(tài)識別的自重健身輔助教練方法包括：
[0084]
s101，利用攝像頭對健身者的動作進行捕捉和記錄；
[0085]
s102，在健身訓練時，從運動幀序列中檢測健身者的動作；
[0086]
s103，通過提取健身動作的運動幅度，關節(jié)角度等特征識別健身者的動作類別，進行健身者運動標準地評估和矯正，輔助健身者訓練。
[0087]
2.下面結合需求分析及系統(tǒng)總體發(fā)明對本發(fā)明的技術方案作進一步描述。
[0088]
2.1系統(tǒng)需求分析
[0089]
2.1.1系統(tǒng)功能需求
[0090]
本發(fā)明需要搭建一個可以識別自重健身者在家中健身的姿態(tài)并給予指導的系統(tǒng)，整個系統(tǒng)涉及到的功能包括構建點云渲染器，建立3d骨架圖，數(shù)據(jù)采集與標注，全連接神經(jīng)網(wǎng)絡和卷積神經(jīng)網(wǎng)絡的訓練以及可視化呈現(xiàn)，每個功能詳細的需求說明如下：
[0091]
(1)點云渲染器：對intelrealsensed435相機進行標定和內(nèi)參讀取，將相機實時捕獲的彩色幀和深度幀對齊，使用opencv和numpy制作點云渲染器，過濾無效深度后繪制三維坐標軸和平面柵格，建立相機坐標系，用painter算法繪制點云，從后到前排序點，在視圖空間中獲取按深度值反向排序的索引，忽略越界索引后將點映射到點云中。
[0092]
(2)建立3d骨架圖：搭建openpose環(huán)境，通過預訓練的body_25模型對彩色流進行關鍵點檢測，獲取各個關鍵點的坐標值和置信度以及heatmap。提取2d關鍵點坐標，捕獲關鍵點的深度信息，生成人體3d關鍵點坐標，分幀保存后制作關鍵點的序列幀csv文件并進行滑動均值濾波處理，將像素坐標系轉(zhuǎn)化為相機坐標系，實現(xiàn)火柴人模型的動態(tài)展示。
[0093]
(3)數(shù)據(jù)采集與標注：制作數(shù)據(jù)采集界面，實時處理捕獲人體骨架圖，檢測人體3d坐標，提取人體健身運動特征距離和特征角度，保存運動特征并寫入標簽，制作訓練集。
[0094]
(4)神經(jīng)網(wǎng)絡模型的訓練：根據(jù)提取的30個健身運動特征構建全連接神經(jīng)網(wǎng)絡模型，根據(jù)生成的骨架圖構建卷積神經(jīng)網(wǎng)絡模型，對實時健身動作姿態(tài)實現(xiàn)動作分類識別。
[0095]
(5)可視化呈現(xiàn)：構建pyqt界面，實時顯示姿態(tài)估計圖，根據(jù)健身者的運動姿態(tài)播放實時的動作視頻指導，比對健身者健身姿勢與標準姿勢的差異，給出相應的指導意見。
[0096]
2.1.2系統(tǒng)非功能需求
[0097]
本系統(tǒng)的非功能需求有：系統(tǒng)的性能需求、易用性需求、可擴展性需求、正確性需求，健壯性需求等。針對各個非功能需求，具體描述如下。
[0098]
(1)測試環(huán)境：
[0099]
如表1所示，測試環(huán)境詳細介紹如下。
[0100]
表1系統(tǒng)測試環(huán)境
[0101][0102]
(2)性能需求：可以快速地識別健身者的姿態(tài)，對于健身動作的視頻指導能做到快速反饋，對于終止訓練的指令能快速響應，對于健身動作的評價和糾正能快速分析，整個系統(tǒng)無卡頓現(xiàn)象。
[0103]
(3)易用性需求：界面友好，用戶能輕易上手，標題和圖標含義明確，健身者能夠便捷操作系統(tǒng)，健身的動作評估信息簡潔易懂，系統(tǒng)使用者可快速上手。
[0104]
(4)可擴展性需求：可識別的健身動作方便擴展，模型訓練開銷小，系統(tǒng)的接口和功能容易擴展。
[0105]
(5)正確性需求：全連接神經(jīng)網(wǎng)絡訓練的動作識別模型正確率在90％以上，基于dtw的動作匹配評估正確率在80％左右，整個系統(tǒng)具備現(xiàn)實使用價值。
[0106]
(6)可移植性需求：該系統(tǒng)在windows平臺進行開發(fā)和測試，最終成功移植到樹莓派rasbian上，并能正確運行和返回結果。
[0107]
2.2系統(tǒng)總體發(fā)明
[0108]
2.2.1系統(tǒng)功能模塊
[0109]
如圖2所示，基于人體姿態(tài)識別的自重健身輔助教練系統(tǒng)包括四個模塊，分別為人體骨架化模塊1，動作識別模塊2，動作評估模塊3以及ui界面4。
[0110]
如圖3所示，基于人體姿態(tài)識別的自重健身輔助教練系統(tǒng)原理圖。
[0111]
人體骨架化模塊1：通過攝像頭實時采集彩色幀序列和深度幀序列，在openpose網(wǎng)絡中得到關鍵點2d坐標，結合深度幀建立人體關鍵點的3d坐標，將像素坐標系轉(zhuǎn)化為相機坐標系后實現(xiàn)動態(tài)展示。
[0112]
動作識別模塊2：主要使用intelrealsensed435相機采集多組健身數(shù)據(jù)，進行數(shù)據(jù)的初步處理，加工和整合，進行數(shù)據(jù)存儲。讀取采集的數(shù)據(jù)并搭建數(shù)據(jù)集，通過兩種網(wǎng)絡分別訓練數(shù)據(jù)，分別為全連接神經(jīng)網(wǎng)絡和卷積神經(jīng)網(wǎng)絡，得到動作分類模型。實時檢測健身姿態(tài)計算空間人體特征距離比例和空間特征向量的余弦相似度，輸入分類器得到動作的分類結果。
[0113]
動作評估模塊3：將計算得到的健身者的健身姿態(tài)特征值輸入dtw算法進行幀匹配，計算動作的偏差情況并給予動作矯正建議。
[0114]
ui界面4，用于實時訓練展示、教學視頻展示。
[0115]
2.2.2系統(tǒng)流程
[0116]
整個系統(tǒng)的流程如圖4所示，首先要讀取并載入相機參數(shù)，獲取并初步處理d435相機采集到的彩色圖像和深度圖像，通過openpose模型獲取人體二維關鍵點坐標并結合深度信息，實現(xiàn)人體三維骨架圖的建立，從三維關鍵點坐標中發(fā)明提取運動特征。將運動特征輸入分類器，判斷當前健身動作的類型，如果該動作為停止動作，則判斷健身狀態(tài)中斷正在進行的健身并執(zhí)行動作評估，若該動作為健身動作則在判斷狀態(tài)后進行相應動作的健身指導。
[0117]
3.下面結合動作三維姿態(tài)獲取對本發(fā)明的技術方案作進一步描述。
[0118]
3.1相機的標定
[0119]
首先對相機是否校準進行評估，手持或平放d435攝像頭將其對準平面，例如1米外的白色墻壁，注意不能選擇黑色表面。觀察intelrealsenseviewer的深度圖像顯示，肉眼可見有很多黑點，這說明相機未校準。
[0120]
動態(tài)校準是優(yōu)化外部參數(shù)，也就是說，它們是指在用戶環(huán)境中進行的現(xiàn)場校準，用戶干預最少或不干預。它們只是相機圖像相對于主軸系統(tǒng)(左右之間的軸)的外部參數(shù)(平移和旋轉(zhuǎn))?；儭⒁晥?、主點等固有參數(shù)沒有進行動態(tài)標定。動態(tài)校準是在假定深度攝像機在工廠校準后重新校準，或至少已知標稱參數(shù)的情況下進行的。rgb參數(shù)僅適用于帶有rgb顏色傳感器的深度相機，例如本次實驗所使用的d435深度相機。
[0121]
intel提供了兩種標定的方法：
[0122]
(1)整流校準：對準對極線以使深度管線正確工作并減少深度圖像中的孔。
[0123]
(2)深度刻度校準：由于光學元件位置的變化而對準深度框。
[0124]
本發(fā)明選擇第二種，動態(tài)校準器僅支持目標校準，本發(fā)明在這里使用目標校準，因為它支持校正和深度刻度校準，并且比無目標校準中僅進行校正的校準將提供更準確的結果。在目標模式下，動態(tài)校準api支持深度刻度校準，需要一個目標。目標是預定義的，可以通過手機應用程序在智能手機上顯示。相機標定簡單步驟如圖5所示。
[0125]
在打印好原尺寸的標定目標后，從鏡頭實時地獲取圖像并檢測目標，重復移動目標使其覆蓋大部分的圖像以校準刻度，再拍攝15張照片校準rgb攝像機即可完成矯正。
[0126]
3.2圖像的獲取
[0127]
實驗用的深度圖像和彩色圖像是通過intelrealsensed435攝像頭獲得，該攝像頭在各種光線條件下表現(xiàn)出色，并且可以拍攝距離10米內(nèi)的物體，可以滿足實驗硬件要求。由于本次實驗主要針對健身者的日常自重健身姿態(tài)的捕獲，所以在實驗室模擬居家環(huán)境采集了三名同學的健身姿態(tài)。
[0128]
在配置好的流式傳輸管道中分別以z16和bgr8格式來獲取彩色流和深度流，開始流式傳輸后需創(chuàng)建對齊對象，執(zhí)行深度幀和彩色幀的對齊，在流式循環(huán)中按幀讀取數(shù)據(jù)，因為深度圖是由float16格式讀取，所以要對深度幀著色處理可以直觀了解深度信息采集結果。
[0129]
經(jīng)過單一變量法對不同通道，不同分辨率和不同設定幀率等條件的測試，相機內(nèi)參與設定幀率、通道類型無關，只與分辨率和相機本身有關，獲取的相機參數(shù)如下矩陣所示。
[0130][0131]
在得到彩色圖和深度圖后，配準過程中選用的是彩色圖的坐標系，所以在合成點云時也要選用彩色圖的相機參數(shù)。在點云中要顯示三維加色彩的點云坐標，每個點包含了x，y，z，rgb四個參數(shù)，這樣可以直接在點云中由關鍵點的二維坐標獲取關鍵點的3d坐標和顏色信息。
[0132]
3.3人體三維骨骼關節(jié)點的獲取與連接
[0133]
3.3.1三維關鍵點的獲取
[0134]
在眾多人體姿態(tài)識別方法中基于深度學習的人體姿態(tài)識別算法深受歡迎，但普遍的基于卷積神經(jīng)網(wǎng)絡的實時性較差，為了保證系統(tǒng)低延遲，本此發(fā)明選用openpose來獲取人體運動關節(jié)二維關鍵點信息，因為在保證高實時性的同時也能保持高精度。在構建好環(huán)境之后，分別調(diào)用檢測身體的三個關鍵點模型，對比發(fā)現(xiàn)，body_25模型檢測速度快，識別準確率高，是選擇獲取二維關鍵點坐標模型的不二之選。
[0135]
將構建好的openpose項目的動態(tài)庫和姿態(tài)檢測模型導入工程，調(diào)用api接口獲取d435鏡頭中彩色圖像幀即可獲得人體二維關鍵點坐標如圖6所示，這是一幅站立姿態(tài)下采集的二維骨架圖。openpose識別出來25個二維關鍵點的坐標，關鍵點對應如圖3
?
6所示，其中頭部的關鍵點包括鼻子，眼睛和耳朵(0,15,16,17,18)，手臂關鍵點包括(2,3,4,5,6,7)，腿部關鍵點包括(8,9,10,11,12,13,14)，足部關鍵點包括(11,14,19,20,21,22,23,24)，依照人體關節(jié)連接順序連接好各個關鍵點便可以得到二維的骨架圖。
[0136]
獲取人體二維關鍵點坐標后，根據(jù)二維關鍵點像素坐標在對應的已對齊的深度幀中依次獲取各關鍵點的深度信息，再加上相機的內(nèi)參矩陣，可以將人體二維關鍵點的數(shù)據(jù)轉(zhuǎn)為相機坐標系下的三維坐標，更能顯示一個人的真實姿態(tài)。對關鍵點三維坐標進行繪圖和肢體連接，得到的人體三維骨架圖如圖7所示。
[0137]
3.3.2坐標系的轉(zhuǎn)換
[0138]
像素坐標系轉(zhuǎn)世界坐標系，通過使用形成相應像素p的透視變換將場景的3d點p
w
投影到圖像平面中來獲得場景的視圖。p
w
和p都用齊次坐標表示，即分別表示3d和2d齊次向量。針孔相機模型給出的無畸變投影變換公式如(3
?
1)所示：
[0139]
sp＝a[r∣t]p
w
?????????????????????????
(3
?
1)
[0140]
其中p
w
是相對于世界坐標系表示的3d點，p是圖像平面中的2d像素，a是相機固有參數(shù)矩陣，r和t是描述坐標從世界到相機坐標系(或相機幀)變化的旋轉(zhuǎn)和平移，s是投影變換的任意縮放，而不是相機模型的一部分。從像素坐標系轉(zhuǎn)換到相機坐標系需要使用相機的內(nèi)參變換。見式(3
?
2)：
[0141][0142]
轉(zhuǎn)換過程示意圖如圖8所示.
[0143]
3.3.3滑動均值濾波和卡爾曼濾波
[0144]
由于健身動作的識別是從獲取的視頻中提取運動的特征，在動作幀序列間存在時空的約束，連續(xù)幀之間彼此影響，在進行動作識別時，openpose提取算法會有誤差，例如沒有檢測到耳朵或?qū)⑹植孔R別為手肘等問題，利用幀序列間的時空約束，可以對人體關節(jié)的位置進行修正，這里采用滑動均值濾波和卡爾曼濾波狀態(tài)估計法?；瑒泳禐V波是采用時間窗的方式對采取的臨近幀進行滑動均值處理，而卡爾曼濾波通過觀測值和預測值不斷地對卡爾曼方程進行調(diào)整，消除噪聲。以站立不動狀態(tài)下人體中臀關鍵點在像素坐標系下x值隨時間的變化為例,在openpose的觀測值、卡爾曼濾波的預測值、滑動均值濾波的預測值中，滑動均值濾波修正了數(shù)據(jù)的異常波動，可對異常值進行臨近幀的均值處理，處理的精度受fps和滑動的窗口數(shù)影響?？柭鼮V波的預測值在前200幀并不可信，隨著幀數(shù)的增加，預測值逐漸平穩(wěn)并在準確值方面優(yōu)于均值濾波的處理結果。
[0145]
滑動均值濾波在緩沖區(qū)按順序存放4條人體三維關鍵點數(shù)據(jù)，每次有新的關鍵點數(shù)據(jù)進來則彈出最早進入的關鍵點數(shù)據(jù)，之后計算隊列中的數(shù)據(jù)的平均值，這樣每當采集到一幀新的關鍵點數(shù)據(jù)就可以計算出一個新的修正值，相較于卡爾曼濾波處理速度更快?；瑒泳禐V波的關鍵是每當有新的一組三維關鍵點數(shù)據(jù)進入，就移動一次數(shù)據(jù)塊計算新一組數(shù)據(jù)的平均值，其原理如圖9所示。
[0146]
卡爾曼濾波應用很廣，在處理很多的問題時表現(xiàn)較優(yōu)，是效率很高的濾波器，其主要包括預測和更新兩步。關鍵在根據(jù)當前的三維關鍵點坐標的測量值和上一幀的預測值和誤差，求得當前時刻的最優(yōu)值，再預測下一刻的關鍵點坐標。在不確定實時運動信息的動態(tài)系統(tǒng)中使用卡爾曼濾波是非常理想的，即便伴隨著各種干擾，卡爾曼濾波也可以對系統(tǒng)的下一刻走向做出良好的預測?？柭鼮V波對本系統(tǒng)進行修正原理如圖10。
[0147]
其中系統(tǒng)狀態(tài)為三維關鍵點的坐標以及各關鍵點的運動速度，h為觀測矩陣，q為狀態(tài)變化的不確定性，x表示系統(tǒng)的最優(yōu)估計值，p為系統(tǒng)的協(xié)方差，r為測試過程中的不確定性，k表示卡爾曼濾波增益，i為單位矩陣。
[0148]
(1)卡爾曼濾波由k
?
1時刻對k時刻狀態(tài)進行估計，見式(3
?
3)。其中為k時刻的預測值，x
k
?1為k
?
1時刻的最優(yōu)估計值。
[0149][0150]
其中f為狀態(tài)轉(zhuǎn)移矩陣，設為：
[0151][0152]
(2)得到后，需要更新協(xié)方差，公式如下：
[0153][0154]
(3)綜合系統(tǒng)的觀測值z
k
和求得的預測值求解當前幀三維關鍵點位置的最優(yōu)估計值x
k
公式如下：
[0155][0156]
(4)求解卡爾曼濾波增益公式如下：
[0157][0158]
(5)求解誤差協(xié)方差公式如下：
[0159][0160]
3.3.4健身動作3d骨架可視化
[0161]
搭建openpose環(huán)境，通過預訓練的body_25模型對彩色流進行關鍵點檢測，每讀取一幀便向姿態(tài)檢測模型輸入一幀，接收其返回值，可以得到人體各個關鍵點的坐標值等信息，將像素坐標系下的2d關鍵點坐標提取出來，找到對齊的深度圖像中并獲取各個關鍵點的深度信息，恢復人體3d關鍵點坐標并保存骨架序列幀，分幀保存后制作關鍵點的序列幀csv文件并進行均值濾波處理，將像素坐標系下的關鍵點信息轉(zhuǎn)化為相機坐標系，并將關鍵點相連恢復肢體，實現(xiàn)火柴人模型的動態(tài)展示。
[0162]
3.4特征向量的發(fā)明和計算
[0163]
在健身動作識別之前，為了簡化網(wǎng)絡結構，方便快速精準地識別健身動作，先進行特征提取就變得至關重要。目前已完成8個動作數(shù)據(jù)的采集，包括站立、走路2個日常動作和深蹲、俯臥撐、箭步蹲、四點支撐、側向開合5個自重健身動作以及1個停止的標志動作。特征提取的關鍵就在于從含有大量無關信息的圖像或幀序列中挑選特征性強，易于區(qū)分的信息來描述健身動作。在選取健身特征時要做到來自同一個健身動作的不同樣本的特征要相像，而不同類別健身動作的樣本特征就要差別盡量大。健身動作特征選取如表2所示。
[0164]
表2健身動作特征選取
[0165]
[0166][0167]
特征選擇的標準好，后續(xù)分類和評估的工作就可以簡化優(yōu)化。在多次測試和修正后，最終選定了30個特征向量作為健身動作分類器的輸入特征，選取空間關鍵點的距離和脊柱的長度比例作為距離特征，其在不同健身動作中差異很大，易于區(qū)分鑒別，比如雙手之間的距離比例，在站立、側向開合運動和深蹲中的有明顯區(qū)別。
[0168]
在用d435鏡頭采集健身數(shù)據(jù)時，保存骨架圖和運動特征的同時也寫入了健身動作的類別標簽，方便在模型的訓練階段快速完成數(shù)據(jù)集的準備。
[0169]
每一個特征距離由兩個空間關鍵點的歐式距離除以脖子到中臀的歐式距離來作為特征，盡可能地消除行為人距離鏡頭的距離和體態(tài)差異的影響。關鍵點角度的特征選取是觀察健身動作中較為頻繁且有明顯變化的角度，先計算三個關鍵點產(chǎn)生的兩個空間向量，再用兩個向量的余弦相似度作為運動特征?？臻g距離和角度共30個特征作為自重健身動作識別和評估的關鍵，選取很重要，本發(fā)明選取的30個特征經(jīng)過多次測試和反復驗證最
終確定。
[0170]
3.5數(shù)據(jù)采集
[0171]
優(yōu)質(zhì)的數(shù)據(jù)集對于模型的訓練至關重要，健身者自重健身姿態(tài)三維關鍵點數(shù)據(jù)集的構建，是進行后續(xù)發(fā)明的基礎，對于實現(xiàn)系統(tǒng)動作識別和動作評估有重要意義。在經(jīng)過多次采集，共構建了800多幀健身者的姿態(tài)數(shù)據(jù)，其中骨架圖和提取的運動特征是一一對應的關系。
[0172]
數(shù)據(jù)集的構建由骨架圖數(shù)據(jù)集和運動特征數(shù)據(jù)集兩部分組成，搭建數(shù)據(jù)采集界面方便逐幀的采集數(shù)據(jù)，自動保存標簽和數(shù)據(jù)之后由骨架圖人工進行篩選過濾掉未能準確識別出人體運動姿態(tài)的數(shù)據(jù)。制作好的骨架圖數(shù)據(jù)集。
[0173]
數(shù)據(jù)采集過程包括彩色和深度圖像的獲取，圖像的初步處理和三維關鍵點的獲取，健身動作特征的提取和數(shù)據(jù)集的建立等，其步驟可見圖11。
[0174]
大批次采集數(shù)據(jù)，寫入數(shù)據(jù)的標簽和人工篩選是非常耗費人力和時間的，為了簡化大規(guī)模數(shù)據(jù)采集的流程，方便隨時補充數(shù)據(jù)，制作一個健身動作數(shù)據(jù)采集系統(tǒng)就顯得尤為重要。
[0175]
該系統(tǒng)共有三個畫面窗口，分別顯示d435相機捕獲的彩色幀序列，人體二維關鍵點骨架圖和保存的rgb背景圖片，采集圖片的同時也計算人體三維關鍵點坐標，進行特征提取后將特征和標簽一同寫入訓練集文件中。
[0176]
本發(fā)明描述了系統(tǒng)是如何獲得和處理數(shù)據(jù)的。首先通過深度刻度校準實現(xiàn)深度相機的標定，以提高鏡頭采集數(shù)據(jù)的精度。其次分析了系統(tǒng)如何獲取彩色圖像和深度圖像，圖片經(jīng)過處理后傳入openpose網(wǎng)絡得到人體二維關鍵點坐標，結合深度信息形成人體三維關鍵點數(shù)據(jù)，通過滑動均值濾波或卡爾曼濾波對數(shù)據(jù)進行處理以獲得更精確的關鍵點數(shù)據(jù)，對人體三維關鍵點建立3d骨架可視化，發(fā)明并提取人體運動特征后構建數(shù)據(jù)集。
[0177]
4.下面結合動作識別分類器的發(fā)明與實現(xiàn)對本發(fā)明的技術方案作進一步描述。
[0178]
4.1基于全連接神經(jīng)網(wǎng)絡的動作識別
[0179]
本發(fā)明共有四層神經(jīng)網(wǎng)絡，輸入層為30個運動特征向量，第一層隱藏層一共發(fā)明了200個神經(jīng)元，第二層隱藏層是300個神經(jīng)元，第三層隱藏層是100個神經(jīng)元，輸出維度是24。其結構如圖12。
[0180]
全連接神經(jīng)網(wǎng)絡中選取的激活函數(shù)為relu函數(shù)，見下式(4
?
1)：
[0181]
f(x)＝max(0,x)
???????????????????????
(4
?
1)
[0182]
激活函數(shù)是一種信息處理手段，又稱非線性函數(shù)，常見的激活函數(shù)有s型生長曲線，雙曲正切函數(shù)和修正線性單元等等。激活函數(shù)可以增加神經(jīng)網(wǎng)絡的非線性，選擇修正線性單元的原因是其可以在隨機梯度下降中快速收斂，當輸入大于0時其導數(shù)始終等于1，在保持低計算復雜度的同時有效減少了梯度消失的問題。損失函數(shù)則選擇基于歸一化指數(shù)函數(shù)的交叉熵函數(shù)，本質(zhì)上是對有限個離散概率分布的梯度對數(shù)歸一化，其在多分類問題中被廣泛應用，表達式如下式(4
?
2)：
[0183][0184]
本發(fā)明使用的優(yōu)化器是adam，adam于2014年末被提出，它結合了adagrad和
rmsprop兩種優(yōu)化算法的優(yōu)點，也做了一些自己的創(chuàng)新，對梯度的均值和方差進行綜合考慮，計算出更新步長。adam易于實現(xiàn)，節(jié)約計算資源，并且超參數(shù)幾乎無需調(diào)整，在很多情況下工作表現(xiàn)優(yōu)秀。
[0185]
4.2基于卷積神經(jīng)網(wǎng)絡的動作識別
[0186]
本發(fā)明的目的是識別健身者當前進行的健身動作的類別，為后續(xù)動作評估做準備。卷積神經(jīng)網(wǎng)絡主要應用于圖像處理，本發(fā)明中數(shù)據(jù)采集時保存的二維動作骨架圖可以看成含有三個顏色通道的二維矩陣，在此卷積的主要功能是給骨架圖上滑動一個卷積核，通過計算后得到一組新的特征。因為訓練集的骨架圖在采集時都處理成尺寸相同的圖片，在此不需要再次處理就可以輸入網(wǎng)絡，健身動作的骨架圖會被切割成眾多局部特征，其結構如圖13所示.
[0187]
本發(fā)明通過從深度相機的彩色幀序列中識別出健身者的二維關鍵點坐標，將坐標相連接為骨骼形成健身動作骨架圖，若是選用全連接神經(jīng)網(wǎng)絡訓練骨架圖的話，輸入層神經(jīng)元總數(shù)會非常多，權重函數(shù)也過于多，會導致訓練效率較低。
[0188]
準備好骨架圖數(shù)據(jù)集后，需要對訓練方式進行設置，本發(fā)明選擇以批次為2，每次迭代的批次樣本順序隨機變動，迭代次數(shù)為4進行訓練。
[0189]
在訓練cnn網(wǎng)絡動作識別模型之前，有必要介紹一下卷積核函數(shù)。卷積核就是一個權值矩陣，它有很多種，比較常見的有identity，edgedetection,sharpen,boxblur,gaussianblur等，在第一層卷積層上，我們選用一個3*3的卷積核在像素大小為480*640圖像上移動窗口，每次都將窗口與卷積核進行卷積運算，并將所得值依次填入新矩陣中，這個新矩陣就是特征圖，用來判斷原始圖中對應位置與卷積核的匹配度。從左到右，從上到下移動窗口進行卷積運算，得到的特征圖作為后續(xù)卷積層的輸入。特征圖和輸入的健身動作骨架圖看起來相像，是因為關節(jié)點附近的特征值更高。
[0190]
與全連接神經(jīng)網(wǎng)絡一樣，卷積神經(jīng)網(wǎng)絡也需要使用激活函數(shù)來增加非線性特征，本發(fā)明選取常用的relu激活函數(shù)舍棄負相關的數(shù)據(jù)，使特征矩陣更加稀疏，提高效率。但這還遠遠不夠，我們還需要通過池化層進一步削減數(shù)據(jù)量。
[0191]
在卷積網(wǎng)絡中選擇最大池化層來做圖像的處理，將特征圖片輸入池化層，可以得到池化過的尺寸更小的特征圖片。池化層能在保留骨架圖的特征的前提下通過將圖片變小來實現(xiàn)降維，提高健身動作分類器的運行效率。當動作骨架圖通過三層卷積層和一層全連接層后對所有的特征值進行投票，識別完成后輸出健身動作類別結果。
[0192]
通過訓練樣本，反向傳播會對各個層的權重進行調(diào)整，經(jīng)過8個迭代周期識別準確率逐步提高，圖14展示了迭代過程中損失值(圖14(a)和準確率的變化(圖14(b))。
[0193]
圖15為健身動作識別網(wǎng)絡訓練階段流程圖，每次迭代都會隨機變動批次樣本順序，在前向傳播的過程中計算損失函數(shù)差值，若不滿足所設閾值則通過反向傳播更新參數(shù)，進入下一次迭代，直至訓練完成(損失函數(shù)差值小于閾值或迭代次數(shù)超過上限)。
[0194]
4.3動作識別測試
[0195]
訓練好全連接神經(jīng)網(wǎng)絡和卷積神經(jīng)網(wǎng)絡的動作識別模型后，模擬居家環(huán)境對模型進行測試，共兩名同學參與測試，每組環(huán)境每人測試10次，測試結果記錄如表3。
[0196]
表3動作識別模型測試結果
[0197][0198]
由測試結果可見，針對此健身動作識別發(fā)明的cnn模型在識別準確率上遠不及全連接神經(jīng)網(wǎng)絡模型，一方面原因是cnn的數(shù)據(jù)集為2d骨架圖數(shù)據(jù)，而全連接的數(shù)據(jù)集為3d姿態(tài)提取的運動特征，比起骨架圖更能描述健身者的運動姿態(tài)，另一方面原因是訓練集的規(guī)模太小，沒有大批次的采集健身者的運動數(shù)據(jù)導致cnn網(wǎng)絡模型訓練不完善。
[0199]
針對不同環(huán)境條件對比可知，在光線良好，健身者全身無遮擋，側面面對攝像頭時識別的準確率相對較高，存在外界光線干擾，雜物遮擋或自身遮擋則會在不同程度上影響動作識別的準確率。在識別健身者做的動作的同時會自動播放健身指導視頻和語音指導健身者健身，如果健身者在當前進行中的健身動作訓練完成前退出或休息，只需擺出提前預設好的停止動作，系統(tǒng)即可暫停當前訓練。
[0200]
本發(fā)明通過兩種方法實現(xiàn)分類預測，分別是全連接神經(jīng)網(wǎng)絡模型和卷積神經(jīng)網(wǎng)絡模型。通過采集的健身動作數(shù)據(jù)集自定義網(wǎng)絡參數(shù)，選擇合適的激活函數(shù)和損失函數(shù)等來訓練網(wǎng)絡模型，經(jīng)過測試在現(xiàn)階段全連接神經(jīng)網(wǎng)絡訓練的健身動作分類器表現(xiàn)更為出色，卷積神經(jīng)網(wǎng)絡仍需進一步完善，數(shù)據(jù)集仍需大規(guī)模采集。
[0201]
5.下面結合基于dtw的動作評價對本發(fā)明技術方案作進一步描述。
[0202]
5.1本發(fā)明將利用獲取的運動標簽和保存的實時健身特征向量來實現(xiàn)對于健身者實時的健身動作和標準健身動作的差異比價和評價。
[0203]
5.2序列幀的對齊與動作評價
[0204]
在3d關鍵點坐標形式下，運動可以由健身者的運動特征值的時間序列表示，本發(fā)明對于動作評價功能的實現(xiàn)就是通過在各時間節(jié)點關鍵點坐標形成的特征向量，并基于動態(tài)時間規(guī)劃對特征向量進行動作幀的對齊，在保存動作時序特征的基礎上能有效地做出評價。
[0205]
每個健身動作有數(shù)量不等的關鍵幀，如俯臥撐動作的關鍵幀為直臂支撐幀和曲臂最大角度支撐幀，標準動作關鍵幀的采集和選取現(xiàn)階段需人工判斷是否為標準動作以及是否為該動作的關鍵幀。標準動作的選取有兩種思路，一是選取所有同種采集健身動作關鍵幀的平均值，二是以某一個自選取的關鍵幀為關鍵動作。考慮到參與數(shù)據(jù)采集的同學大多姿勢不標準，所以在該系統(tǒng)實現(xiàn)中選取主觀判斷最為標準的一幀作為該動作的標準動作關
鍵幀。選取好一個標準動作的關鍵幀后，將該動作所有選取的關鍵幀計算得出的特征向量存儲到矩陣中，作為該標準動作的關鍵幀序列。
[0206]
在獲得健身者的實時健身數(shù)據(jù)的同時獲得該健身運動的分類標簽，將健身者的實時運動幀序列與該標準動作的關鍵幀序列輸入到程序中，進行基于dtw算法計算序列之間的相似度距離，將實時獲取的動作幀與標準動作關鍵幀對齊后，比較特征向量的余弦相似度來實現(xiàn)動作的評價。
[0207]
整個序列動作可以看成是如下公式矩陣的數(shù)據(jù)集。
[0208][0209]
dtw算法進行幀對齊的流程包括：
[0210]
(1)輸入實時幀序列f和標準動作幀序列h
[0211]
(2)計算f中每一個元素和h中每一個元素的距離，距離計算方法為所有特征向量的比例總和，構造一個n*m的距離矩陣，f
i
，h
j
分別為f和h中的任意元素，公式如下：
[0212]
matrix＝(d(f
i
，h
j
)，i∈[1，m]，j∈[1，n]
????????????
(5
?
2)
[0213]
(3)基于距離矩陣matrix，采用局部最優(yōu)解的方法找到一條代價最小的規(guī)劃路徑w，k為路徑的長度，路徑代價公式見如下公式：
[0214][0215]
此時公式中w
k
＝(f
i
，h
j
)為路徑上的第k個元素，且(f
i
，h
j
)為matrix矩陣中第i行和第j列的元素(i，j)值。
[0216]
(4)計算以匹配好的實時幀和標準動作幀的特征向量的差異，選取動作關鍵關節(jié)角度為評價標準，比較實時幀和標準動作幀的關節(jié)角度余弦相似度的差異給出動作評價。
[0217]
以側向開合動作為例，標準動作關鍵幀選用a同學的健身動作數(shù)據(jù)，實時測試動作選用b同學的健身動作數(shù)據(jù)，兩者以各自的經(jīng)驗理解做出健身動作進行數(shù)據(jù)采集。
[0218]
本發(fā)明首先是標準動作關鍵幀的選取，采用人工采集的方法建立每個健身動作的標準動作幀特征矩陣，在實時獲取當前幀序列的運動特征，通過dtw算法求得兩者的幀匹配結果，計算關節(jié)角度余弦相似度的比較給出運動評價和糾正建議。
[0219]
綜上所述，本發(fā)明基于人體的姿態(tài)識別，以自重健身輔助系統(tǒng)為目的。通過intel realsense d435攝像頭實時地獲取自重健身者的健身動態(tài)視頻，對健身者的動作進行捕獲和分析，進行人體姿態(tài)估計，建立人體骨架關節(jié)點幀序列，提取計算動作的特征向量，來描述健身者的動作姿態(tài)。從實時幀序列中判斷健身者的健身動作，對運動特征進行匹配和比較，實現(xiàn)了對自重健身者健身動作是否標準的評判，提出改正方法輔助健身者訓練，從此自重健身訓練也可以不再僅依靠經(jīng)驗，實時接受自重健身輔助教練系統(tǒng)的健身分析指導。
[0220]
本發(fā)明主要積極效果：
[0221]
對intel realsense相機完成標定，獲取彩色圖像和深度圖像并構建點云渲染器，將平面點轉(zhuǎn)化為空間點表示，通過openpose獲取健身動作序列幀中人體的二維骨架關節(jié)點信息，結合深度信息將關鍵點轉(zhuǎn)化為3d坐標，實現(xiàn)健身動作的3d可視化，更好地表示健身者的姿態(tài)。
[0222]
運動特征的提取，針對每一個健身動作選取動作規(guī)范的特征，如關節(jié)角度，肢體朝
向，運動幅度，動作速度等，建立評價的標準。
[0223]
構建健身者自重健身數(shù)據(jù)集，發(fā)明全連接神經(jīng)網(wǎng)絡和卷積神經(jīng)網(wǎng)絡訓練動作識別的模型，可以快速準確的識別健身動作姿態(tài)，同時基于dtw算法實現(xiàn)對健身動作的評估和糾正。
[0224]
系統(tǒng)目前在windows平臺和樹莓派rasbian雙端實現(xiàn)，windows平臺幀率可達10，樹莓派依賴nsc2加速可達2.7fps。
[0225]
本領域技術人員在考慮說明書及實踐這里公開的公開后，將容易想到本公開的其它實施方案。本技術旨在涵蓋本公開的任何變型、用途或者適應性變化，這些變型、用途或者適應性變化遵循本公開的一般性原理并包括本公開未公開的本技術領域中的公知常識或慣用技術手段。說明書和實施例僅被視為示例性的，本公開的真正范圍和精神由所附的權利要求指出。
[0226]
應當理解的是，本公開并不局限于上面已經(jīng)描述并在附圖中示出的精確結構，并且可以在不脫離其范圍進行各種修改和改變。本公開的范圍應由所附的權利要求來限制。

相關知識

湯雨陽/基于HarmonyOS的健康體重管理系統(tǒng)
形體訓練的正確方法
基于腦電數(shù)據(jù)與面部表情影像的抑郁癥病癥輔助識別方法技術
智能健康管理系統(tǒng)的制作方法
形體訓練基礎知識
老年人健康管理系統(tǒng)的制作方法
五大教練助你打造完美身體 減肥方法
神經(jīng)系統(tǒng)疾病康復病人健康教育
感統(tǒng)訓練方法.pdf
競技體育有了“AI教練”——“聚焦智能體育消費新業(yè)態(tài)”系列報道之四

網(wǎng)址: 基于人體姿態(tài)識別的自重健身輔助教練系統(tǒng)、方法、終端 http://www.u1s5d6.cn/newsview248355.html