1.本發(fā)明涉及運(yùn)動監(jiān)測方法領(lǐng)域，具體是一種基于健康監(jiān)測的跳繩計(jì)數(shù)方法。

背景技術(shù)：

2.隨著生活水平的提高和健康觀念的改變，跳繩、拍球、踢毽子等健身運(yùn)動已經(jīng)成為人們?nèi)粘５囊徊糠?，這些運(yùn)動對心肺系統(tǒng)等各種臟器、協(xié)調(diào)性、姿態(tài)及減肥等都有極大幫助。但在競技或鍛煉過程中需要對這些運(yùn)動準(zhǔn)確有效地判別運(yùn)動次數(shù)，目前已經(jīng)有很多種基于人工智能技術(shù)的跳繩計(jì)數(shù)方法。
3.如公布號為cn109876416a和cn110210360a的中國專利文獻(xiàn)公開的一種基于圖像信息的跳繩計(jì)數(shù)方法和一種基于視頻圖像目標(biāo)識別的跳繩計(jì)數(shù)方法，通過識別繩子和人臉位置的方法來進(jìn)行計(jì)數(shù)。公布號為cn110102040a的中國專利文獻(xiàn)公開的一種基于互相關(guān)系數(shù)法的音頻跳繩計(jì)數(shù)方法，該方法通過識別繩子接觸地面的聲音來達(dá)到判斷跳繩的次數(shù)。公布號為cn112044046a的中國專利文獻(xiàn)公開的基于深度學(xué)習(xí)的跳繩計(jì)數(shù)方法，該方法通過對獲得的圖像數(shù)據(jù)進(jìn)行預(yù)處理，然后利用訓(xùn)練好的模型分類，并根據(jù)分類結(jié)果判斷當(dāng)前運(yùn)動狀態(tài)，最后統(tǒng)計(jì)跳繩狀態(tài)變化次數(shù)進(jìn)行計(jì)數(shù)。
4.這些方法僅用于跳繩計(jì)數(shù)，但對跳繩時人體的健康狀況，如心率等生理指標(biāo)并沒有進(jìn)行監(jiān)測。為了使運(yùn)動量控制在合理范圍、警示心臟猝死風(fēng)險(xiǎn)等，還需要監(jiān)測該運(yùn)動與生理信息(如心率等)變化之間的關(guān)系,這方面已經(jīng)有不少采用非接觸式技術(shù)監(jiān)測心率的方法。
5.如公布號為cn 112381011 a的中國專利文獻(xiàn)公開的基于人臉圖像的非接觸式心率測量方法、系統(tǒng)及裝置,該發(fā)明結(jié)合cnn特征提取以及l(fā)stm長短時記憶神經(jīng)網(wǎng)絡(luò)，并嵌入通道注意力網(wǎng)絡(luò)，實(shí)現(xiàn)誤差率低、效率高的心率非接觸式測量。公布號為cn 112381011 a的中國專利文獻(xiàn)公開的一種基于面部視頻序列的心率非接觸式測量方法，該方法通過獲取包含人體面部信息的視頻序列，并結(jié)合圖像的局部紋理特征和膚色模型，檢測并實(shí)時跟蹤人體面部區(qū)域?qū)崿F(xiàn)心率的非接觸測量。
6.上述方法主要針對靜止的身體進(jìn)行非接觸式心率監(jiān)測，不能有效地對運(yùn)動人體進(jìn)行有效的心率監(jiān)測。

技術(shù)實(shí)現(xiàn)要素：

7.本發(fā)明的目的是提供一種基于健康監(jiān)測的跳繩計(jì)數(shù)方法，以解決現(xiàn)有技術(shù)不能對跳繩運(yùn)動人體進(jìn)行有效心率監(jiān)測的問題。
8.為了達(dá)到上述目的，本發(fā)明所采用的技術(shù)方案為：
9.步驟1、獲取跳繩運(yùn)動的原始視頻數(shù)據(jù)，從原始視頻數(shù)據(jù)中提取出圖像數(shù)據(jù)；
10.步驟2、跳繩運(yùn)動計(jì)數(shù)；
11.步驟3、跳繩運(yùn)動時心率監(jiān)測；
12.步驟4、結(jié)果輸出并顯示。
13.上述技術(shù)方案中，利用攝像頭拍攝到跳繩運(yùn)動員全身，且攝像頭保持靜止、穩(wěn)定的情況下，對視頻信息進(jìn)行處理，然后統(tǒng)計(jì)跳繩狀態(tài)變化次數(shù)進(jìn)行計(jì)數(shù)，再根據(jù)該視頻對跳繩過程中運(yùn)動員的心率進(jìn)行監(jiān)測。該方法準(zhǔn)確率高，計(jì)數(shù)速度快，心率監(jiān)測的速度能滿足實(shí)際需要，具有很高的應(yīng)用價(jià)值。
14.步驟2中所述的跳繩運(yùn)動計(jì)數(shù)方法，采用基于posenet的跳繩計(jì)數(shù)方案。作為優(yōu)選，采用mobilenet模型，具體步驟包括：
15.步驟2
?
1、posenet姿態(tài)估計(jì)模型的輸入；具體包括：圖像；圖像比例因子；水平翻轉(zhuǎn)變量；輸出步幅。
16.其中，圖像比例因子為向模型輸入圖像前，對圖像進(jìn)行縮放的比例；輸出步幅為輸入圖像與輸出圖像的比值，輸出步幅越大，則網(wǎng)絡(luò)中特征圖及輸出圖像的尺寸越小，檢測準(zhǔn)確率降低，速度最快，該參數(shù)可選值為8、16或32。
17.步驟2
?
2、posenet處理圖像；當(dāng)posenet處理圖像時，實(shí)際輸出17個身體姿態(tài)關(guān)鍵點(diǎn)的熱圖(heatmap)與偏移矢量(offset vectors)。posenet檢測的17個關(guān)鍵點(diǎn)部位按照索引順序分別為：鼻、左眼、右眼、左耳、右耳、左肩、右肩、左肘、右肘、左腕、右腕、左髖、右髖、左膝、右膝、左腳踝、右腳踝。posenet人體部分關(guān)鍵點(diǎn)檢測示例如圖2所示。具體包含如下步驟：
18.步驟2
?2?
1、熱圖編碼；
19.其中熱圖為通道數(shù)為17的3d張量，每個通道對應(yīng)一個關(guān)鍵點(diǎn)的信息；偏移矢量為通道數(shù)為34的3d張量，前17個通道表征x坐標(biāo)信息，后17個通道表征y坐標(biāo)信息，可理解為編碼過程。
20.步驟2
?2?
2、解碼；對熱圖與偏移矢量進(jìn)行解碼可以找出對應(yīng)的關(guān)鍵點(diǎn)高置信度的區(qū)域坐標(biāo)。解碼方案為，先對熱圖應(yīng)用激活函數(shù)，以獲得關(guān)鍵點(diǎn)置信度；對這些置信度作arg max，取回?zé)釄D中每個身體部位得分最高的p索引與q索引，其中arg max定義如下：
[0021][0022]
式中f(p,q)表示熱圖經(jīng)sigmoid計(jì)算得到的置信度值。
[0023]
根據(jù)熱圖中的x索引與y索引的偏移量，得到每個部位的偏移矢量；將熱圖根據(jù)輸出步幅與相應(yīng)偏移向量恢復(fù)至原圖尺寸，得到每個關(guān)鍵點(diǎn)在熱圖上的x坐標(biāo)、y坐標(biāo)與置信度。
[0024]
步驟2
?
3、跳繩計(jì)數(shù)：
[0025]
進(jìn)行跳繩計(jì)數(shù)，其中，身體17個關(guān)鍵點(diǎn)坐標(biāo)包含x及y坐標(biāo)，而在跳繩計(jì)數(shù)時不關(guān)注橫向的偏移，納入x坐標(biāo)將增大誤差，因此算法僅涉及y坐標(biāo)；式去除了0～4個關(guān)鍵點(diǎn)坐標(biāo)，即鼻、左眼、右眼、左耳、右耳的坐標(biāo)，以減小頭部晃動而產(chǎn)生的不必要誤差，其中y
p
表示原圖中第5～17個去除x坐標(biāo)的關(guān)鍵點(diǎn)的y坐標(biāo)，此外，實(shí)際運(yùn)行中，排除了左腕、右腕的y坐標(biāo)，因?yàn)樘K過程中其運(yùn)動趨勢與整體軀干并非保持一致；dy
previous_round
為上一輪計(jì)算得到的dy
current_round
，該參數(shù)貫穿整個計(jì)數(shù)過程，使兩幀間的計(jì)算坐標(biāo)波動平穩(wěn)，保證算法穩(wěn)定性。
[0026]
步驟2
?
4、抖動抑制：
[0027]
為減小抖動帶來的誤差影響，如攝像頭的意外晃動，導(dǎo)致某些幀間的關(guān)鍵點(diǎn)坐標(biāo)變化過于劇烈或微小，在d
y
計(jì)算時將dy
previous_round
作為抖動抑制參數(shù)，利用平方根放大小值、縮小大值的特點(diǎn)，做如下修改：
[0028][0029][0030]
其中，sgn(x)為判斷正負(fù)性的函數(shù)，y
mean_i
，y
mean_i+1
，y
mean_i+2
分別表示第i,i+1,i+2幀的5～17個關(guān)鍵點(diǎn)的y坐標(biāo)平均值，dy
previous_round
為上一輪計(jì)算得到的dy
current_round
，而dy
current_round
由以下公式定義：
[0031]
dy
current_round
＝(dy
previous_round
+|y
mean_i+1
?
y
mean_i
|+|y
mean_i+2
?
y
mean_i+1
|)/3
[0032]
該參數(shù)dy
current_round
貫穿整個計(jì)數(shù)過程，使兩幀間的計(jì)算坐標(biāo)波動平穩(wěn)，保證算法穩(wěn)定性。
[0033]
步驟3中所述的跳繩運(yùn)動時心率監(jiān)測，采用自適應(yīng)人臉檢測與提取的rppg心率檢測方法，具體步驟說明如下：
[0034]
步驟3
?
1、自適應(yīng)人臉檢測與提取，采用基于yolov5的自適應(yīng)的人臉檢測與提取方案，具體包括：
[0035]
步驟3
?1?
1、從視頻幀圖像中取出10幀索引，并根據(jù)索引取幀圖像；
[0036]
步驟3
?1?
2、采用yolov5s網(wǎng)絡(luò)檢測人臉區(qū)域，從10坐標(biāo)中取左上坐標(biāo)的最小值，以及右下坐標(biāo)的最大值；
[0037]
步驟3
?1?
3、坐標(biāo)膨脹，并按照膨脹后坐標(biāo)裁剪；
[0038]
步驟3
?1?
4、輸入到心率檢測網(wǎng)絡(luò)。
[0039]
自適應(yīng)人臉檢測與提取模塊極大地增加了人臉的識別率，使得整個心率檢測系統(tǒng)更為穩(wěn)定可靠，增強(qiáng)魯棒性。
[0040]
步驟3
?
2、roi提取；定位提取心率檢測所需要的感興趣區(qū)域roi。前額、臉頰區(qū)域溫度相對恒定，因此選取暴露部分更多、穩(wěn)定性更強(qiáng)的臉頰區(qū)域提取脈搏波信號。
[0041]
步驟3
?
3、血液容積波信號(bvp)提取及心率提??；完成人臉roi提取后，需要對該區(qū)域進(jìn)行信號提取，采用面部roi區(qū)域rbg通道中的綠色通道(g通道)信號作數(shù)字信號濾波獲取bvp信號，由于臉頰分為兩部分，故將兩個roi的g通道信號的均值作為輸入的脈搏波信號。處理步驟如下：
[0042]
步驟3
?3?
1、巴特沃斯帶通濾波器(butterworth filter)濾波處理；用來減小環(huán)境變化和運(yùn)動產(chǎn)生的噪聲影響。
[0043]
步驟3
?3?
2、去趨勢(detrend)處理；用來減小光照變化造成的誤差，去趨勢處理可
以有效減輕傳感器偏移量的影響。
[0044]
步驟3
?3?
3、漢明(hanmming)窗收集信號；相對于直接截?cái)嘈盘?如矩形窗截?cái)?，可改善頻率泄漏問題。
[0045]
步驟3
?3?
4、離散傅里葉變換；將信號轉(zhuǎn)至頻域提取周期特性，頻域中能量譜峰值對應(yīng)頻率可視為心率。
[0046]
與現(xiàn)有技術(shù)相比，本發(fā)明的有益之處在于：
[0047]
本發(fā)明提供一種基于健康監(jiān)測的跳繩計(jì)數(shù)方法，采用非接觸式的視頻圖像方法，通過對視頻中跳繩的人和跳繩狀態(tài)的識別，來對跳繩人員的跳繩進(jìn)行計(jì)數(shù)；并同時根據(jù)視頻監(jiān)測人體跳繩運(yùn)動時的心率根據(jù)跳繩次數(shù)變化的狀況，來達(dá)到使運(yùn)動量控制在期望的范圍內(nèi)、警示心臟猝死風(fēng)險(xiǎn)等。該方法采用非接觸式技術(shù)，計(jì)數(shù)準(zhǔn)確率高，計(jì)數(shù)速度快，而且可以同時監(jiān)測運(yùn)動時心率變化等的狀況，具有很高的應(yīng)用價(jià)值。
附圖說明
[0048]
圖1為本發(fā)明實(shí)施例中基于深度學(xué)習(xí)的跳繩計(jì)數(shù)方法的流程圖。
[0049]
圖2為本發(fā)明實(shí)施例中posenet人體部分關(guān)鍵點(diǎn)檢測示例。
[0050]
圖3為本發(fā)明實(shí)施例中跳繩計(jì)數(shù)流程圖。
[0051]
圖4為本發(fā)明實(shí)施例中自適應(yīng)人臉檢測與提取算法示意圖。
[0052]
圖5為本發(fā)明實(shí)施例中roi的定位提取示例圖。
[0053]
圖6為本發(fā)明實(shí)施例中經(jīng)處理后的血液容積波信號(bvp)及心率信號波形圖。
具體實(shí)施方式
[0054]
為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，以下結(jié)合實(shí)施例及其附圖對本發(fā)明作進(jìn)一步說明。顯然，所描述的實(shí)施例是本發(fā)明的一部分實(shí)施例，而不是全部的實(shí)施例?；谒枋龅膶?shí)施例，本領(lǐng)域普通技術(shù)人員在無需創(chuàng)造性勞動的前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
[0055]
除非另外定義，本發(fā)明使用的技術(shù)術(shù)語或者科學(xué)術(shù)語應(yīng)當(dāng)為本發(fā)明所屬領(lǐng)域內(nèi)具有一般技能的人士所理解的通常意義。本發(fā)明中使用的“包括”或者“包含”等類似的詞語意指出現(xiàn)該詞前面的元件或者物件涵蓋出現(xiàn)在該詞后面列舉的元件或者物件及其等同，而不排除其他元件或者物件?！斑B接”或者“相連”等類似的詞語并非限定于物理的或者機(jī)械的連接，而是可以包括電性的連接，不管是直接的還是間接的?！吧稀?、“下”、“左”、“右”等僅用于表示相對位置關(guān)系，當(dāng)被描述對象的絕對位置改變后，則該相對位置關(guān)系也可能相應(yīng)地改變。
[0056]
實(shí)施例
[0057]
參見圖1至圖6，本實(shí)施例的一種基于健康監(jiān)測的跳繩計(jì)數(shù)方法包括以下步驟：
[0058]
步驟s100，獲取跳繩運(yùn)動的原始視頻數(shù)據(jù)，從原始視頻數(shù)據(jù)中提取出圖像數(shù)據(jù)。
[0059]
步驟s200，跳繩運(yùn)動計(jì)數(shù)。本例采用基于posenet的跳繩計(jì)數(shù)方案。作為優(yōu)選，本例采用mobilenet模型，具體步驟包括：
[0060]
步驟s210，posenet姿態(tài)估計(jì)模型的輸入；具體包括：圖像；圖像比例因子；水平翻轉(zhuǎn)變量；輸出步幅。
[0061]
步驟s220，posenet處理圖像；當(dāng)posenet處理圖像時，實(shí)際輸出17個身體姿態(tài)關(guān)鍵點(diǎn)的熱圖(heatmap)與偏移矢量(offset vectors)。posenet檢測的17個關(guān)鍵點(diǎn)部位按照索引順序分別為：鼻、左眼、右眼、左耳、右耳、左肩、右肩、左肘、右肘、左腕、右腕、左髖、右髖、左膝、右膝、左腳踝、右腳踝。posenet人體部分關(guān)鍵點(diǎn)檢測示例如圖2所示。具體包含如下步驟：
[0062]
步驟s221，熱圖編碼；其中熱圖為通道數(shù)為17的3d張量，每個通道對應(yīng)一個關(guān)鍵點(diǎn)的信息；偏移矢量為通道數(shù)為34的3d張量，前17個通道表征x坐標(biāo)信息，后17個通道表征y坐標(biāo)信息，可理解為編碼過程。
[0063]
步驟s222，解碼；對熱圖與偏移矢量進(jìn)行解碼可以找出對應(yīng)的關(guān)鍵點(diǎn)高置信度的區(qū)域坐標(biāo)。解碼方案為，先對熱圖應(yīng)用激活函數(shù)，以獲得關(guān)鍵點(diǎn)置信度；對這些置信度作arg max，取回?zé)釄D中每個身體部位得分最高的p索引與q索引，其中arg max定義如下：
[0064][0065]
式中f(p,q)表示熱圖經(jīng)sigmoid計(jì)算得到的置信度值。
[0066]
根據(jù)熱圖中的p索引與q索引的偏移量，得到每個部位的偏移矢量；將熱圖根據(jù)輸出步幅與相應(yīng)偏移向量恢復(fù)至原圖尺寸，得到每個關(guān)鍵點(diǎn)在原圖上的x坐標(biāo)、y坐標(biāo)與置信度。
[0067]
步驟s230，跳繩計(jì)數(shù)；其流程如圖3所示。
[0068]
其中，身體17個關(guān)鍵點(diǎn)坐標(biāo)包含x及y坐標(biāo)，而在跳繩計(jì)數(shù)時不關(guān)注橫向的偏移，納入x坐標(biāo)將增大誤差，因此算法僅涉及y坐標(biāo)。式去除了0～4個關(guān)鍵點(diǎn)坐標(biāo)，即鼻、左眼、右眼、左耳、右耳的坐標(biāo)，以減小頭部晃動而產(chǎn)生的不必要誤差，其中y
p
表示原圖中第5～17個去除x坐標(biāo)的關(guān)鍵點(diǎn)的y坐標(biāo),此外，實(shí)際運(yùn)行中，排除了左腕、右腕的y坐標(biāo)，因?yàn)樘K過程中其運(yùn)動趨勢與整體軀干并非保持一致。dy
previous_round
為上一輪計(jì)算得到的dy
current_round
，該參數(shù)貫穿整個計(jì)數(shù)過程，使兩幀間的計(jì)算坐標(biāo)波動平穩(wěn)，保證算法穩(wěn)定性。
[0069]
步驟s240，抖動抑制；說明如下：
[0070]
在d
y
計(jì)算時將dy
previous_round
作為抖動抑制參數(shù)，利用平方根放大小值、縮小大值的特點(diǎn)，做如下修改：
[0071][0072][0073]
其中，sgn(x)為判斷正負(fù)性的函數(shù)。
[0074]
步驟s300，跳繩運(yùn)動時心率監(jiān)測。本例采用自適應(yīng)人臉檢測與提取的rppg心率檢測方法，具體步驟說明如下：
[0075]
步驟s310，自適應(yīng)人臉檢測與提??；本例采用一種基于yolov5的自適應(yīng)的人臉檢測與提取方案，流程如圖4所示，具體包括：
[0076]
步驟s311，從視頻幀圖像中取出10幀索引，并根據(jù)索引取幀圖像。
[0077]
步驟s312，采用yolov5s網(wǎng)絡(luò)檢測人臉區(qū)域，從10坐標(biāo)中取左上坐標(biāo)的最小值，以及右下坐標(biāo)的最大值。
[0078]
步驟s313，坐標(biāo)膨脹，并按照膨脹后坐標(biāo)裁剪。
[0079]
步驟s314，輸入到心率檢測網(wǎng)絡(luò)。
[0080]
步驟s320，roi提?。欢ㄎ惶崛⌒穆蕶z測所需要的感興趣區(qū)域roi。前額、臉頰區(qū)域溫度相對恒定，本例選取暴露部分更多、穩(wěn)定性更強(qiáng)的臉頰區(qū)域提取脈搏波信號，如圖5所示。
[0081]
步驟s330，血液容積波信號(bvp)提取及心率提?。煌瓿扇四榬oi提取后，需要對該區(qū)域進(jìn)行信號提取，本例采用面部roi區(qū)域rbg通道中的綠色通道(g通道)信號作數(shù)字信號濾波獲取bvp信號，由于臉頰分為兩部分，故將兩個roi的g通道信號的均值作為輸入的脈搏波信號。處理步驟如下：
[0082]
步驟s331，巴特沃斯帶通濾波器(butterworth filter)濾波處理。
[0083]
步驟s332，去趨勢(detrend)處理。
[0084]
步驟s333，漢明(hanmming)窗收集信號。
[0085]
步驟s334，離散傅里葉變換。
[0086]
步驟s400，結(jié)果輸出并顯示。
[0087]
本發(fā)明所述的實(shí)施例僅僅是對本發(fā)明的優(yōu)選實(shí)施方式進(jìn)行的描述，并非對本發(fā)明構(gòu)思和范圍進(jìn)行限定，在不脫離本發(fā)明設(shè)計(jì)思想的前提下，本領(lǐng)域中工程技術(shù)人員對本發(fā)明的技術(shù)方案作出的各種變型和改進(jìn)，均應(yīng)落入本發(fā)明的保護(hù)范圍，本發(fā)明請求保護(hù)的技術(shù)內(nèi)容，已經(jīng)全部記載在權(quán)利要求書中。

相關(guān)知識

一種基于NBIOT技術(shù)的嬰兒健康狀況監(jiān)測系統(tǒng)設(shè)計(jì)方法
基于大數(shù)據(jù)的跳繩訓(xùn)練節(jié)奏調(diào)整策略
跳繩計(jì)數(shù)app有哪些2022 實(shí)用的跳繩計(jì)數(shù)app軟件大全
跳繩自動計(jì)數(shù)app有哪些 跳繩自動計(jì)數(shù)app大全
跳繩減肥的正確方法,一天跳多少
基于大數(shù)據(jù)的跳繩訓(xùn)練節(jié)奏調(diào)整策略.docx
一種基于多來源數(shù)據(jù)的設(shè)備健康狀態(tài)監(jiān)測系統(tǒng)及方法.pdf
跳繩減肥正確方法計(jì)劃書.pptx
跳繩計(jì)數(shù)器app有哪些 記錄跳繩次數(shù)的計(jì)數(shù)器軟件下載
跳繩app計(jì)數(shù)用哪個 跳繩計(jì)數(shù)軟件排行榜

網(wǎng)址: 一種基于健康監(jiān)測的跳繩計(jì)數(shù)方法 http://www.u1s5d6.cn/newsview1497497.html