本發(fā)明涉及一種基于機(jī)器視覺的用戶坐姿矯正系統(tǒng)，屬于健康領(lǐng)域，主要應(yīng)用的知識(shí)是計(jì)算機(jī)深度學(xué)習(xí)領(lǐng)域比較流行的深度學(xué)習(xí)，以及數(shù)理統(tǒng)計(jì)的相關(guān)知識(shí)。
背景技術(shù)：
：中小學(xué)生學(xué)習(xí)壓力太大導(dǎo)致學(xué)生長(zhǎng)時(shí)間坐立已成為一個(gè)嚴(yán)重的社會(huì)問題，嚴(yán)重影響了青少年身體的發(fā)育，特別是不良坐姿容易引起更嚴(yán)重的身體問題，而正確的坐姿則可以將危害降到最小化。在以往的研究中，姿態(tài)識(shí)別是一個(gè)人們關(guān)注度比較高的領(lǐng)域，從最開始的機(jī)器學(xué)習(xí)算法(比較著名的有k-近鄰法，svm等)，到類似圖像分類方面的直接把圖片放到cnn中進(jìn)行卷積分類的算法，識(shí)別的正確率也在逐步提升，而在人體姿態(tài)識(shí)別方面，人們引入骨骼關(guān)鍵點(diǎn)的特征提取之后，使得準(zhǔn)確率得到顯著提升。在人體姿態(tài)方面研究挺多，但人們更多的是關(guān)注人體動(dòng)作方面，具體到基于機(jī)器視覺坐姿方面論文卻非常少，而在這些研究中有的是數(shù)據(jù)集局限性大，有的提取的特征不合理，很難具有普適性。湖南大學(xué)黃旭的研究生畢業(yè)論文《基于判別式深度學(xué)習(xí)的坐姿視覺識(shí)別方法研究》，在最終優(yōu)化后只是提取了雙目相機(jī)的圖片視差作為補(bǔ)充特征，沒有充分利用圖片數(shù)據(jù)，且其數(shù)據(jù)集普化程度小，不具備說服力。技術(shù)實(shí)現(xiàn)要素：本發(fā)明所解決的問題：克服現(xiàn)有技術(shù)的不足，提供一種基于機(jī)器視覺的用戶坐姿矯正系統(tǒng)，采用人體骨骼關(guān)鍵點(diǎn)作為神經(jīng)網(wǎng)絡(luò)的輸入，使系統(tǒng)不受用戶衣物，所處背景的影響；采用普通攝像頭作為圖片采集工具，所需成本低。通過系統(tǒng)的識(shí)別模塊和統(tǒng)計(jì)模塊結(jié)合，可以準(zhǔn)確分析出用戶的坐姿狀況。本發(fā)明技術(shù)解決方案：一種基于機(jī)器視覺的用戶不良坐姿矯正系統(tǒng)，包括：攝像頭和服務(wù)器，服務(wù)器包括識(shí)別模塊和統(tǒng)計(jì)模塊；通過安裝在書桌旁的攝像頭按一定時(shí)間間隔捕捉用戶的側(cè)面坐姿圖片，根據(jù)需求，選擇性的加裝正攝像頭圖片，用作輔助識(shí)別；將所獲取的圖片傳回到服務(wù)器，服務(wù)器中的識(shí)別模塊是由大量數(shù)據(jù)集訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型，該識(shí)別模塊對(duì)圖片人物進(jìn)行骨骼關(guān)鍵點(diǎn)提取，然后將提取的數(shù)據(jù)輸入到神經(jīng)網(wǎng)絡(luò)中進(jìn)行坐姿識(shí)別，并將識(shí)別結(jié)果傳遞并存儲(chǔ)至統(tǒng)計(jì)模塊；統(tǒng)計(jì)模塊記錄識(shí)別結(jié)果并對(duì)一段時(shí)間的數(shù)據(jù)進(jìn)行分析，給出該用戶坐姿不良的評(píng)定等級(jí)，如果判斷學(xué)生坐姿不規(guī)范，就會(huì)將評(píng)定等級(jí)和矯正坐姿不良的矯正方法提供給智能設(shè)備，智能設(shè)備給出采取相應(yīng)措施的提示給用戶，同時(shí)智能設(shè)備再將矯正方法分類按次反饋到給統(tǒng)計(jì)模塊，統(tǒng)計(jì)模塊再根據(jù)矯正后用戶意見的表現(xiàn)情況，分析出造成用戶坐姿不良的真正原因，讓用戶針對(duì)性的進(jìn)行矯正。所述神經(jīng)網(wǎng)絡(luò)訓(xùn)練所采集數(shù)據(jù)集為采集的學(xué)生坐姿圖片數(shù)據(jù)集，其中采集的照片包含正常坐姿、前趴、后仰、左趴、右趴、左傾、右傾共7種姿勢(shì)，正面、側(cè)面圖片分別2000張。所述骨骼關(guān)鍵點(diǎn)提取采用的通用工具openpose；所述關(guān)鍵點(diǎn)包含：正面15個(gè)關(guān)鍵點(diǎn)和側(cè)面10個(gè)關(guān)鍵點(diǎn)，正面15個(gè)關(guān)鍵點(diǎn)包括左耳、右耳、左眼、右眼鼻、頸、左肩、左肘、左手腕、右肩、右肘、右手腕、左臀、中臀和右臀；側(cè)面10個(gè)關(guān)鍵點(diǎn)包括左耳、左眼、鼻、頸、左肩、左肘、左手腕、左臀、左膝蓋和左腳踝。所述神經(jīng)網(wǎng)絡(luò)采用了能有效防止訓(xùn)練衰退的resnet網(wǎng)絡(luò)，神經(jīng)網(wǎng)絡(luò)(cnn)的識(shí)別過程是一樣的，卷積層初步提取特征，池化層提取主要特征，全連接層將各部分特征匯總，最后產(chǎn)生分類器進(jìn)行識(shí)別；resnet網(wǎng)絡(luò)結(jié)構(gòu)(如圖5)主要由residual塊(如圖4)構(gòu)成residual序列，residual序列包含3個(gè)3*3*64residual塊,4個(gè)3*3*128residual塊，6個(gè)3*3*256residual塊，3個(gè)3*3*512residual塊。其中residual塊分為：residual和identity兩部分，如圖4所示，f(x)即為residual，x為identity。訓(xùn)練過程中神經(jīng)網(wǎng)絡(luò)會(huì)把最后的識(shí)別結(jié)果和真實(shí)結(jié)果作對(duì)比，得到一個(gè)loss值，神經(jīng)網(wǎng)絡(luò)通過降低loss值來提高識(shí)別精度。所述攝像頭為單攝像頭或雙攝像頭，定時(shí)獲取用戶的坐姿圖片。所述統(tǒng)計(jì)模塊的具體過程：(1)統(tǒng)計(jì)用戶不良坐姿次數(shù)，評(píng)出不良坐姿情況y；(2)統(tǒng)計(jì)用戶各種矯正方式x(x1,x2,x3)的次數(shù)；(3)統(tǒng)計(jì)不良坐姿情況y的變化；(4)根據(jù)x,y的變化關(guān)系分別求出x1，x2，x3與y的相關(guān)系數(shù)，即找到主要影響坐姿不良的主要因素；所述相關(guān)系數(shù)的求解公式如下：x,y的協(xié)方差：sx樣本標(biāo)準(zhǔn)差：sy樣本標(biāo)準(zhǔn)差：相關(guān)系數(shù)：分別求出x1,x2,x3因素與y的相關(guān)系數(shù)，根據(jù)實(shí)際相關(guān)系數(shù)越大，表示x與y的相關(guān)性越大，根據(jù)相關(guān)性系數(shù)找到造成坐姿不良的主要原因。本發(fā)明與現(xiàn)有技術(shù)相比的優(yōu)點(diǎn)在于：通過安裝在書桌旁的攝像頭按一定時(shí)間間隔捕捉用戶的側(cè)面坐姿圖片，根據(jù)需求，選擇性的加裝正攝像頭圖片，用作輔助識(shí)別；將所獲取的圖片傳回到服務(wù)器，服務(wù)器中的識(shí)別模塊是由大量數(shù)據(jù)集訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型，該識(shí)別模塊對(duì)圖片人物進(jìn)行骨骼關(guān)鍵點(diǎn)提取，然后將提取的數(shù)據(jù)輸入到神經(jīng)網(wǎng)絡(luò)中進(jìn)行坐姿識(shí)別，并將識(shí)別結(jié)果傳遞并存儲(chǔ)至統(tǒng)計(jì)模塊；統(tǒng)計(jì)模塊記錄識(shí)別結(jié)果并對(duì)一段時(shí)間的數(shù)據(jù)進(jìn)行分析，給出該用戶坐姿不良的評(píng)定等級(jí)，如果判斷學(xué)生坐姿不規(guī)范，就會(huì)將評(píng)定等級(jí)和矯正坐姿不良的矯正方法提供給智能設(shè)備，智能設(shè)備給出采取相應(yīng)措施的提示給用戶，同時(shí)智能設(shè)備再將矯正方法分類按次反饋到給統(tǒng)計(jì)模塊，統(tǒng)計(jì)模塊再根據(jù)矯正后用戶意見的表現(xiàn)情況，分析出造成用戶坐姿不良的真正原因，讓用戶針對(duì)性的進(jìn)行矯正。附圖說明圖1為雙攝像頭識(shí)別過程；圖2為單攝像頭識(shí)別過程；圖3為本發(fā)明的實(shí)現(xiàn)流程圖；圖4為resnet的residual塊；圖5為resnet的整體結(jié)構(gòu)。具體實(shí)施方式本發(fā)明是建立在計(jì)算機(jī)視覺的基礎(chǔ)上進(jìn)行的，通過安裝在書桌旁的攝像頭獲取用戶學(xué)習(xí)時(shí)的坐姿圖像，再將圖像上傳到后臺(tái)進(jìn)行處理，反饋?zhàn)R別結(jié)果，然后根據(jù)結(jié)果來進(jìn)行相應(yīng)處理。后臺(tái)即是進(jìn)行圖像識(shí)別的云服務(wù)器，用戶的坐姿照片會(huì)通過網(wǎng)絡(luò)傳到后臺(tái)進(jìn)行識(shí)別處理，具體需求及技術(shù)如下：(1)設(shè)備需求：智能手機(jī)1部攝像頭1-2個(gè)配套系統(tǒng)(手機(jī)軟件)(2)識(shí)別模塊通過對(duì)人體坐姿的分析，很容易可以知道，因?yàn)橛凶雷诱趽醯木壒?，僅通過正面的圖像很難獲取人體的整體特征圖，而這時(shí)從側(cè)面去可以獲取比正面?zhèn)€更加全面的數(shù)據(jù)特征，為了獲取更加全面的特征，可以采用雙攝像頭(正,側(cè)面各一個(gè))來采集用戶坐姿圖像，當(dāng)然如果用戶考慮成本情況，也可以選擇只要一個(gè)攝像頭放在側(cè)面，這樣已經(jīng)比較好的提取了區(qū)分度較高的特征，實(shí)際應(yīng)用沒有問題，加上正面攝像頭也只是為了做補(bǔ)充。圖1，圖2所示,在識(shí)別過程，在以往的姿態(tài)識(shí)別中，人們往往取正面的圖像作為輸入，然后通過算法識(shí)別出關(guān)鍵點(diǎn)，一般為18個(gè)或25個(gè)，不同數(shù)據(jù)集有所不同，但大部分情況下數(shù)據(jù)集采集的圖像是人物不被遮擋的場(chǎng)景，通過已有的算法特征可以很方便進(jìn)行姿態(tài)識(shí)別。本發(fā)明的內(nèi)容和一般的姿態(tài)識(shí)別問題有很多不同，正面拍攝的圖像將會(huì)被課桌遮擋掉下半身的圖像，只能提取出15個(gè)骨骼關(guān)鍵點(diǎn)(上半身)，而會(huì)忽略掉很多關(guān)鍵點(diǎn)信息。從常識(shí)可知，一般不良坐姿分為身體前傾和身體側(cè)傾兩種形式，而只關(guān)注正面的坐姿是沒法正確獲取身體特征的。因?yàn)檎媲皟A的不良坐姿會(huì)少了上半身和下半身的關(guān)節(jié)點(diǎn)位置關(guān)系，得不到好的結(jié)果，在處理從圖像讀取目標(biāo)空間信息的時(shí)候，人們往往會(huì)采用深度相機(jī)進(jìn)行數(shù)據(jù)采集，這樣就可以方便地獲取目標(biāo)的空間坐標(biāo)，但深度相機(jī)并不適用于本發(fā)明，因?yàn)樯疃认鄼C(jī)也無法獲取遮擋部分的數(shù)據(jù)。而如果從側(cè)面來對(duì)人體圖像捕捉，就可能很客觀的獲得上半身和下半身的位置關(guān)系，綜合考慮各種情況，決定采用以側(cè)面圖片數(shù)據(jù)為主，以正面圖片特征為輔的方式(如圖1)進(jìn)行特征提取，即在用戶側(cè)面安裝一個(gè)攝像頭，采集側(cè)面的圖片數(shù)據(jù)，側(cè)面只能觀察到人體的一半，所以可以有效提取其中的10個(gè)關(guān)鍵點(diǎn)，而關(guān)鍵點(diǎn)會(huì)以坐標(biāo)(x，y，c)形式給出，其中x,y分別是骨骼關(guān)鍵點(diǎn)的橫縱坐標(biāo)，c則是提取到的關(guān)鍵點(diǎn)的置信度?？梢约尤脒m當(dāng)?shù)膒adding把兩部分?jǐn)?shù)據(jù)按通道疊加到一起，這項(xiàng)就獲得了數(shù)據(jù)長(zhǎng)度為輸入數(shù)據(jù)。其中openpose是比較成熟的骨骼關(guān)鍵點(diǎn)提取工具，應(yīng)用該工具可以很容易的獲取信息，之后再將關(guān)鍵點(diǎn)輸入resnet進(jìn)行訓(xùn)練最后得到效果比較好的模型，利用該訓(xùn)練模型來進(jìn)行坐姿識(shí)別。當(dāng)然用戶為了節(jié)約成本，也可以采用單攝像頭裝在側(cè)面的方式(如圖2)，這種方式的正確率可能稍微低一些，但是也可以取得不錯(cuò)的效果。(3)統(tǒng)計(jì)模塊①情況分級(jí)結(jié)合實(shí)際額情況可知，不良坐姿在一定時(shí)間內(nèi)出現(xiàn)的時(shí)間達(dá)到一定長(zhǎng)度才會(huì)危害身體健康，不應(yīng)該把不標(biāo)準(zhǔn)坐姿認(rèn)定為不良坐姿，人體在保持一個(gè)姿勢(shì)一定的時(shí)間后，需要一段時(shí)間來休息。為了很好的評(píng)定用戶的不良程度情況，根據(jù)實(shí)際情況做了相應(yīng)的一些假設(shè)，設(shè)定系統(tǒng)每隔1分鐘會(huì)對(duì)姿態(tài)進(jìn)行一次標(biāo)準(zhǔn)判定，然后記錄到后臺(tái)，根據(jù)記錄的結(jié)果把坐姿分為四種情況：正常，輕微不良，不良，嚴(yán)重不良(如表1)：表1坐姿不良等級(jí)表等級(jí)正常輕微不良不良嚴(yán)重不良不良坐姿(次)<55-1011-20>20統(tǒng)計(jì)計(jì)分4321每隔半小時(shí)會(huì)反饋一次結(jié)果產(chǎn)生一次評(píng)定結(jié)果，將坐姿情況同步到智能設(shè)備，用戶可以實(shí)時(shí)了解坐姿狀況。②原因判斷造成坐姿不良的原因有很多，有可能是桌椅不匹配，也有可能是不良習(xí)慣造成的，還可能是一些身體骨骼發(fā)育不健全帶來的問題，如果是桌椅不匹配引起的坐姿不良，建議更換合適的桌椅就好了，如果是不良習(xí)慣，建議采用輔助性矯正工具來進(jìn)行適當(dāng)矯正，而對(duì)于骨骼發(fā)育不健全等引起的坐姿不良則需要及時(shí)就醫(yī)，以免引起更加嚴(yán)重的后果。一般來說，引起坐姿不良的原因可能是多方面的，可以根據(jù)統(tǒng)計(jì)結(jié)果給出合理建議，針對(duì)性的對(duì)用戶進(jìn)行坐姿矯正。設(shè)x為引起坐姿不良的原因，其中x1為座椅矯正次數(shù)，x2為采用輔助器具矯正次數(shù)，x3醫(yī)療骨骼矯正次數(shù)，設(shè)坐姿不良程度為y，根據(jù)x,y的實(shí)際情況，可以分析出引起坐姿不良的真正原因。x,y的協(xié)方差：sx樣本標(biāo)準(zhǔn)差：sy樣本標(biāo)準(zhǔn)差：相關(guān)系數(shù)：這樣可以分別求出x1,x2,x3因素與y的相關(guān)系數(shù)，根據(jù)實(shí)際相關(guān)系數(shù)越大，表示x與y的相關(guān)性越大，可以根據(jù)相關(guān)性系數(shù)找到造成坐姿不良的主要原因。如圖3所示，是整個(gè)矯正系統(tǒng)的具體流程，其中識(shí)別模塊和統(tǒng)計(jì)模塊是該系統(tǒng)的核心所在。通過安裝在用戶的前面和側(cè)面攝像頭手機(jī)兩個(gè)方向的圖片數(shù)據(jù)，然后將圖片上傳到服務(wù)器，服務(wù)器內(nèi)置有識(shí)別模塊和統(tǒng)計(jì)模塊兩個(gè)模塊。識(shí)別模塊會(huì)將目標(biāo)姿態(tài)進(jìn)行分類，判斷是否符合坐姿規(guī)范，之后將結(jié)果反饋到統(tǒng)計(jì)模塊中去。在統(tǒng)計(jì)模塊中已經(jīng)介紹，結(jié)合實(shí)際情況，一般用戶坐下學(xué)習(xí)的時(shí)間在半小時(shí)以上，而不良坐姿在持續(xù)一定時(shí)間后才會(huì)對(duì)身體造成危害，系統(tǒng)每半個(gè)小時(shí)進(jìn)行一次坐姿情況反饋，用戶可以通過智能設(shè)備的得到坐姿情況情況。目前從三個(gè)原因來分析用戶的坐姿不良形成原因，用戶首次使用矯正系統(tǒng)后，如檢測(cè)出被存在坐姿不良的情況，因?yàn)槌C正不良坐姿是個(gè)比較漫長(zhǎng)的過程，所以建議用戶從三方面入手改進(jìn)工作，根據(jù)之后的統(tǒng)計(jì)結(jié)果可以分析出造成該用戶坐姿不良的原因，然后指導(dǎo)用戶針對(duì)性的矯正。通過安裝在桌子旁邊的攝像頭采集青少年學(xué)習(xí)的實(shí)時(shí)圖片，通過已經(jīng)訓(xùn)練好的模型進(jìn)行判斷，如果判斷學(xué)生的坐姿不規(guī)范，就會(huì)通過智能設(shè)備進(jìn)行提醒。在通過對(duì)人體特征的分析，采用單或雙攝像頭兩種方式來獲取人體坐姿數(shù)據(jù)。(1)識(shí)別算法先采用openpose對(duì)數(shù)據(jù)提取的照片提取骨骼關(guān)鍵點(diǎn)，坐標(biāo)的形式會(huì)以(x,y,c)的形式給出，其中x,y分別是骨骼關(guān)鍵點(diǎn)的橫縱坐標(biāo)，c則是提取到的關(guān)鍵點(diǎn)的置信度。之后將關(guān)鍵點(diǎn)數(shù)據(jù)進(jìn)行處理后放入深度殘差網(wǎng)絡(luò)(resnet)中做分類識(shí)別，然后就可以獲得評(píng)測(cè)目標(biāo)的坐姿是否標(biāo)準(zhǔn)。(2)統(tǒng)計(jì)方法本發(fā)明通過統(tǒng)計(jì)青少年在單位時(shí)間內(nèi)出現(xiàn)不良坐姿的頻率，對(duì)青少年不良坐姿進(jìn)行評(píng)定分級(jí)，把結(jié)果反饋給青少年監(jiān)護(hù)人，一般造成不良坐姿的因素有很多，會(huì)根據(jù)家長(zhǎng)矯正后的結(jié)果獲得新的評(píng)定等級(jí)，根據(jù)新的等級(jí)影響因素來尋找真正造成坐姿不良的方法，幫家長(zhǎng)找到正確的影響因素。如圖4所示，weightlayer即為卷積層，用來提取圖片特征，relu是非線性激活函數(shù)，x為identity即輸入本身,f(x)即為殘差部分(residual)，圖4整體為殘差塊，即構(gòu)成深度殘差網(wǎng)絡(luò)的基本模塊。圖5是深度殘差網(wǎng)絡(luò)(resnet)的整體結(jié)構(gòu)，輸入圖片(input)經(jīng)過7*7,64通道的卷積核，之后便通過殘差模塊構(gòu)成的殘差序列(residual序列)，殘差序列(residual序列)包含3個(gè)3*3*64residual塊,4個(gè)3*3*128residual塊，6個(gè)3*3*256residual塊，3個(gè)3*3*512residual塊，avgpool為平均池化層，用于簡(jiǎn)化參數(shù)，同時(shí)減小鄰域大小受限造成的誤差，最后fc為全連接層，fc可以整合前面提取的所有特征，用于分類得到最終的輸出(output)。當(dāng)前第1頁(yè)12

相關(guān)知識(shí)

背背佳等矯姿帶能否改善不良體態(tài)？專家：有一定矯正作用
基于機(jī)器視覺的智能魚群健康狀況監(jiān)測(cè)系統(tǒng)
兒童姿勢(shì)矯正器到底是不是智商稅？記者體驗(yàn)：4種矯正器各有利弊
基于人體姿態(tài)識(shí)別的自重健身輔助教練系統(tǒng)、方法、終端
孩子幾種不良體形及矯正方法
近視了更要注意坐姿和型態(tài)，不正確的姿勢(shì)要提前矯正
矯正體態(tài)不良的方法有哪些
想改善坐姿？試試這些性價(jià)比高的矯姿坐墊，帶來健康坐姿！
體態(tài)矯正“神器”有用嗎？
身形矯正方法是什么

網(wǎng)址: 一種基于機(jī)器視覺的用戶不良坐姿矯正系統(tǒng)的制作方法 http://www.u1s5d6.cn/newsview567221.html