康復(fù)運動訓(xùn)練可以幫助由于中樞神經(jīng)損傷病癥引起運動障礙的患者進(jìn)行神經(jīng)功能重組,恢復(fù)精細(xì)動作能力[1-2].當(dāng)前對于康復(fù)訓(xùn)練的指導(dǎo),往往通過臨床醫(yī)師的直接觀察與輔助來進(jìn)行.然而我國目前供應(yīng)康復(fù)患者的醫(yī)療資源不足[3],智能醫(yī)療器械普及度不高,且由于90%以上的康復(fù)訓(xùn)練由患者居家完成[4],許多患者缺乏專業(yè)客觀的康復(fù)訓(xùn)練評估與反饋,這直接影響訓(xùn)練效果和持久性.直觀而及時地評估反饋能夠提高患者的訓(xùn)練積極性,也能提高訓(xùn)練效果[5].因此,研究智能評估康復(fù)患者訓(xùn)練動作的方法具有重要的臨床應(yīng)用價值.

針對康復(fù)訓(xùn)練的動作評估,傳統(tǒng)方式多采用康復(fù)運動量表,例如運動功能性篩查[6]和Fugl-Meyer評估[7].這類量表將特定的動作幅度劃分為多個等級,由臨床醫(yī)師觀察病人表現(xiàn)并根據(jù)量表打分,最后計算多個動作指標(biāo)得分,得到康復(fù)病人運動能力的評估結(jié)果.隨著傳感器與體感設(shè)備投入應(yīng)用,以距離度量的方式衡量動作表現(xiàn)水平的研究逐漸增加[8].湯翾等[9]利用Kinect相機(jī)對人體關(guān)鍵點信息和環(huán)境的深度信息進(jìn)行跟蹤分析,依次使用歐氏距離和模板匹配定位方法來判斷人體動作是否標(biāo)準(zhǔn);楊文璐等[10]采用動態(tài)時間規(guī)整(Dynamic Time Warp~ing, DTW)算法來計算Kinect相機(jī)所獲得的患者下肢體動作序列信息與動作庫中標(biāo)準(zhǔn)動作序列特征之間的相關(guān)度,加入時間參量后綜合得出患者動作評估結(jié)果;吳齊云等[11]在使用Kinect相機(jī)的基礎(chǔ)上,改進(jìn)DTW算法,提高運算速率,進(jìn)行兩組動作序列的角度值匹配,再通過K-means聚類方法對距離進(jìn)行評估并得到結(jié)果.

除了使用距離度量方式進(jìn)行動作評估,使用概率模型進(jìn)行動作評估也成為研究熱點.Houmanfar等[12]利用佩戴在人體上的慣性測量傳感器數(shù)據(jù),提出基于運動特征和基于隱馬爾科夫模型兩種動作評估方法,分別實現(xiàn)對單項訓(xùn)練科目的動作評估和多項訓(xùn)練科目的總體動作評估.Su等[13]利用Kinect相機(jī),采用DTW算法和模糊邏輯完成對康復(fù)患者居家訓(xùn)練的動作評估.Capecci等[14]則提出用隱半馬爾科夫模型對RGBD相機(jī)的動作數(shù)據(jù)進(jìn)行處理,并通過臨床評估和DTW算法來驗證方法的可靠性.Liao等[15]首次提出采用深度學(xué)習(xí)框架來進(jìn)行動作評估,先采用高斯混合模型(Gaussian Mixture Model, GMM)對動作數(shù)據(jù)進(jìn)行降維和建模,根據(jù)概率模型的似然數(shù)據(jù)輸出動作的評估分?jǐn)?shù)作為標(biāo)簽,然后訓(xùn)練深度學(xué)習(xí)網(wǎng)絡(luò)來評估康復(fù)訓(xùn)練動作.

在以上研究中,傳統(tǒng)人為動作評估方法具有較強(qiáng)的主觀性并且需要大量的康復(fù)醫(yī)師資源,難以滿足大量的康復(fù)訓(xùn)練需求.利用動作相似性度量方法(如歐氏距離)來進(jìn)行動作評估的方式采用與傳統(tǒng)方式類似的觀察視角,度量重要運動關(guān)節(jié)的運動數(shù)據(jù)變化,獲得區(qū)分顯著的動作評估結(jié)果.但是這種方法往往要求動作序列具有邊界固定性[10],即只能評估已分割完成的單個動作序列樣本,難以評估連續(xù)動作重復(fù)樣本.有研究[16-17]采用動作識別的方式檢測康復(fù)訓(xùn)練動作,但通常需要引入深度學(xué)習(xí)等方式增加運算量,缺乏實用性;基于概率模型的評估方式近年來有較多研究,在對動作的評估中也有研究利用概率模型完成對連續(xù)重復(fù)動作序列的自動分割.但基于概率模型的動作評估結(jié)果對于健康樣本和患者樣本的區(qū)分效果有限,無法顯著區(qū)分健康人與康復(fù)患者的動作評估得分[18].

由此,提出一種對連續(xù)康復(fù)訓(xùn)練動作分割與評估的方法.首先,對健康人動作進(jìn)行概率模型建模和標(biāo)準(zhǔn)動作模板制作;然后,對于康復(fù)患者的連續(xù)重復(fù)運動數(shù)據(jù)樣本,使用概率模型進(jìn)行動作分割,將單個運動分割片段分別進(jìn)行概率模型評估和距離評估;最后,融合兩種方法的評估結(jié)果并進(jìn)行多特征融合動作評估,得到連續(xù)康復(fù)訓(xùn)練動作樣本的評估得分.該方法運用醫(yī)療領(lǐng)域的先驗知識,利用概率模型對建模后的動作進(jìn)行分割與評估,結(jié)合距離度量手段來提高動作評估模型對正負(fù)樣本的區(qū)分度,具有良好的實際應(yīng)用價值.

1 動作建模

連續(xù)康復(fù)訓(xùn)練動作分割與評估框架如圖1所示.主要步驟為:先根據(jù)健康人運動數(shù)據(jù)建立動作模型,再根據(jù)動作模型對康復(fù)患者運動進(jìn)行分割與評估.

圖1

圖1  連續(xù)康復(fù)訓(xùn)練動作分割與評估框架

Fig.1  Framework of continuous rehabilitation exercises segmentation and evaluation

人體運動數(shù)據(jù)通常是由多個人體關(guān)鍵點坐標(biāo)組成的高維運動向量,用來表征運動時每個人體關(guān)鍵點的位置信息,進(jìn)一步計算能夠得到運動時每一個關(guān)節(jié)角度的變化信息.為了使常用于描述低維數(shù)據(jù)的GMM能夠表達(dá)人體運動信息,需要對人體運動數(shù)據(jù)進(jìn)行特征提取來降低維度.

首先對運動數(shù)據(jù)進(jìn)行預(yù)處理,利用運動采集儀器得到的動作數(shù)據(jù)為關(guān)節(jié)角度值,若以角度為單位,數(shù)據(jù)區(qū)間為[0°, 180°].不同關(guān)節(jié)角數(shù)據(jù)變化差異較大,不進(jìn)行縮放會對后續(xù)建模處理帶來計算開銷過大、特征混雜的問題,影響算法收斂速度.因此,需要對運動數(shù)據(jù)進(jìn)行歸一化處理.數(shù)據(jù)預(yù)處理具體實施步驟為:先得到整體運動數(shù)據(jù)的均值、最大值與最小值,將所有數(shù)據(jù)減去均值使得數(shù)據(jù)均勻分布在0兩側(cè),以最大值與最小值的差值作為縮放比例,再將所有數(shù)據(jù)乘以縮放比例即可得到在區(qū)間 [-1, 1]的所有數(shù)據(jù).

對于預(yù)處理后的運動數(shù)據(jù),采用主成分分析法對高維人體運動數(shù)據(jù)進(jìn)行降維處理,利用正交變換對一系列可能相關(guān)的變量觀測值進(jìn)行線性變換,從而投影為一系列線性不相關(guān)變量的值,保留數(shù)據(jù)中對方差貢獻(xiàn)最大的特征作為動作分析的主要特征.最后,取用具有最大方差的特征數(shù)據(jù)作為人體運動特征進(jìn)行后續(xù)分析,其方差大小占所有方差總和的97.8%.

1.1 GMM原理

GMM是一種常用的聚類算法,能夠用多個正態(tài)分布的概率密度函數(shù)的線性組合來描述任意維度變量的分布,因此有研究[15]將該模型用于人體動作建模.

將觀測數(shù)據(jù)表示為x,模型參數(shù)表示為θ,則GMM的概率分布模型如下:

P(x|θ)= ∑k=1Kαk?(x|θk)

(1)

式中:K為高斯模型的個數(shù);αk為各高斯模型的系數(shù),αk≥0,∑k=1Kαk=1;?(x|θk)為高斯分布密度函數(shù),對于一維GMM,θk=(μk, σ2k),其中μk為樣本均值,σ2k為樣本方差;對于二維GMM,θk=(μk, Σk),將觀測數(shù)據(jù)表示為列向量x,維數(shù)為2,具體形式如下式所示:

P(x|θ)= ∑k=1Kαk?(x|θk)= ∑k=1Kαk1(2π)D/2|Σk|1/2×exp [-12(x-μk)TΣ-1k(x-μk)]

(2)

式中:D為數(shù)據(jù)維數(shù);μk為樣本均值,維數(shù)為2;Σk為樣本的協(xié)方差矩陣,維數(shù)為2×2.

對于數(shù)據(jù)樣本序列x=(x1, x2, …, xj),j=1, 2, …, N,由GMM計算似然對數(shù)概率值的計算方法如下:

ln P(x)= ∑j=1Nln ∑k=1Kαk?(xj|μk, Σ k)

(3)

基于式(3)計算,可以得到每個運動特征點上在GMM中的對數(shù)似然概率值,通過求取均值即可得到單次動作序列的平均似然概率值,基于概率模型的動作評估根據(jù)此值來生成相應(yīng)的動作分?jǐn)?shù).

對于GMM的參數(shù)計算,可以使用期望極大(Expectation Maximization, EM)算法來進(jìn)行迭代求解[19].EM算法的計算主要為兩步,分別為E步與M步.

對于觀測變量數(shù)據(jù)xj,反映其來自第k個分模型的隱變量記為γjk,k=1, 2, …, K.只有當(dāng)?shù)趈個觀測來自第k個分模型時,γjk值為1,其他情況下γjk的值為0.完全數(shù)據(jù)(xj, γj1, γj2, …, γjK|θ)的似然函數(shù)如下:

P(x, γ|θ)= ∏j=1NP(xj, γ j1, γ j2, …, γ jK|θ)= ∏k=1K∏j=1N(αk?(xj|θk))γjk

(4)

E步構(gòu)造包含模型參數(shù)的Q函數(shù),模型參數(shù)為θ=(α, μ, Σ),如下:

Q(θ, θ(i))=E(lnP(x, γ|θ)|x,θ(i))= ∑k=1K(∑j=1N?γjkln αk+∑j=1N?γjkln?(xj|μk,Σk))

(5)

式中:E(·)為期望函數(shù);θ(i)為第i次迭代參數(shù)θ的估計值;?γjk為第k個分模型對觀測數(shù)據(jù)xj的響應(yīng)度,即

?γjk=E(γjk|x, θ)=P(γ jk=1|xj, θ k)= αk?(xj|θk)∑k=1Kαk?(xj|θk)

(6)

j=1, 2, …, N; k=1, 2, …, K

M步求使Q(θ, θ(i))極大化的θ,確定第 i+1次迭代的參數(shù)的估計值θ(i+1),如下:

θ(i+1)=arg maxθ Q(θ, θ(i))

(7)

初始化θ(0)=(α(0), μ(0), Σ(0)).

為求取對應(yīng)的模型參數(shù),將式(5)分別對μk、Σk求偏導(dǎo)并令其為0,在∑k=1Kαk=1時對αk求偏導(dǎo)并令其為0,得到每個模型參數(shù)的迭代值,每一輪的迭代如下:

γ(i)jk=α(i)k?(xj|μ(i)k,Σ(i)k)∑k=1Kα(i)k?(xj|μ(i)k,Σ(i)k)μ(i+1)k=∑j=1Nγ(i)jkxj∑j=1Nγ(i)jkΣ(i+1)k=∑j=1Nγ(i)jk(xj-μ(i+1)k)(xj-μ(i)k)T∑j=1Nγ(i)jkα(i+1)k=∑j=1Nγ(i)jkN}

(8)

1.2 連續(xù)重復(fù)動作序列分割

康復(fù)訓(xùn)練中的動作需要康復(fù)患者多次重復(fù)以達(dá)到鍛煉相應(yīng)肢體的目的,在運動數(shù)據(jù)上表現(xiàn)為一連串連續(xù)重復(fù)動作序列.如果要評估患者的動作,就需要對連續(xù)動作進(jìn)行分割,得到單次動作的運動數(shù)據(jù),再進(jìn)行動作建模以及后續(xù)的動作評估.進(jìn)行連續(xù)重復(fù)動作序列的分割時,首先需要在已分割的健康人運動數(shù)據(jù)樣本上基于概率模型進(jìn)行動作建模,以概率模型的特性建立分割方法,然后應(yīng)用到健康人與康復(fù)患者的運動數(shù)據(jù)當(dāng)中.

利用二維GMM對歸一化處理、特征提取后的動作數(shù)據(jù)進(jìn)行建模,可以獲得如圖2所示的各高斯模型分布.圖中:Tf為時間幀;Wf為角度特征值;橢圓形區(qū)域為各高斯模型的主要分布,數(shù)字代表各模型編號.由于經(jīng)過EM算法的迭代,原本有序的編號重新排列.其中高斯模型數(shù)量根據(jù)各高斯模型能否均勻完整覆蓋所有特征數(shù)據(jù)進(jìn)行設(shè)定,同時也需要根據(jù)后續(xù)動作分割效果進(jìn)行調(diào)整,在本文中,高斯模型數(shù)量設(shè)定為5,在該數(shù)量下各高斯模型能較好地描述所有特征數(shù)據(jù)的分布且能獲得較好的動作分割效果.

圖2

圖2  運動特征點在高斯混合模型上的分布

Fig.2  Distribution of motion feature points on a Gaussian mixture model

文獻(xiàn)[18]利用自左向右的隱馬爾科夫模型完成對連續(xù)重復(fù)動作的動作分割,其隱馬爾科夫模型中由狀態(tài)序列到觀測序列的觀測概率矩陣為二維GMM,每一個高斯模型視為隱馬爾科夫模型的一個狀態(tài).由此,將動作模型劃分為多個狀態(tài)進(jìn)行動作分割,各狀態(tài)對應(yīng)的就是GMM中的各高斯模型.一次完整的動作周期數(shù)據(jù)是按序遍歷各高斯模型后得到的,故可以通過檢測運動數(shù)據(jù)中所遍歷的高斯模型順序來判斷當(dāng)前運動數(shù)據(jù)的時間切片是否符合概率模型分布,若符合則保留分布相符合的部分作為一次動作的區(qū)間,即完成一次動作分割,省去額外的概率計算步驟.

為降低運算量與避免使用滑動窗口,采用基于特征的匹配隊列方法[18]進(jìn)行動作分割.對于連續(xù)重復(fù)運動,其單次動作周期常出現(xiàn)在導(dǎo)數(shù)為0處,表明人體在此刻到達(dá)動作的末端,即將開始下一段動作.因此可以選取運動曲線中的極值點作為待分割區(qū)域的起點與終點.為避免匹配隊列中各匹配點過于集中以及數(shù)據(jù)噪聲的影響,需要優(yōu)化匹配隊列.將幅值較小的極值點進(jìn)行過濾,同時對兩個0交叉點中存在多個極值點的情況進(jìn)行取均值處理,保證在相鄰0交叉點之間只有一個極值點.若直接使用所有的極值點輸入特征匹配隊列,則會出現(xiàn)錯誤分割動作區(qū)間的情況.如圖3所示,左側(cè)曲線上的空心圓代表特征匹配隊列中的預(yù)備分割點,背景中矩形框代表動作分割的各個區(qū)間,矩形框左下角的編號代表重復(fù)動作編號,匹配隊列中的每一分段都將由GMM計算狀態(tài)序列.由圖3可知,未進(jìn)行優(yōu)化的特征匹配隊列會產(chǎn)生異常分割點和較近距離內(nèi)多個分割點.對異常分割點所形成的動作區(qū)間進(jìn)行動作分割判斷時,會由于部分?jǐn)?shù)據(jù)分布特征相似而產(chǎn)生動作分割錯誤的情況,同時也會產(chǎn)生單次動作區(qū)間截斷的問題,而較近距離內(nèi)的多個分割點則會導(dǎo)致冗余運算與錯誤分割.因此,優(yōu)化特征匹配隊列能夠避免異常分割點和重復(fù)分割點的出現(xiàn),提高動作分割的正確率.對連續(xù)重復(fù)動作的最終分割結(jié)果如圖4所示.

圖3

圖3  特征匹配隊列優(yōu)化對動作分割的影響

Fig.3  Impact of feature matching queue optimization on motion segmentation

圖4

圖4  連續(xù)重復(fù)動作序列的動作分割

Fig.4  Motion segmentation for continuous repetitive motion sequences

2 多特征融合動作評估

動作評估的相關(guān)算法主要分為距離度量和概率模型評估.距離度量是通過測量并計算特定動作運動指標(biāo)來評估動作的標(biāo)準(zhǔn)程度,例如深蹲動作中的膝關(guān)節(jié)角度;概率模型評估則是先提取全身運動特征,對降維后的運動數(shù)據(jù)用概率模型描述,計算每個運動特征點的概率,以此評判動作的好壞.

以上兩種方法對于連續(xù)重復(fù)動作序列的動作評估均有不足,距離度量需要所對比的動作序列具有相同的起點與終點,概率模型評估則容易得出正負(fù)樣本評估分?jǐn)?shù)相近的結(jié)果.但由于概率模型可以對連續(xù)重復(fù)動作序列進(jìn)行動作分割,所以本文在動作分割的基礎(chǔ)上融合概率模型動作評估與動作相似性距離度量,建立多特征融合動作評估方法,既彌補概率模型動作評估區(qū)分度不高的缺陷,又滿足動作相似性度量對單次動作分割的需求.

2.1 顯著運動特征的動作相似性距離度量

在所有健康樣本中,可以根據(jù)醫(yī)學(xué)方面的先驗知識手工制作或者挑選顯著運動特征.例如,在深蹲動作中,可以直接挑選膝關(guān)節(jié)與髖關(guān)節(jié)的角度變化信息作為顯著運動特征,因為這兩個關(guān)節(jié)是參與運動的主要關(guān)節(jié),直接關(guān)系到運動質(zhì)量與準(zhǔn)確度;也可以根據(jù)相關(guān)醫(yī)學(xué)量表,制作運動特征,例如骨盆前傾、高低肩、脊柱傾斜等.

采用運動關(guān)節(jié)的角度變化作為顯著運動特征時,對所有健康樣本中該關(guān)節(jié)的運動數(shù)據(jù)求取均值,得到標(biāo)準(zhǔn)運動角度變化曲線;制作多個標(biāo)準(zhǔn)曲線,得到標(biāo)準(zhǔn)動作模板.選取深蹲動作中兩個具有顯著正負(fù)樣本區(qū)別的角度特征,進(jìn)行數(shù)據(jù)縮放后制作標(biāo)準(zhǔn)動作模板,則同一動作下不同樣本與標(biāo)準(zhǔn)動作模板的比較如圖5所示.

圖5

圖5  健康樣本、患者樣本與動作模板的兩個顯著特征比較

Fig.5  Comparison of two significant features between healthy samples, patient samples and motion templates

可以利用度量時間序列相似性的DTW算法來計算同一動作下不同樣本與標(biāo)準(zhǔn)動作模板的相似性,Hoda等[20]已通過臨床實驗驗證了該算法在康復(fù)評估中的有效性.DTW算法[11]是一種用來衡量兩個時間序列數(shù)據(jù)相似度的方法,可用于模板匹配,例如孤立詞語音識別、手勢識別等.對于兩個形貌相似的時間序列數(shù)據(jù),它們在時間軸上可能未對齊,因此需要在計算兩者相似度時,將其中一個或者兩個序列的時間軸進(jìn)行延伸和縮短,來達(dá)到映射對齊的要求,如果兩個序列的點相互正確對應(yīng),則兩者之間的歐氏距離就會達(dá)到最小.

DTW算法的核心為動態(tài)規(guī)劃,令動作模板的時間序列數(shù)據(jù)為

A=(a1, a2, …, ay),y=1, 2, …, U1

B=(b1, b2, …, bz),z=1, 2, …, U2

U1與U2分別為模板動作和測試動作的時間序列長度.令D(y, z)為點ay與bz之間的DTW距離,DTW算法的狀態(tài)轉(zhuǎn)移方程如下:

D(y, z)=d(ay, bz)+min{D(y-1, z), D(y, z-1), D(y-1, z-1)}

(9)

式中:d(ay, bz)為點ay與bz之間的歐氏距離.根據(jù)動態(tài)規(guī)劃的思路,從D(1, 1)開始,通過迭代中每一步選擇局部最優(yōu)值,計算到D(U1, U2)時便能得到全局最優(yōu)解,只要在獲得最優(yōu)解后逆向遍歷就能找出其所對應(yīng)的DTW路徑,如圖6所示.圖中:W為時間序列數(shù)據(jù)的值.

圖6

圖6  DTW算法

Fig.6  DTW algorithm

由于模板是通過健康樣本生成的,所以計算健康樣本與模板動作的DTW距離時,得到的結(jié)果基本都會維持在一個較低且集中的距離范圍內(nèi);而患者樣本在顯著運動特征方面數(shù)據(jù)差異較大,與模板動作相似度低,兩者之間的DTW距離較遠(yuǎn),且DTW距離分布也較為離散.

2.2 多特征融合動作評估方法

多特征融合動作評估先使用數(shù)據(jù)降維方法處理運動數(shù)據(jù),再利用GMM對降維后的運動數(shù)據(jù)進(jìn)行動作建模.由于所建立的概率模型對動作只有整體性描述,缺少類似康復(fù)量表等具體運動指標(biāo)的局部性描述,所以重新從原始運動數(shù)據(jù)中提取顯著運動特征,建立動作模板并進(jìn)行動作評估,將概率模型與顯著運動特征的評估結(jié)果融合,給出最終的動作評估分?jǐn)?shù).多特征融合動作評估的計算方法如下:

式中:Gf、Gg、Gd分別為多特征融合評估、GMM似然評估以及顯著運動特征DTW距離評估的分?jǐn)?shù),且均通過放縮手段統(tǒng)一到相同數(shù)據(jù)區(qū)間;β為評估分?jǐn)?shù)的融合系數(shù),取值為0.5,可根據(jù)具體健康人與康復(fù)患者動作分?jǐn)?shù)分布特點進(jìn)行調(diào)整.

圖7

圖7  多特征融合動作評估方法流程圖

Fig.7  Flow chart of multi-feature fusion motion evaluation method

3 動作評估實驗結(jié)果及分析

3.1 實驗數(shù)據(jù)集

為驗證多特征融合的康復(fù)訓(xùn)練動作評估方法的有效性,采用UI-PRMD數(shù)據(jù)集[21],該數(shù)據(jù)集包含來自10個實驗對象的人體運動數(shù)據(jù),其中有10個動作類別(深蹲、跨欄步、內(nèi)聯(lián)弓步等),每個動作類別由實驗對象產(chǎn)生正確樣本和不正確樣本,不正確樣本用來模擬康復(fù)患者的動作,表現(xiàn)出一些動作的運動障礙.采用Vicon光學(xué)追蹤系統(tǒng)和Kinect傳感器采集數(shù)據(jù),其中每種方式采集的數(shù)據(jù)包含人體關(guān)鍵點的角度數(shù)據(jù)和位置數(shù)據(jù).除以上特點外,數(shù)據(jù)集預(yù)先完成所有動作的時間序列數(shù)據(jù)分割,每個實驗對象的每個動作都有單次重復(fù)動作的運動數(shù)據(jù),方便研究者進(jìn)行人體動作研究.

3.2 連續(xù)重復(fù)動作序列分割

以深蹲動作為研究對象,對健康樣本分割數(shù)據(jù)集進(jìn)行GMM建模后,對數(shù)據(jù)集中未進(jìn)行動作分割的連續(xù)重復(fù)動作序列進(jìn)行動作分割,部分健康樣本與患者樣本的動作分割結(jié)果如所圖8所示.圖中:Wr為實際關(guān)節(jié)角度值;不同底色的矩形區(qū)域為分割得到的單次重復(fù)動作區(qū)間.

圖8

圖8  深蹲動作樣本進(jìn)行分割的部分結(jié)果

Fig.8  Partial results of segmentation of deep squat movement sample

所有健康樣本與患者樣本的動作分割結(jié)果中正確與錯誤數(shù)量如表1所示.統(tǒng)計結(jié)果表明,基于GMM模型的動作分割在數(shù)據(jù)集上表現(xiàn)出色,對健康樣本的識別率達(dá)到97%,對患者樣本的識別率達(dá)到94%.由分析分割結(jié)果可以看出,該分割方法對動作序列中連續(xù)有規(guī)律的動作分割較準(zhǔn)確,對首尾兩端的動作以及運動間隔時間較長的動作分割存在一定困難.

表1  連續(xù)重復(fù)動作序列分割結(jié)果

Tab.1  Results of continuous repetitive motion sequence segmentation

樣本類型樣本總數(shù)正確分割數(shù)錯誤分割數(shù)健康樣本100973患者樣本100946

新窗口打開|下載CSV

3.3 多種動作評估方法效果比較

為表征多種評估方法的評估效果,采用文獻(xiàn)[15]中的數(shù)據(jù)縮放方式和分離度(Separation Degree,SD)評價指標(biāo),計算健康人群與康復(fù)患者之間動作評估結(jié)果的區(qū)分度.

該數(shù)據(jù)縮放方式將數(shù)據(jù)縮放到區(qū)間[1,20],該取值范圍為經(jīng)驗取值[15],對于健康樣本h=(h1, h2, …, hl)與患者樣本p=(p1, p2, …, pl),l=1, 2, …, L,具體數(shù)據(jù)放縮的計算公式為

h'l=19(hl-m)M-m+1p'l=19(pl-m)M-m+1}

(11)

式中:M=maxi, j∈L_{hi, pj}, m=mini, j∈L_{hi, pj}分別為兩個樣本中的最大值與最小值,L_={1, 2, …, L}.

對于放縮后的樣本數(shù)據(jù),通過SD指標(biāo)(SD)計算兩個動作評估群體樣本之間的區(qū)分度,輸出-1到1之間的標(biāo)量,該值越接近0表明兩個群體樣本之間區(qū)分度越低,越靠近-1或者1則表明兩個群體之間具有越好的區(qū)分度.對于數(shù)據(jù)放縮后的健康樣本h'=(h'1, h'2, …, h'n),n=1, 2, …, N1,與患者樣本p'=(p'1, p'2, …, p'q),q=1, 2, …, N2,N1與N2分別是兩個樣本的數(shù)量,計算方法如下:

SD(h', p')= 1N1N2∑n=1N1∑q=1N2h'n-p'qh'n+p'q

(12)

在相同深蹲動作數(shù)據(jù)[21]上將多特征融合評估方法與各評估方法進(jìn)行對比,得到如表2所示的對比結(jié)果.首先用各方法對所有實驗對象的數(shù)據(jù)建立一個泛化的評估模型,利用該模型得出每個動作樣本的評估得分,在不同實驗對象之間比較評估得分的分離度.其次,由于數(shù)據(jù)集是通過健康人模擬康復(fù)患者表現(xiàn)來得到患者數(shù)據(jù)樣本,故可以通過對同一個實驗對象單獨建立特化的評估模型,來提高各方法在所有降維數(shù)據(jù)上的分離度.由表2的對比結(jié)果可以看出,本文多特征融合評估方法在泛化動作模型和特化動作模型兩方面均優(yōu)于現(xiàn)有評估方法結(jié)果,其中泛化動作模型方面提高較大,相較原先較好的GMM似然評估方法提高19%.

表2  不同評估方法對于同一動作樣本的分離度對比

Tab.2  Comparison of separation degree of different evaluation methods for the same motion samples

比較對象歐氏
距離馬氏
距離DTW
距離GMM
似然多特征融合
(本文方法)不同實驗對象0.3350.1440.3450.3570.425同一實驗對象0.5230.3790.5290.5840.609

新窗口打開|下載CSV

3.4 多種動作評估方法評分?jǐn)?shù)據(jù)分布比較

根據(jù)文獻(xiàn)[15]中所使用的換算公式,將人體運動數(shù)據(jù)從GMM似然估計得分、顯著運動特征估計得分以及多特征融合評估得分轉(zhuǎn)化為[0,1]之間的分?jǐn)?shù)值,對于健康樣本h=(h1, h2, …, hl)與患者樣本p=(p1, p2, …, pl),l=1, 2, …, L,換算公式為

-hl=(1+ehlμ+3δ-α1) -1-pl=[1+ehlμ+3δ-α1+pl-hlα2(μ+3δ)]-1}

(13)

式中:μ為健康樣本均值;δ為健康樣本方差;α1與α2為兩個經(jīng)驗參數(shù),分別取3.2和10,可根據(jù)具體數(shù)據(jù)特點調(diào)整.

根據(jù)式(13)計算結(jié)果進(jìn)行運動評估分?jǐn)?shù)繪圖,得到如圖9所示的數(shù)據(jù)分布箱圖與各評估方法分?jǐn)?shù)圖.圖中:G為動作評分;R為重復(fù)動作編號,表示同一動作的重復(fù)執(zhí)行次數(shù).在各評估方法運動得分的子圖中,可以看出在GMM似然評估中,患者樣本與健康樣本評分分布距離不大,但一些病患樣本表現(xiàn)出與健康樣本相同的分?jǐn)?shù);在顯著運動特征評估中,患者樣本評分主要分布區(qū)間與健康樣本評分距離較大,但同時也出現(xiàn)患者樣本評分?jǐn)?shù)據(jù)離散程度過大、部分患者樣本評分結(jié)果高于健康樣本的異常數(shù)據(jù)結(jié)果;在多特征融合評估中,健康樣本評分基本保持較為集中且得分較高的分布,病患樣本評分離散分布,得分基本低于健康樣本,與健康樣本較少或幾乎不重疊.圖9表明GMM似然評估下健康樣本與患者樣本分布距離較近,顯著特征DTW距離評估下則有較大的正負(fù)樣本分布距離,但同時存在患者樣本異常評分的問題.多特征融合評估方法結(jié)合前兩種評估方法,增大了正負(fù)樣本的分布距離,減少了異常動作評分的出現(xiàn).

圖9

圖9  不同評估方法對同一動作的評估打分結(jié)果

Fig.9  Evaluation scoring results of the same motion by different evaluation methods

以圖9中箱圖各數(shù)據(jù)的上下四分位點作為評估分?jǐn)?shù)的主要分布區(qū)間,如表3所示,在健康樣本運動評估分?jǐn)?shù)分布相近的情況下,多特征融合評估患者樣本的主要分布區(qū)間為[0.817, 0.892],均值為0.851,均優(yōu)于GMM似然評估方法的分布區(qū)間與均值.

表3  不同評估方法對于同一動作的不同實驗對象評估分?jǐn)?shù)主要分布區(qū)間和均值

Tab.3  Main distribution intervals and mean values of evaluation scores of different subjects for the same motion by different evaluation methods

樣本類型GMM似然評估顯著特征DTW距離評估多特征融合評估(本文方法)評分區(qū)間平均值評分區(qū)間平均值評分區(qū)間平均值健康樣本[0.925, 0.941]0.933[0.935, 0.949]0.940[0.930, 0.944]0.937患者樣本[0.854, 0.908]0.874[0.774, 0.889]0.827[0.817, 0.892]0.851

新窗口打開|下載CSV

由此得出,多特征融合評估在增大健康樣本與患者樣本運動質(zhì)量分?jǐn)?shù)分布距離的同時,也優(yōu)化了健康樣本和患者樣本各自動作評分的分布特點,減少了顯著運動特征評估患者樣本分布中的患者樣本異常評分?jǐn)?shù)量.

3.5 多特征融合動作評估示例

采用UI-PRMD數(shù)據(jù)集中Vicon光學(xué)追蹤系統(tǒng)采集的人體深蹲動作數(shù)據(jù),對一組連續(xù)運動進(jìn)行動作分割后,分別進(jìn)行GMM似然評估、顯著運動特征的DTW距離評估以及多特征融合動作評估.

動作樣本分割效果如圖10所示,圖中灰色實線為樣本的運動數(shù)據(jù),不同顏色的矩形區(qū)域為分割出來的單次運動區(qū)間,矩形框左下角的數(shù)字為單次運動區(qū)間的序號,可以看出健康樣本和患者樣本都有較為清晰完整的動作分割結(jié)果,原數(shù)據(jù)中的噪聲與誤差對于特征提取后的動作分割影響有限.

圖10

圖10  深蹲動作連續(xù)重復(fù)序列的分割結(jié)果

Fig.10  Segmentation results for sequential repetition sequences of deep squat movements

采用3種評估方法對分割完成的數(shù)據(jù)進(jìn)行動作評分,得到如圖11所示的評分圖.可以看出,在GMM似然評估與顯著特征DTW距離評估中都存在個別患者樣本動作分?jǐn)?shù)高于健康樣本的不合理情況,例如圖11(a)中重復(fù)動作編號為1、8的動作和圖11(b)中重復(fù)動作編號為6的動作.圖10的原始動作數(shù)據(jù)顯示,患者樣本編號為1、8的動作明顯差于健康樣本,樣本編號為6的患者其動作與健康樣本相似,在數(shù)據(jù)細(xì)節(jié)上差別較小.在多特征融合動作評估結(jié)果中,該不合理的數(shù)據(jù)分布情況得到有效改善,健康樣本的得分基本高于患者樣本,編號為6的動作由于健康樣本與患者樣本的實際運動數(shù)據(jù)相似而評估分?jǐn)?shù)相近,表明多特征融合動作評估方法能夠減少單一評估方法導(dǎo)致的異常評估分?jǐn)?shù),使得健康樣本動作分?jǐn)?shù)基本高于患者樣本,讓兩者的得分呈現(xiàn)較為合理的分布.

圖11

圖11  3種連續(xù)重復(fù)動作評估結(jié)果比較

Fig.11  Results of three continuous repetitive motion evaluation methods

4 結(jié)論

提出基于GMM的動作分割方法,在單次動作過程中建立多個狀態(tài)以及運動數(shù)據(jù)在狀態(tài)之間的變化對連續(xù)重復(fù)的動作序列進(jìn)行分割,分割結(jié)果顯示該方法在健康樣本中正確率為97%,在康復(fù)患者樣本中正確率為94%,正確率均較高.針對動作分割所得到的單次動作數(shù)據(jù),提出結(jié)合顯著運動特征DTW距離評估與GMM似然評估的多特征融合動作評估方法,從康復(fù)訓(xùn)練動作的整體動作與局部關(guān)節(jié)信息兩方面進(jìn)行動作評估.將本文方法在數(shù)據(jù)集UI-PRMD上進(jìn)行實驗,與其他動作評估方法進(jìn)行對比分析,得到以下結(jié)論:

(1) 在動作分割的基礎(chǔ)上進(jìn)行動作評估, 能夠滿足動作相似性距離度量方法對邊界固定性的需求, 無需測試對象刻意進(jìn)行單次動作或人工手動分割運動數(shù)據(jù), 有效實現(xiàn)對連續(xù)重復(fù)動作序列的動作評估, 使之具備在居家治療等場景下應(yīng)用的潛力.

(2) 通過融合顯著特征DTW距離評估和概率模型似然評估結(jié)果, 有效提高單一概率模型動作評估對健康樣本與患者樣本的區(qū)分程度.對于不同實驗對象, 正負(fù)樣本的分離度為0.425, 較GMM似然評估方法提升19%;對于同一實驗對象的不同表現(xiàn), 正負(fù)樣本的分離度為0.609, 同樣優(yōu)于GMM似然評估方法的結(jié)果.

(3) 多特征融合動作評估方法使得健康樣本動作分?jǐn)?shù)主要分布在0.930~0.944的得分區(qū)間, 均值為0.937;患者樣本動作分?jǐn)?shù)主要分布在0.817~0.892的得分區(qū)間, 均值為0.851.統(tǒng)計特征均優(yōu)于GMM似然評估方法, 表明多特征融合動作評估方法在動作運動質(zhì)量打分方面具有更好的表現(xiàn).

參考文獻(xiàn)

[1]

崔迪.

虛擬環(huán)境下遠(yuǎn)程自適應(yīng)康復(fù)訓(xùn)練系統(tǒng)與評估模型研究

[D]. 寧波: 中國科學(xué)院大學(xué)(中國科學(xué)院寧波材料技術(shù)與工程研究所), 2017.

[本文引用: 3]

CUI Di.

Research on adaptability and evaluation model of remote rehabilitation training system in virtual environment

[D]. Ningbo: Ningbo Institute of Material Technology, Chinese Academy of Sciences, 2017.

[本文引用: 3]

[2]

LUNENBURGER L, WELLNER M, BANZ R, et al.

Virtual Performance-Enhancing Reality (ViPER) for robot-assisted gait training[C]//2006 International Workshop on Virtual Rehabilitation

New York, USA: IEEE, 2006: 174-177.

[本文引用: 1]

[3]

耿松松.

中國殘疾人康復(fù)現(xiàn)狀與問題研究

[D]. 蘭州: 蘭州大學(xué), 2013.

[本文引用: 1]

GENG Songsong.

Rehabilitation and problems on disabled in China

[D]. Lanzhou: Lanzhou University, 2013.

[本文引用: 1]

[4]

KOMATIREDDY R, CHOKSHI A, BASNETT J, et al.

Quality and quantity of rehabilitation exercises delivered by a 3-D motion controlled camera: A pilot study

[J]. International Journal of Physical Medicine & Rehabilitation, 2014, 2(4): 214.

[本文引用: 1]

[5]

JOHANSSON B B.

Current trends in stroke rehabilitation. A review with focus on brain plasticity

[J]. Acta Neurologica Scandinavica, 2011, 123(3): 147-159.

DOI:10.1111/j.1600-0404.2010.01417.x    PMID:20726844     [本文引用: 1]

Current understanding of brain plasticity has lead to new approaches in ischemic stroke rehabilitation. Stroke units that combine good medical and nursing care with task-oriented intense training in an environment that provides confidence, stimulation and motivation significantly improve outcome. Repetitive trans-cranial magnetic stimulation (rTMS), and trans-cranial direct current stimulation (tDCS) are applied in rehabilitation of motor function. The long-term effect, optimal way of stimulation and possibly efficacy in cognitive rehabilitation need evaluation. Methods based on multisensory integration of motor, cognitive, and perceptual processes including action observation, mental training, and virtual reality are being tested. Different approaches of intensive aphasia training are described. Recent data on intensive melodic intonation therapy indicate that even patients with very severe non-fluent aphasia can regain speech through homotopic white matter tract plasticity. Music therapy is applied in motor and cognitive rehabilitation. To avoid the confounding effect of spontaneous improvement, most trials are preformed ≥3 months post stroke. Randomized controlled trials starting earlier after strokes are needed. More attention should be given to stroke heterogeneity, cognitive rehabilitation, and social adjustment and to genetic differences, including the role of BDNF polymorphism in brain plasticity.? 2010 John Wiley & Sons A/S.

[6]

TEYHEN D S, SHAFFER S W, LORENSON C L, et al.

The functional movement screen: A reliability study

[J]. The Journal of Orthopaedic & Sports Physical Therapy, 2012, 42(6): 530-540.

[本文引用: 1]

[8]

ZHANG Z, FANG Q, GU X D.

Objective assessment of upper-limb mobility for poststroke rehabilitation

[J]. IEEE Transactions on Bio-medical Engineering, 2016, 63(4): 859-868.

DOI:10.1109/TBME.2015.2477095    PMID:26357394     [本文引用: 1]

The assessment of the limb mobility of stroke patients is an essential part of poststroke rehabilitation. Conventionally, the assessment is manually performed by clinicians using chart-based ordinal scales, which can be subjective and inefficient. By introducing quantitative evaluation measures, the sensitivity and efficiency of the assessment process can be significantly improved. In this paper, a novel single-index-based assessment approach for quantitative upper-limb mobility evaluation has been proposed for poststroke rehabilitation. Instead of the traditional human-observation-based measures, the proposed assessment system utilizes the kinematic information automatically collected during a regular rehabilitation training exercise using a wearable inertial measurement unit. By calculating a single index, the system can efficiently generate objective and consistent quantitative results that can reflect the stroke patient's upper-limb mobility. In order to verify and validate the proposed assessment system, experiments have been conducted using 145 motion samples collected from 21 stroke patients (12 males, nine females, mean age 58.7±19.3) and eight healthy participants. The results have suggested that the proposed assessment index can not only differentiate the levels of limb function impairment clearly (p < 0.001, two-tailed Welch's t-test), but also strongly correlate with the Brunnstrom stages of recovery (r = 0.86, p < 0.001). The assessment index is also proven to have great potential in automatic Brunnstrom stage classification application with an 82.1% classification accuracy, while using a K-nearest-neighbor classifier.

[9]

湯翾, 黃襄念, 周杉.

基于Kinect的肩周炎康復(fù)訓(xùn)練動作識別系統(tǒng)研究

[J]. 現(xiàn)代計算機(jī)(專業(yè)版), 2014(23): 53-55.

[本文引用: 1]

TANG Xuan, HUANG Xiangnian, ZHOU Shan.

Research on the frozen rehabilitation training action recognition system based on kinect

[J]. Modern Computer, 2014(23): 53-55.

[本文引用: 1]

[10]

楊文璐, 王杰, 夏斌, 等.

基于Kinect的下肢體康復(fù)動作評估系統(tǒng)

[J]. 傳感器與微系統(tǒng), 2017, 36(1): 91-94.

[本文引用: 2]

YANG Wenlu, WANG Jie, XIA Bin, et al.

Assessment system of lower limb rehabilitation action based on Kinect

[J]. Transducer & Microsystem Technologies, 2017, 36(1): 91-94.

[本文引用: 2]

[11]

吳齊云, 戰(zhàn)蔭偉, 邵陽.

基于DTW和K-means的動作匹配和評估

[J]. 電子技術(shù)應(yīng)用, 2016, 42(8): 141-143.

[本文引用: 2]

WU Qiyun, ZHAN Yinwei, SHAO Yang.

Human motion matching and evaluation based on STDTW and K-means

[J]. Application of Electronic Technique, 2016, 42(8): 141-143.

[本文引用: 2]

[12]

HOUMANFAR R, KARG M, KULI? D.

Movement analysis of rehabilitation exercises: Distance metrics for measuring patient progress

[J]. IEEE Systems Journal, 2016, 10(3): 1014-1025.

DOI:10.1109/JSYST.2014.2327792    URL     [本文引用: 1]

[13]

SU C J, CHIANG C Y, HUANG J Y.

Kinect-enabled home-based rehabilitation system using Dynamic Time Warping and fuzzy logic

[J]. Applied Soft Computing, 2014, 22: 652-666.

DOI:10.1016/j.asoc.2014.04.020    URL     [本文引用: 1]

[14]

CAPECCI M, CERAVOLO M G, FERRACUTI F, et al.

A Hidden Semi-Markov Model based approach for rehabilitation exercise assessment

[J]. Journal of Biomedical Informatics, 2018, 78: 1-11.

DOI:S1532-0464(17)30282-4    PMID:29277330     [本文引用: 1]

In this paper, a Hidden Semi-Markov Model (HSMM) based approach is proposed to evaluate and monitor body motion during a rehabilitation training program. The approach extracts clinically relevant motion features from skeleton joint trajectories, acquired by the RGB-D camera, and provides a score for the subject's performance. The approach combines different aspects of rule and template based methods. The features have been defined by clinicians as exercise descriptors and are then assessed by a HSMM, trained upon an exemplar motion sequence. The reliability of the proposed approach is studied by evaluating its correlation with both a clinical assessment and a Dynamic Time Warping (DTW) algorithm, while healthy and neurological disabled people performed physical exercises. With respect to the discrimination between healthy and pathological conditions, the HSMM based method correlates better with the physician's score than DTW. The study supports the use of HSMMs to assess motor performance providing a quantitative feedback to physiotherapist and patients. This result is particularly appropriate and useful for a remote assessment in the home.Copyright ? 2017 Elsevier Inc. All rights reserved.

[15]

LIAO Y L, VAKANSKI A, XIAN M.

A deep learning framework for assessing physical rehabilitation exercises

[J]. IEEE Transactions on Neural Systems & Rehabilitation Engineering, 2020, 28(2): 468-477.

[本文引用: 5]

[16]

AR I, AKGUL Y S.

A computerized recognition system for the home-based physiotherapy exercises using an RGBD camera

[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering: A Publication of the IEEE Engineering in Medicine & Biology Society, 2014, 22(6): 1160-1171.

[本文引用: 1]

[17]

閆航, 陳剛, 崔莉亞, 等.

基于單目視覺的在線人體康復(fù)動作識別

[J]. 計算機(jī)應(yīng)用與軟件, 2021, 38(2): 171-178.

[本文引用: 1]

YAN Hang, CHEN Gang, CUI Liya, et al.

Online human rehabilitation action recognition based on monocular vision

[J]. Computer Applications & Software, 2021, 38(2): 171-178.

[本文引用: 1]

[18]

LIN J F S, KULI? D.

Online segmentation of human motion for automated rehabilitation exercise analysis

[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering: A Publication of the IEEE Engineering in Medicine & Biology Society, 2014, 22(1): 168-180.

[本文引用: 3]

[19]

李航. 統(tǒng)計學(xué)習(xí)方法[M]. 第2版.

北京:

清華大學(xué)出版社, 2019.

[本文引用: 1]

LI Hang. Statistical learning methods[M]. 2nd ed.

Beijing:

Tsinghua University Press, 2019.

[本文引用: 1]

[21]

VAKANSKI A, JUN H P, PAUL D, et al.

A data set of human body movements for physical rehabilitation exercises

[J]. Data, 2018, 3(1): 2.

DOI:10.3390/data3010002    URL     [本文引用: 2]

相關(guān)知識

下肢評估訓(xùn)練康復(fù)系統(tǒng)（下肢康復(fù)機(jī)器人）
語言障礙評估與訓(xùn)練
康復(fù)評估訓(xùn)練跑臺（Plus）
自行車的運動康復(fù)與康復(fù)訓(xùn)練.pptx
日?？祻?fù)訓(xùn)練.pptx
ISOFORCE全身多關(guān)節(jié)等速肌力康復(fù)評估訓(xùn)練系統(tǒng)
便攜運動功能評測訓(xùn)練系統(tǒng)
體育行業(yè)運動康復(fù)訓(xùn)練與健身指導(dǎo)方案.doc
核心訓(xùn)練的動作
運動康復(fù)康復(fù)訓(xùn)練PPT

網(wǎng)址: 連續(xù)康復(fù)訓(xùn)練動作分割與評估 http://www.u1s5d6.cn/newsview234781.html