東芝運(yùn)用圖像識別技術(shù),在CEATEC會場現(xiàn)場演示了利用圖像推測人體姿勢進(jìn)行動作捕捉的“活動捕獲術(shù) SHADOW”。此技術(shù)使用了“Integral Image”等幾種特殊技術(shù)。下面就來詳細(xì)報道一下具體的處理過程。
首先,處理過程如下。
(1) 拍攝彩色圖像:拍攝240×320像素的彩色圖像。
(2) 分離出人物影像:以背景圖像的色調(diào)(綠色)信息為依據(jù),分離出背景以外的區(qū)域。此次演示假定,背景外的區(qū)域內(nèi)只有一人。因此,除了背景之外所有的區(qū)域都是人物影像。這樣就可以得出背景部分的像素值為零,人物區(qū)域?yàn)?的2值圖像。
。3) 對比姿勢數(shù)據(jù):將這種2值圖像與姿勢數(shù)據(jù)庫進(jìn)行比對,從姿勢數(shù)據(jù)庫中的4萬個姿勢的數(shù)據(jù)(28個關(guān)節(jié)角度數(shù)據(jù))中篩選出最接近的圖像。
(4) 畫出CG人物:以(3)中篩選出圖像的姿勢對應(yīng)的關(guān)節(jié)角度數(shù)據(jù)為依據(jù)畫出CG。
此次使用的系統(tǒng)每秒可以進(jìn)行10次判斷,所以Cell每l00ms進(jìn)行一次處理。處理過程中最繁重的是檢索姿勢。雖說僅是進(jìn)行人物區(qū)域的圖像的相關(guān)演算,但是將240×320像素的圖像與數(shù)據(jù)庫中4萬張圖像直接做比對的話,即使使用的是高速的Cell,也很難進(jìn)行實(shí)時識別。
通過Integral Image提高比較速度
因此,東芝這次在人物影像的比對過程中做了兩方面的努力。首先,為了提高對比速度,采用了被稱作“Integral Image”的方法。Integral Image首先提前算出某一區(qū)域內(nèi)的像素總和,這次比對過程中算出了各行像素和。利用Integral Image,可以使相關(guān)演算的量降至幾百分之一。另外,姿勢數(shù)據(jù)庫再將根據(jù)關(guān)節(jié)角度數(shù)據(jù)畫出的CG模型進(jìn)行平面投影,生成人物影像的圖像。
其次,將姿勢數(shù)據(jù)庫中相似的姿勢排列成3層樹結(jié)構(gòu)。樹的最上層按大體的姿勢分成幾類,首先對這一層進(jìn)行比對、篩選。判斷結(jié)果出來后再進(jìn)行下一層的對比。檢索處理中,樹結(jié)構(gòu)的每一分枝都由Cell的七個SPE分別處理,是并行處理。
更多相關(guān): AV集成
©版權(quán)所有。未經(jīng)許可,不得轉(zhuǎn)載。