第3章 殘破的畫

圖5顯示原始影象中生成的區域性搜尋視窗。

圖5(a)中的矩形是ROI。ROI由高度h px、寬度w px 和左上角座標來定義。在圖5(b)中，影象中給出了基於ROI的二維正態分佈。該分佈用作機率密度函式(PDF)，用表示。基於這個PDF，對隨機變數x和y進行取樣。這個變數的取樣是根據給定的區域性搜尋視窗數來重複的。最後，在圖5(c)中，本地搜尋視窗被生成為許多采樣點。在每個視窗中，取樣點位於中心。由於基於PDF的重要性取樣，在行走的人周圍產生了不同大小的視窗，在某些情況下甚至在ROI之外。這些區域性搜尋視窗使檢測視窗能夠環繞整個身體。

二維正態分佈由x和y的均值和標準差組成，這些分佈引數用、、和表示。假設影象中ROI的中心座標為分佈的中心。因此，考慮到ROI的大小，將參數列示為，，，。

對於每個ROI，透過取樣N次生成N個區域性搜尋視窗。視窗的縱橫比以隨機方式生成為1:2、2:3或3:4。每個視窗的大小也在最小和最大高度(和)內隨機生成。這使得無論姿態如何，都可以在目標物體周圍生成區域性搜尋視窗。

區域性搜尋視窗裁剪出的N張區域性影象輸入到CNN分類器中進行人工檢測。如果將區域性影象分類為人類，則使用相應的區域性搜尋視窗作為檢測的重要視窗。如果將部分影象分類為人類，則將相應的視窗整合在一起作為檢測視窗。在人類檢測之後，另一個部分影象再次被檢測視窗從原始

圖6、運動攝像機捕捉到的帶有光流的影象

影象中裁剪出來。然後將裁剪後的影象輸入到CNN分類器中進行動作識別。

5.機器人視覺系統的光流

修改光流的方法

對於機器人視覺，相機感測器與機器人一起移動。因此，在機器人視覺系統中，相機時代的運動對光流的計算有影響。圖6顯示了安裝在移動機器人上的攝像機所捕獲的影象。在這些影象中，某些 畫素處的光流透過箭頭顯示出來。例如，標記“∧” 表示向上指向的光流。

機器人在圖6(a)中直線移動，在圖6(b)中右轉。雖然包括牆壁和門在內的背景是靜態的，但在影象中出現了光流。這是因為相機和背景之間的相對位置和姿勢發生了變化。在這種情況下，即使有人在影象中移動，也會對整個影象的光流進行估計。因此，移動的機器人很難實現對人的檢測和動作識別。如果光流被用作描述符，這對機器人視覺系統來說是一個嚴重的問題。

由於相機運動而出現的光流可以在影象中的一些特徵點進行修改，然而，很難在整個影象中修改光流。對於這個問題，已經使用了二維多項式仿射運動模型[17，22]。仿射運動模型正確地解釋了攝像機運動引起的運動。然而，從3D空間的深度角度來修改光流是很困難的。

在本文中，我們假設移動機器人在3D空間的環境中運動。在這種環境中，由於目標物體可能出現在機器人捕獲的影象中的任何位置，因此必須修改所有畫素處的光流。對於這個挑戰，我們將重點放在不同視點的影象上，這些影象是在不同的位置和姿勢下捕獲的。從這些影象中，變化的量在三維空間中，除了深度資訊外，還可以估計相機的位置和姿態，並且可以修改相機運動引

相機位置和姿勢

在我們的方法中，透過從影象中的當前光流中減去相機運動引起的光流來獲得修改後的光流。此後，由攝像機運動引起的光流稱為攝像機光流，影象中當前的光流稱為原始光流。圖7顯示出了世界座標系中定義的攝像機座標系。

在攝像機座標系OC中，影象平面垂直於Z軸，水平方向於X軸。相機中心對應於座標原點。在初始狀態下，OC等於世界座標系OW。在OW中，OC隨著機器人的運動逐漸遠離座標原點。在這種情況下，位置和姿態由OC的座標原點和每個軸的旋轉表示。

因此，需要識別與平移和旋轉相關的6個引數，以便根據機器人的移動估計攝像機位置和姿態的變化。這些引數是用移動機器人捕捉到的兩張連續影象來計算的。在這兩幅影象中，考慮到影象中對應點與相機之間的幾何相關性，可以推匯出滿足極外約束的基本矩陣，基本矩陣包含了這6個引數。

修正光流的計算