創(chuàng)想智控將機(jī)器視覺技術(shù)應(yīng)用于視覺與圖像領(lǐng)域，自主研發(fā)了雙目立體視覺相機(jī)，已應(yīng)用在工業(yè)和VR領(lǐng)域，具體產(chǎn)品和行業(yè)案例可以搜索北京創(chuàng)想智控進(jìn)入官網(wǎng)進(jìn)行查看。
以下科普知識(shí)來(lái)源網(wǎng)絡(luò)，如有涉及侵權(quán)，請(qǐng)聯(lián)系我們刪除。
基于雙目立體視覺的深度相機(jī)類似人類的雙眼，和基于TOF、結(jié)構(gòu)光原理的深度相機(jī)不同，它不對(duì)外主動(dòng)投射光源，完全依靠拍攝的兩張圖片（彩色RGB或者灰度圖）來(lái)計(jì)算深度，因此有時(shí)候也被稱為被動(dòng)雙目深度相機(jī)。
雙目立體視覺深度相機(jī)詳細(xì)原理
1、理想雙目相機(jī)成像模型
首先我們從理想的情況開始分析:假設(shè)左右兩個(gè)相機(jī)位于同一平面（光軸平行），且相機(jī)參數(shù)（如焦距f）一致。那么深度值的推導(dǎo)原理和公式如下。公式只涉及到初中學(xué)的三角形相似知識(shí)，不難看懂。
理想情況下雙目立體視覺相機(jī)深度值計(jì)算原理
根據(jù)上述推導(dǎo)，空間點(diǎn)P離相機(jī)的距離（深度）z=f*b/d，可以發(fā)現(xiàn)如果要計(jì)算深度z，必須要知道：
1、相機(jī)焦距f，左右相機(jī)基線b。這些參數(shù)可以通過(guò)先驗(yàn)信息或者相機(jī)標(biāo)定得到。
2、視差d。需要知道左相機(jī)的每個(gè)像素點(diǎn)(xl, yl)和右相機(jī)中對(duì)應(yīng)點(diǎn)(xr, yr)的對(duì)應(yīng)關(guān)系。這是雙目視覺的核心問(wèn)題。
2、極線約束概念
極線約束對(duì)于求解圖像對(duì)中像素點(diǎn)的對(duì)應(yīng)關(guān)系非常重要。
如下圖所示。C1，C2是兩個(gè)相機(jī)，P是空間中的一個(gè)點(diǎn)，P和兩個(gè)相機(jī)中心點(diǎn)C1、C2形成了三維空間中的一個(gè)平面PC1C2，稱為極平面（Epipolar plane）。極平面和兩幅圖像相交于兩條直線，這兩條直線稱為極線(Epipolar line)。P在相機(jī)C1中的成像點(diǎn)是P1，在相機(jī)C2中的成像點(diǎn)是P2，但是P的位置事先是未知的。
我們的目標(biāo)是：對(duì)于左圖的P1點(diǎn)，尋找它在右圖中的對(duì)應(yīng)點(diǎn)P2，這樣就能確定P點(diǎn)的空間位置，也就是我們想要的空間物體和相機(jī)的距離（深度）。
所謂極線約束（Epipolar Constraint）就是指當(dāng)同一個(gè)空間點(diǎn)在兩幅圖像上分別成像時(shí)，已知左圖投影點(diǎn)p1，那么對(duì)應(yīng)右圖投影點(diǎn)p2一定在相對(duì)于p1的極線上，這樣可以極大的縮小匹配范圍。
根據(jù)極線約束的定義，我們可以在下圖中直觀的看到P2一定在對(duì)極線上，所以我們只需要沿著極線搜索一定可以找到和P1的對(duì)應(yīng)點(diǎn)P2。
3、圖像矯正技術(shù)
圖像矯正是通過(guò)分別對(duì)兩張圖片用單應(yīng)（homography）矩陣變換（可以通過(guò)標(biāo)定獲得）得到的，的目的就是把兩個(gè)不同方向的圖像平面（下圖中灰色平面）重新投影到同一個(gè)平面且光軸互相平行（下圖中黃色平面），這樣就可以用前面理想情況下的模型了，兩個(gè)相機(jī)的極線也變成水平的了。
經(jīng)過(guò)圖像矯正后，左圖中的像素點(diǎn)只需要沿著水平的極線方向搜索對(duì)應(yīng)點(diǎn)就可以了（開心）。從下圖中我們可以看到三個(gè)點(diǎn)對(duì)應(yīng)的視差（紅色雙箭頭線段）是不同的，越遠(yuǎn)的物體視差越小，越近的物體視差越大，這和我們的常識(shí)是一致的。
4、基于滑動(dòng)窗口的圖像匹配
對(duì)于左圖中的一個(gè)像素點(diǎn)（左圖中紅色方框中心），在右圖中從左到右用一個(gè)同尺寸滑動(dòng)窗口內(nèi)的像素和它計(jì)算相似程度，相似度的度量有很多種方法，比如誤差平方和法（Sum of Squared Differences，簡(jiǎn)稱SSD），左右圖中兩個(gè)窗口越相似，SSD越小。下圖中下方的SSD曲線顯示了計(jì)算結(jié)果，SSD值最小的位置對(duì)應(yīng)的像素點(diǎn)就是最佳的匹配結(jié)果。
具體操作中還有很多實(shí)際問(wèn)題，比如滑動(dòng)窗口尺寸。滑動(dòng)窗口的大小選取還是很有講究的。
5、基于能量?jī)?yōu)化的圖像匹配
目前比較主流的方法都是基于能量?jī)?yōu)化的方法來(lái)實(shí)現(xiàn)匹配的。能量?jī)?yōu)化通常會(huì)先定義一個(gè)能量函數(shù)。比如對(duì)于兩張圖中像素點(diǎn)的匹配問(wèn)題來(lái)說(shuō)，我們定義的能量函數(shù)如下圖公式1。
我們的目的是：
1、在左圖中所有的像素點(diǎn)和右圖中對(duì)應(yīng)的像素點(diǎn)越近似越好，反映在圖像里就是灰度值越接近越好。
2、在 同一張圖片里，兩個(gè)相鄰的像素點(diǎn)視差（深度值）也應(yīng)該相近。
上述公式1代表的能量函數(shù)就是著名的馬爾科夫隨機(jī)場(chǎng)(Markov Random Field)模型。通過(guò)對(duì)能量函數(shù)最小化，我們最后得到了一個(gè)最佳的匹配結(jié)果。有了左右圖的每個(gè)像素的匹配結(jié)果，根據(jù)前面的深度計(jì)算公式就可以得到每個(gè)像素點(diǎn)的深度值，最終得到一幅深度圖。
北京創(chuàng)想智控科技有限公司是一家專注于機(jī)器視覺焊接自動(dòng)化的研發(fā)及生產(chǎn)的高新技術(shù)企業(yè)。多年來(lái)，創(chuàng)想智控憑借公司的核心技術(shù)致力于為用戶提供機(jī)器視覺和智能控制的解決方案；深度服務(wù)于螺旋管、鋼瓶、壓力容器、鋼結(jié)構(gòu)、汽車零配件、焊接機(jī)器人等行業(yè)的焊接制造領(lǐng)域。未來(lái)，創(chuàng)想智控將不斷致力于技術(shù)研發(fā)與創(chuàng)新，立足工業(yè)智能制造，助力行業(yè)品質(zhì)提升！
