基礎(chǔ)矩陣是計(jì)算機(jī)視覺中連接二維圖像與三維重建的神秘橋梁。當(dāng)我們擁有多個(gè)相機(jī)拍攝的圖像時(shí)，如何確保這些相機(jī)之間的關(guān)系能夠在三維空間中和諧共存？這就是基礎(chǔ)矩陣兼容性問題的核心。長期以來，研究者們錯(cuò)誤地認(rèn)為三視圖的兼容性足以保證全局兼容性。本文揭示了這一錯(cuò)誤觀念，并展示了從三視圖到四視圖及更多視圖的完整理論框架。通過精確的代數(shù)條件，我們不僅能判斷一組基礎(chǔ)矩陣是否兼容，還能重建出原始相機(jī)的位置與朝向。這些發(fā)現(xiàn)不僅具有理論意義，更為計(jì)算機(jī)視覺中的實(shí)際應(yīng)用打開了新的可能性大門。

圖像的幾何語言

計(jì)算機(jī)視覺中的基礎(chǔ)矩陣是連接不同視角相機(jī)之間的重要紐帶。想象一下，你拿著手機(jī)圍繞一個(gè)物體拍攝多張照片，每兩張照片之間都存在某種幾何關(guān)系，這種關(guān)系就由基礎(chǔ)矩陣描述�；A(chǔ)矩陣在數(shù)學(xué)上是一個(gè)33的矩陣，它編碼了兩個(gè)相機(jī)之間的所有點(diǎn)對(duì)應(yīng)關(guān)系。

基礎(chǔ)矩陣的特點(diǎn)是它總是一個(gè)秩為2的矩陣。這意味著它有一些特殊的代數(shù)性質(zhì)，使得我們可以從中提取關(guān)于相機(jī)位置的有用信息。對(duì)于任何一個(gè)秩為2的33矩陣F12，我們總能找到一對(duì)相機(jī)P1和P2，使得F12成為它們的基礎(chǔ)矩陣。這對(duì)相機(jī)在投影變換下是唯一的，這就是為什么基礎(chǔ)矩陣成為三維重建的基石。

兼容性問題的核心在于：給定n個(gè)相機(jī)之間的多個(gè)基礎(chǔ)矩陣（通常是n（n-1）/2個(gè)），是否存在n個(gè)相機(jī)，使得每對(duì)相機(jī)之間的基礎(chǔ)矩陣都與給定的基礎(chǔ)矩陣一致？這聽起來似乎很直觀，但實(shí)際上并非如此簡單。

這個(gè)問題的研究歷史可以追溯到上世紀(jì)90年代。早期的多視圖結(jié)構(gòu)運(yùn)動(dòng)方法通常從估計(jì)點(diǎn)對(duì)應(yīng)關(guān)系的基礎(chǔ)矩陣開始。這些方法在當(dāng)時(shí)已經(jīng)相當(dāng)成熟，但在理論上，人們對(duì)多個(gè)基礎(chǔ)矩陣之間的兼容條件卻知之甚少。

視圖圖（viewing graph）的概念被引入來描述相機(jī)之間的連接關(guān)系。在這個(gè)圖中，每個(gè)節(jié)點(diǎn)代表一個(gè)相機(jī)，節(jié)點(diǎn)之間的邊表示我們知道這兩個(gè)相機(jī)之間的基礎(chǔ)矩陣。完整視圖圖意味著我們知道所有可能的n（n-1）/2個(gè)基礎(chǔ)矩陣。

在實(shí)際應(yīng)用中，兼容性條件的研究具有重要意義。Kasten等人在2019年提出了一種投影結(jié)構(gòu)運(yùn)動(dòng)算法，該算法應(yīng)用了他們發(fā)現(xiàn)的兼容性必要充分條件。該算法能處理完整或部分的基礎(chǔ)矩陣集合，目標(biāo)是找到相機(jī)矩陣，使它們對(duì)給定的基礎(chǔ)矩陣集合產(chǎn)生最小的全局代數(shù)誤差。

在理論領(lǐng)域，Angst等人利用兼容性條件對(duì)臨界配置進(jìn)行了分類。臨界配置是指在特定的相機(jī)和場景點(diǎn)分布下，三維重建可能變得不穩(wěn)定或不唯一的情況。這些研究深化了我們對(duì)多視圖幾何學(xué)的理解。

兼容性問題的主要挑戰(zhàn)在于找到明確的代數(shù)條件，這些條件必須是必要且充分的，能夠判斷一組基礎(chǔ)矩陣是否兼容。過去的研究主要集中在特定情況下，如三視圖或所有相機(jī)中心共線的情況，而對(duì)一般情況下的完整條件則知之甚少。

基礎(chǔ)矩陣與相機(jī)之間的關(guān)系可以通過一個(gè)理論映射ψ來描述。對(duì)于兩個(gè)34的相機(jī)矩陣P1和P2，ψ（P1， P2）返回它們的基礎(chǔ)矩陣F12。這個(gè)映射只有在P1和P2的核（代表相機(jī)中心）有交集時(shí)才會(huì)退化為零矩陣。

在接下來的部分中，我們將詳細(xì)探討三視圖情況下的兼容性條件，這是理解更一般情況的基礎(chǔ)。

三視圖的代數(shù)條件

三視圖情況下的兼容性問題是最基本也是最早被系統(tǒng)研究的情況。在這個(gè)設(shè)置中，我們有三個(gè)相機(jī)P1、P2和P3，以及它們之間的三個(gè)基礎(chǔ)矩陣F12、F13和F23。問題是：給定這三個(gè)基礎(chǔ)矩陣，它們是否兼容？即是否存在三個(gè)相機(jī)使得它們產(chǎn)生給定的基礎(chǔ)矩陣？

在Hartley和Zisserman的經(jīng)典著作《Multiple View Geometry》中，他們提出了三視圖情況下的必要充分條件。這些條件分為兩種情況：非共線相機(jī)和共線相機(jī)。

對(duì)于非共線相機(jī)（即三個(gè)相機(jī)中心不在同一直線上），兼容性的必要充分條件是：

1. 每個(gè)圖像中的兩個(gè)極點(diǎn)必須不同。極點(diǎn)是指一個(gè)相機(jī)中心在另一個(gè)相機(jī)圖像上的投影。

2. 三個(gè)所謂的＂三重約束＂必須成立：（e?）?F??e? = （e?）?F??e? = （e?）?F??e? = 0

這里，e??表示第k個(gè)相機(jī)中心在第i個(gè)相機(jī)圖像上的投影（極點(diǎn)）。這些條件在幾何上有清晰的解釋：它們確保了三個(gè)相機(jī)中心和任何一個(gè)場景點(diǎn)都在同一個(gè)平面上。

有趣的是，長期以來，人們錯(cuò)誤地認(rèn)為這些三重約束對(duì)于任何相機(jī)配置都是充分的。這個(gè)誤解甚至出現(xiàn)在一些學(xué)術(shù)文獻(xiàn)中。例如，在2007年，Angst等人聲稱這些條件對(duì)于共線相機(jī)也是充分的，但這一說法后來被證明是錯(cuò)誤的。

對(duì)于共線相機(jī)情況（即三個(gè)相機(jī)中心在同一直線上），兼容性的條件有所不同。在這種情況下，三個(gè)相機(jī)中心共線意味著每個(gè)圖像中的兩個(gè)極點(diǎn)必須相同。具體來說，如果P1、P2、P3的中心共線，那么P1（kernel P2） = P1（kernel P3），這導(dǎo)致e? = e?，e? = e?，e? = e?。

然而，僅僅滿足這些條件和三重約束還不足以確保兼容性。實(shí)際上，還需要一個(gè)額外的條件：（F??）?[e?]F?? = F??，其中[e?]表示e?的叉積矩陣。這個(gè)條件確保了三個(gè)基礎(chǔ)矩陣在共線情況下的一致性。

為了說明三重約束在共線情況下的不足，讓我們考慮一個(gè)具體的反例。假設(shè)我們有以下三個(gè)基礎(chǔ)矩陣：

F?? = [[0，0，0]，[0，1，0]，[0，0，1]]

F?? = [[0，0，0]，[0，0，1]，[0，1，0]]

F?? = [[0，0，0]，[0，1，1]，[0，-1，1]]

以及對(duì)應(yīng)的極點(diǎn)：

e? = e? = [1，0，0]

e? = e? = [1，0，0]

e? = e? = [1，0，0]

這些基礎(chǔ)矩陣滿足三重約束，但沒有三個(gè)相機(jī)能同時(shí)產(chǎn)生這三個(gè)基礎(chǔ)矩陣。這驗(yàn)證了三重約束在共線情況下不是充分條件。

三視圖兼容性的研究不僅具有理論意義，還有實(shí)際應(yīng)用。在三維重建中，我們經(jīng)常需要從估計(jì)的基礎(chǔ)矩陣中恢復(fù)相機(jī)。了解兼容性條件可以幫助我們判斷這些估計(jì)是否合理，以及如何調(diào)整它們使它們變得兼容。

三視圖條件的局限性在于它們只適用于三個(gè)相機(jī)的情況。當(dāng)我們考慮四個(gè)或更多相機(jī)時(shí)，這些條件是否足夠就成為一個(gè)重要問題。長期以來，人們認(rèn)為只要每三個(gè)相機(jī)滿足三重約束（稱為三重兼容性），那么整個(gè)系統(tǒng)就是兼容的。這一信念在2010年代逐漸形成，甚至在一些學(xué)術(shù)文獻(xiàn)中被視為既定事實(shí)。然而，這一信念是錯(cuò)誤的，正如我們?cè)诤罄m(xù)章節(jié)中將看到的那樣。

三視圖情況下的兼容性條件為我們理解多視圖幾何奠定了基礎(chǔ)。這些條件揭示了基礎(chǔ)矩陣與相機(jī)構(gòu)型之間的復(fù)雜關(guān)系，并引導(dǎo)我們思考更一般情況下的兼容性問題。

四視圖的新發(fā)現(xiàn)

長期以來，計(jì)算機(jī)視覺領(lǐng)域的研究者普遍認(rèn)為，只要三個(gè)相機(jī)之間的關(guān)系滿足了兼容性條件，那么任意多個(gè)相機(jī)之間的關(guān)系自然也會(huì)滿足兼容性。這種觀點(diǎn)甚至在2018年的學(xué)術(shù)文獻(xiàn)中仍被認(rèn)為是正確的。但實(shí)際上，這種想法是錯(cuò)誤的，特別是當(dāng)涉及到四個(gè)或更多相機(jī)時(shí)。

為了打破這一錯(cuò)誤認(rèn)識(shí)，Bratelund和Rydell在2023年提供了一個(gè)反例。他們構(gòu)造了六個(gè)基礎(chǔ)矩陣F12、F13、F14、F23、F24和F34，它們兩兩之間滿足三重約束條件，但整體上不兼容。具體來說，這六個(gè)矩陣是：

F12 = [[0，0，0]，[0，0，1]，[0，1，0]]

F13 = [[0，0，1]，[0，0，0]，[0，1，0]]

F14 = [[0，0，1]，[0，1，0]，[0，0，0]]

F23 = [[0，0，1]，[0，0，0]，[1，0，0]]

F24 = [[0，0，1]，[1，0，0]，[0，0，0]]

F34 = [[0，1，0]，[2，0，0]，[0，0，0]]

對(duì)應(yīng)的極點(diǎn)分布如下：

在相機(jī)1中：e21 = [1，0，0]， e31 = [0，1，0]， e41 = [0，0，1]

在相機(jī)2中：e12 = [1，0，0]， e32 = [0，1，0]， e42 = [0，0，1]

在相機(jī)3中：e13 = [1，0，0]， e23 = [0，1，0]， e43 = [0，0，1]

在相機(jī)4中：e14 = [1，0，0]， e24 = [0，1，0]， e34 = [0，0，1]

盡管這些矩陣滿足三重約束，但不存在四個(gè)相機(jī)能同時(shí)產(chǎn)生這六個(gè)基礎(chǔ)矩陣。這個(gè)反例徹底打破了之前的錯(cuò)誤認(rèn)識(shí)。

四個(gè)相機(jī)之間的兼容性問題更為復(fù)雜，因?yàn)橄鄼C(jī)中心在三維空間中可能有多種布局。Bratelund和Rydell將這些可能的配置分為四種情況：

1. 通用情況：四個(gè)相機(jī)中心不共面，即沒有一個(gè)平面包含所有四個(gè)中心。在這種情況下，每個(gè)圖像中的三個(gè)極點(diǎn)不共線。

2. 所有相機(jī)中心共面，但沒有三個(gè)中心共線。在這種情況下，每個(gè)圖像中的三個(gè)極點(diǎn)各不相同且共線。

3. 恰好三個(gè)相機(jī)中心共線。在這三個(gè)相機(jī)的圖像中，來自其他兩個(gè)相機(jī)的極點(diǎn)重合，而第三個(gè)不同。在第四個(gè)圖像中，三個(gè)極點(diǎn)各不相同且共線。

4. 所有四個(gè)相機(jī)中心共線。在這種情況下，每個(gè)圖像中的三個(gè)極點(diǎn)重合。

對(duì)于通用情況，他們證明了兼容性的必要充分條件是：三重約束條件加上一個(gè)額外的方程：

e4123e2134e3142e4231e1243e2341 = e3124e4132e2143e1234e3241e1342

這里的eijkl表示＂極點(diǎn)數(shù)＂，定義為（ei j）T Fjk ekl。這些數(shù)值在幾何上表示四個(gè)相機(jī)中心形成的四面體的體積關(guān)系。

對(duì)于其他三種情況，他們也給出了類似的必要充分條件。這些條件都可以表示為基礎(chǔ)矩陣和極點(diǎn)的多項(xiàng)式方程。

這些發(fā)現(xiàn)不僅解決了長期以來的理論爭議，還為實(shí)際應(yīng)用提供了重要工具。例如，在處理噪聲數(shù)據(jù)時(shí)，我們可以利用這些條件來調(diào)整估計(jì)的基礎(chǔ)矩陣，使它們變得兼容，從而提高三維重建的準(zhǔn)確性。

另一個(gè)重要發(fā)現(xiàn)是，四點(diǎn)兼容性實(shí)際上足以保證全局兼容性。具體來說，如果一組n個(gè)相機(jī)的所有四相機(jī)子集都兼容，那么整個(gè)系統(tǒng)必然兼容。這大大簡化了判斷大型相機(jī)系統(tǒng)兼容性的復(fù)雜度。

特別地，當(dāng)所有相機(jī)中心共線時(shí)，三重兼容性實(shí)際上足以保證全局兼容性。在這種情況下，重建將是一組中心都位于同一直線上的相機(jī)。

這些研究還解決了兼容基礎(chǔ)矩陣解的唯一性問題。除非所有圖像中的極點(diǎn)重合（即所有相機(jī)中心共線），否則兼容的基礎(chǔ)矩陣集合在投影變換下有唯一解。

理論擴(kuò)展與應(yīng)用

基礎(chǔ)矩陣兼容性研究的一個(gè)重要方向是將理論擴(kuò)展到任意視圖圖，而不僅僅是完整圖。Bratelund和Rydell在2023年提出了一個(gè)循環(huán)定理，它為任意視圖圖上的兼容性提供了必要充分條件。

循環(huán)定理指出，一組基礎(chǔ)矩陣{Fij}是兼容的，當(dāng)且僅當(dāng)存在矩陣Hi和非零標(biāo)量λij，使得Gij = λijHiT Fij Hj滿足循環(huán)條件：對(duì)于圖中的每個(gè)有向循環(huán)C，∑（ij）∈E（C） Gij = 0。

這個(gè)定理將兼容性問題轉(zhuǎn)化為尋找合適的標(biāo)量和矩陣的問題，使得變換后的基礎(chǔ)矩陣滿足特定的代數(shù)條件。如果這樣的標(biāo)量和矩陣存在，那么原始的基礎(chǔ)矩陣就是兼容的。

這個(gè)定理特別適用于相機(jī)是校準(zhǔn)的情況，此時(shí)基礎(chǔ)矩陣被稱為本質(zhì)矩陣。在這種情況下，兼容性與平行剛性（parallel rigidity）理論密切相關(guān)，這在校準(zhǔn)相機(jī)的可解性研究中已經(jīng)得到了證實(shí)。

循環(huán)定理還可以用來導(dǎo)出我們之前討論的兼容性條件。例如，對(duì)于三個(gè)相機(jī)，循環(huán)定理意味著存在矩陣Hi和標(biāo)量λij，使得λijHiT Fij Hj是反對(duì)稱的，且滿足λ12G12 + λ23G23 + λ31G31 = 0。從這個(gè)條件，我們可以導(dǎo)出三重約束e12F23e13 = 0。

同樣，對(duì)于四個(gè)相機(jī)，循環(huán)定理可以用來導(dǎo)出通用情況下的額外條件。通過使用循環(huán)條件和一些代數(shù)操作，我們可以得到我們之前看到的條件。

Kasten等人在2019年和Cheng等人在2022年也研究了基礎(chǔ)矩陣兼容性問題，他們提出了基于n視圖基礎(chǔ)矩陣的方法。n視圖基礎(chǔ)矩陣是將所有二視圖基礎(chǔ)矩陣拼接成一個(gè)大矩陣。

他們的結(jié)果表明，一組基礎(chǔ)矩陣是兼容的，當(dāng)且僅當(dāng)存在非零標(biāo)量λij = λji，使得n視圖基礎(chǔ)矩陣F = （λijFij）具有特定的秩和特征值條件。對(duì)于非共線相機(jī)，F(xiàn)應(yīng)該是秩6，并且恰好有3個(gè)正特征值和3個(gè)負(fù)特征值。對(duì)于共線相機(jī)，F(xiàn)應(yīng)該是秩4，并且恰好有2個(gè)正特征值和2個(gè)負(fù)特征值。

Bratelund和Rydell通過計(jì)算機(jī)代數(shù)系統(tǒng)Macaulay2的實(shí)驗(yàn)，證明了在通用情況下和所有極點(diǎn)在每個(gè)圖像中重合的情況下，特征值條件實(shí)際上是多余的。這大大簡化了兼容性的判斷。

這些理論發(fā)現(xiàn)在實(shí)際應(yīng)用中有重要意義。例如，在結(jié)構(gòu)運(yùn)動(dòng)（structure-from-motion）算法中，我們經(jīng)常需要從噪聲數(shù)據(jù)中估計(jì)基礎(chǔ)矩陣。知道精確的兼容性條件，可以幫助我們調(diào)整這些估計(jì)，使它們變得一致，從而提高三維重建的精度。

兼容性理論也與臨界配置分類相關(guān)。臨界配置是指在特定的相機(jī)和場景點(diǎn)分布下，三維重建可能變得不穩(wěn)定或不唯一的情況。通過理解基礎(chǔ)矩陣的兼容性條件，我們可以更好地識(shí)別和處理這些情況。

此外，這些研究還與可解性理論相關(guān)。可解性研究的是，給定一組相機(jī)，它們的基礎(chǔ)矩陣是否有唯一解（在投影變換下）。這個(gè)問題在計(jì)算機(jī)視覺中有廣泛的研究，特別是在校準(zhǔn)相機(jī)的情況下。

總的來說，基礎(chǔ)矩陣兼容性的研究為計(jì)算機(jī)視覺中的多視圖幾何提供了堅(jiān)實(shí)的理論基礎(chǔ)。這些研究不僅解決了長期以來的理論爭議，還為實(shí)際應(yīng)用提供了重要工具，幫助我們更準(zhǔn)確地從二維圖像恢復(fù)三維結(jié)構(gòu)。

參考資料

1. Martin Bratelund &； Felix Rydell （2023）. Compatibility of Fundamental Matrices for Complete Viewing Graphs， ICCV 2023

2. Hartley &； Zisserman. Multiple View Geometry in Computer Vision.

3. Kasten et al. （2019）. Algebraic-Geometric Approach to Camera Auto-Calibration.