 當前位置：首頁 > - 論文中心 > - 工業技術論文 |
基于智能手機的街區場景三維重建軟件工程分析
|
| 添加時間：2020-6-10 20:31:26 來源：山西職稱論文網 瀏覽次數：2317 |
本文是一篇軟件工程論文，本文從多視角圖像出發，利用圖像信息，以及多視圖幾何的一些約束，基于 SfM 的算法得到稀疏三維點云。該方法對圖像要求較低，并且可以使用視頻或任何圖像序列在三維中重建。由于可以使用 Matlab 自帶的相機標定應用程序，能夠快速準確地得到手機的內參矩陣。因此，圖像序列在重建過程中實現了攝像機自身的校準，不需要對攝像機進行預校準，滿足大規模場景三維重建的要求，在自然地形和城市景觀的三維重建中得到廣泛的應用。使用立體校正后的圖像，計算圖像的視差以及深度圖，可以得到更加豐富的稠密三維點云，進而更好地描述三維場景。最后使用貪婪投影三角化算法和泊松曲面重建算法進行曲面重建，并使用 Qsplat 系統對點云進行繪制。
第一章 緒論
1.1 研究背景與意義
二十一世紀以來，計算機視覺技術和圖像技術發展迅速，人們使用計算機進行三維重建，逐漸融入生活的各個方面。三維立體視覺從最初被應用于機器視覺導航，到現在被應用于流行的三維游戲，具有廣闊前景的智慧城市、虛擬現實等領域。我國首顆繞月人造衛星嫦娥一號，通過探測獲取月球表面的三維立體影像，能夠有效分析月球表面，向人們展示研究計算機視覺技術的必要性。因此，為了能夠高效地獲取高精度三維模型，研究者們不斷改進技術，提出更加完善的方法。
三維重建的傳統方法是利用三維掃描儀設備，在使用時被掃描的目標要保持穩定。近年來，隨著計算機硬件的迅速發展，計算機在大規模計算方面有了前所未有的提升。尤其是 GPU技術和分布式計算方面的發展，為解決實時高效性的方案提供可能性。硬件方面，現有的內存可以輕易達到 128G，CPU 很多都是 6 核，并且每個核都為雙線程，硬盤基本都是 4T 或者以上。手機方面，十年間手機發生天翻地覆的改變，首先傳感器質量的提升所帶來的像素大小上的提升，此外儲存卡的容量上的提升使得存儲更加便捷。硬件上的這些提升使得 SfM 技術、MVS 技術可以輕松處理上百萬張的圖像，從而做到城市集群規模，甚至是國家規模的三維重建。因此，本課題提出使用智能手機拍攝圖像和視頻，研究相關技術分析和處理這些圖像和視頻，從而實現街區場景的三維重建，具有重要的理論和實際意義。
本課題基于智能手機的街區場景三維重建，首先使用手機攝像頭獲取街區視頻，通過提取關鍵幀得到多幅圖像，然后利用基于多幅圖像的方法獲取三維信息，實現三維重建。對場景或物體進行三維重建時，相比于幾何造型方法，通過三維掃描設備方法由于在操作方面簡單，因此不需要具備豐富的專業知識和熟練的操作，并且構建模型的精度較高，時間復雜度相對較低。但是具有較高性能的掃描儀設備一般價格較高，使用成本很大，因此該方法有很大的限制性。本課題使用手機設備進行視頻的拍攝，不僅使用方法簡單，且可攜帶，適用于任何場景的重構，同時可以自動化重建，模型的精度非常高。
.........................
1.2 國內外研究現狀
基于圖像的三維重建方法和技術，最早的研究可以追溯到美國、日本、歐洲等發達國家。 隨著立體視覺研究的深入，許多方面的技術開始趨于成熟。目前而言，該領域在國際范圍內的研究機構中，具有代表性有微軟劍橋研究院、美國的北卡羅來納大學、ETH Zurich、美國華盛頓大學等。國內基于圖像的三維重建技術的研究開始較晚，但是關于該技術的研究發展卻很迅速。該領域在國內的研究機構中，比較有代表性的有浙江大學、南京大學、中國科學院、山東大學、清華大學等。總之，基于圖像的三維重建領域積累了大量的研究成果。因為本課題主要研究基于智能手機的街區場景三維重建和繪制技術，下面重點介紹城市街區場景三維重建方面的已有主流技術。
美國華盛頓大學的 Sameer 和微軟 live 實驗室的 Snavely 等人[1][2]開發了兩個關于三維重建的系統，并將其命名為 Photosynth 和 Photo Tourism。通過個人采集大量的圖片，再加上利用網絡搜集的許多圖片，該系統使用這些圖片自動化地計算，使得圖片的視點和場景參數變為已知，進而重建出稀疏的三維模型。這兩個系統的優點在于能夠在用戶實現的三維場景與圖像瀏覽窗口之間無縫轉換。
美國北卡羅來納大學的 Marc Pollefeys 等人[3][4]研究開發一個全自動化系統，用于從視頻流中準確、快速地對城市環境進行三維重建。在城市模型中，用戶可以立即看到一個非常大的區域，一目了然地實現了建筑的空間布置，并自由地瀏覽到最感興趣的部分。文獻[3]中提出一種基于計算機視覺技術實現自動三維重建室外場景的方法。該系統由一個數據采集系統和一個從視頻序列離線實時生成三維模型的處理系統組成。通過收集由多攝像機系統拍攝的實時處理視頻、GPS 和 INS 數據，以產生代表世界幾何外觀的地理位置的 3D 模型。這些模型是在場景中生成的，無需手動測量或標記，可用于從任意觀測點進行可視化、大面積記錄和歸檔。利用 GPU 的處理能力，實現比實時性能更快的速度，同時保持較高的精度。在研究中由于使用原始視頻，這些任務相當困難和耗時。減少模型的冗余，降低系統的成本是該方法需要解決的問題。
圖 1.1 基于智能手機的街區場景三維重建處理框架
.......................
第二章 相關理論及技術
2.1 相機模型
相機拍攝照片獲取圖像的過程，實質上是將現實三維場景利用成像變換投影到二維像平面上，該過程是通過降維映射實現的，可以利用小孔成像模型來描述該過程。通過成像變換，將三維空間變換到二維空間，具體細分為三個步驟：世界坐標系到相機坐標系的變換，相機坐標系到圖像坐標系的變換，圖像坐標系到像素點坐標系的變換。經過多級的轉換之后，可得到三維點與圖像上像素點的映射關系。相機成像模型一般分為兩種方式，線性和非線性，典型的線性成像模型是小孔成像模型。非線性模型產生的原因，是由于現實中相機透視成像并不是理想的，導致失真帶來不同程度的畸變。
2.1.1 成像模型
光學成像模型的簡化是相機模型，目前分為線性模型和非線性模型兩種方式。但是在實際的成像系統里面，相機透鏡成像的模型是非線性的。本文首先講述了最基本的透鏡成像的原理，如圖 2.1 所示：
圖 2.1 透鏡成像原理示意圖
.........................
2.2 相機標定
相機參數標定基于相機的投影模型，計算圖像投影的相關參數。這些參數可以分為與相機內部特性相關聯的內參和與相機空間位置相關聯的外參。相機標定的過程就是求解相機的內外參數的過程。在計算機視覺研究領域中，相機標定一直是一個值得研究的熱門課題。根據是否引入參照物，分為傳統定標方法和自標定方法兩類[15]。
2.2.1 傳統相機標定
相機標定的傳統方法是使用已知結構信息的標定物，通過確定平面圖像坐標系中的點與已知的標定物坐標系上的點之間的對應關系，可以求解出該相機的內外參數。按照標定物的維度分類，相機標定分為基于平面標定和基于三維標定兩種。其中平面標定板[16]的標定方法是目前最為常用的標定方法，該方法方便靈活，利用棋盤格作為已知的標定物，相機標定時使用多幅不同角度的圖像。三維標定物通常使用立方體或者球體，三維標定物的制作難度較二維標定物高。傳統方法的優點是可以得到精度較高的相機參數，適用于任意的攝像機模型。目前使用最為廣泛的為張正友相機標定法。使用尺寸已知的平面棋盤格，利用棋盤格與平面圖像之間的對應關系建立方程，求解相機參數。傳統相機標定方法適用于精度要求較高的三維重建場景，但是由于標定之前需要已知標定物的結構信息，且標定的過程很復雜，因此在許多沒有標定物的場合就不能使用。
..............................
第三章 基于 SfM 的稀疏點云重建.............................. 20
3.1 圖像特征檢測與匹配 ............................. 20
3.1 圖像特征檢測與匹配 ................................ 20
3.1.2 圖像特征點檢測 ..................................... 20
第四章 稠密三維點云重建 ................................... 33
4.1 稠密點云重建 ........................................ 33
4.1.1 理想雙目系統 ............................. 33
4.1.2 視差 ................................... 35
第五章 點云的網格化與繪制 ......................................... 42
5.1 三角網格化 ........................................ 42
5.1.1 Delaunay 三角剖分 .................................. 42
5.1.2 貪婪投影三角化 ................................... 44
第五章 點云的網格化與繪制
5.1 三角網格化
在計算機圖形學中，三角形網格定義為由三角形面片表示的曲面。它的表示方法有顯式和隱式連接兩種，其中 Delaunay 三角化算法是一種常用的基于顯式連接關系的算法，基于隱式曲面的方法通常使用全局和局部的調整策略。全局調整策略首先定義一個全局的隱式函數，然后逐步優化這個函數。局部調整策略則是對點云進行劃分，然后在局部用一個平面來近似，典型的有泊松表面重建算法。
5.1.1 Delaunay
三角剖分 1934 年，前蘇聯數學家 Delaunay 提出 Delaunay 三角剖分（Delaunay Triangulation，DT）。對于任意給定的平面點集，僅存在唯一的一種三角剖分方法，滿足所謂的“最大—最小角”優化準則，即所有最小內角之和最大，這就是 Delaunay 三角剖分。Delaunay 三角剖分已經被廣泛應用于多個領域，如圖像處理、數學、物理、工程設計等等 Delaunay 三角剖分定義必須符合的兩個準則：
（1）空外接圓準則： Delaunay 三角剖分中任意三角形的外接圓內不包括其他結點，即任意四點不能共圓，具有唯一性，如下圖 5.1 所示：
圖 5.1 Delaunay 三角網空圓特性
........................
第六章 總結與展望
6.1 總結 本文所完成的工作以及創新點如下：
（1）對常用的特征點匹配算法進行對比分析，選擇適合本文的算法。將 SIFT 算法與 KNN匹配算法結合使用，然后利用 RANSAC 算法將誤匹配剔除，提高特征匹配的準確率。
（2）本文基于 SfM 的思想，利用多視角幾何約束求解透視投影的基礎矩陣，本征矩陣以及相機姿態參數，通過三角測量的方法求解三維空間點坐標，再基于 SfM 算法獲得場景結構參數恢復場景，得到重建場景的稀疏三維點云。
（3）將稀疏三維點云擴建形成稠密三維點云。根據圖像的視差得到與之相關的深度圖，將深度圖轉化為點云，經過配準對數據進行融合，產生一個稠密的三維點云。本文使用 k-d 樹建立點云的拓撲結構，再對 k 領域內的點進行局部曲面分析。
（4）提出基于 Delaunay 的曲面重建方法。首先對融合的點云進行分析，得到點云的組成結構，接著使用曲面去描述這個結構，實現點云網格化。本文利用最小二乘法獲取表面平滑的點云數據，然后使用貪婪投影三角剖分算法三角化無序點云。
（5）提出一種隱式曲面重建方法。本文使用隱性擬合的方法，首先利用泊松方程求解隱性方程，得到點云模型所描述的表面信息；接著使用等值面提取該方程，從而得到具有豐富的幾何實體信息的三維表面模型。
（6）建立了基于智能手機的街區場景三維重建和繪制的處理框架。該處理框架包括手機攝像、圖像/視頻的云傳輸、基于圖像的三維重建和繪制算法。本文工作的重點是建立這個處理框架，
由于使用已有的算法對點云網格化，并沒有得到較好的結果，還需要進一步處理。
參考文獻（略）
|
 工業技術期刊推薦 |
|
|
|
