3D Reconstruction의 다양한 기법

해당 논문을 읽으면서 다양한 3D Reconstruction을 공부했다.

 

1. 3D Shape Extraction

 

3D Shape을 Extraction 하기 위해서는 자연적은 빛을 사용하는 Passive 기법과 추가적인 빛을 발산해서 사용하는 Active 기법이 있다. 

 

2. Passive

Passive Algorithm은 추가적인 빛을 사용하지 않고 환경에 따른 빛에 의존하기 때문에 데이터를 얻기 쉽지만 주변 환경이 변화함에 다라서 신뢰도가 많이 달라지게 된다.

 

2.1 Passive Stereo

2개의 Camera 사용하고 Same Time, Different Viewpoints의 조건을 만족해야 한다.

그리고 카메라의 위치 및 방향, 초점, 길이 등 카메라의 정보가 필요하다.

이 Algorithm은 인간의 양안과 유사하다. 

이것을 사용하기 위해서는 Triangulation(삼각측량)을 사용해서 Detph을 추줄 할 수 있다.

Triangulation(삼각측량)

위 기법으로 Image 두 개를 사용해서 Image의 모든 Pixel의 Depth을 구할 수 있다.

 

2.2 Structure-from-Motion(SFM)

 

 

정적 객체나 장면 주위에 카메라를 이동시켜 가면서 여러 시점에서 촬영한 Image에 Feature Point를 구해(EX SIFT) 이들의 프레임간 대응 관계를 구함으로써 3D Shape을 추정하는 Algorithm이다.

 

SFM을 이용해 각 촬영된 Image의 Feature Point을 얻고 각 촬영 장면마다 Point들과 관계를 서로 매칭하고 계산하여 카메라의 위치를 얻을 수 있다.

 

SFM은 3차원 기하 구조와 카메라 모션 정보를 추출하는 3차원 복원 과정이다.

 

2.3 Shape-from-Texture and Shape-from-Contour

 

표면에 있는 Texture을 통해서 Depth을 추정하는 Alogrithm이다.

 

2.4 Shape-from-Sillhouettes

 

Object의 Sillhouette Image을 사용해서 3D Shpae을 추정하는 Algorithm이다.

복잡하거나 오목한 object를 하면 성능이 낮다.

 

3. Actvie

추가적인 빛을 사용하는 기법이다. Passive와 다르게 레이저와 같이 다른 장치를 사용하고 데이터를 만들어야 하기 때문에 데이터를 수집하기 힘들지만, 주변 환경에 따른 영향력이 적어 신뢰도가 높다.

 

3.1 Active Stereo

 

레이저나 구조화된 빛과 같은 추가적인 빛을 사용한다. 레이저에 의해 찍힌 물체의 표면의 Point을 촬영한 Image들을 사용해 3D Reconstruction 한다. 

빛 또는 질감이 부족한 환경에서 유용하고 외부 광원의 의존성이 적다. 빛을 사용하기 때문에 빛이 강한 햇빛 아래와 거리가 멀어지면 사용이 불가능하다.

 

3.2 Time-of-Flight(ToF)

 

빛을 쏘아서 반사되어 오는 시간을 측정하여 거리를 계산하는 방식이다.

파형의 종류에 따라 Radar, Sonar, Optical Radar라고 부른다.

구성요소로는 4개가 있다

1. Illumination unit(적외선 사용) 2. Optics(반사된 빛을 모아 Image Sensor에 장면을 Image화)

3. Image Sensor(각 Pixel은 Illumination unit에서 물체로 그리고 초점 면 배열로 다시 이동하는데 걸리는 시간을 측정), 

4. Driver Electronics(Illumination unit와 Image Sensor는 고속 신호로 제어되고 동기화)

 

장점으로는

1. 단순하다 2. 효율적인 Distance Algorithm 3. 속도가 빠르다(한 번의 촬영으로 전체 장면 내에서 거리를 측정할 수 있다)

 

단점으로는

1. 배경 조명이 밝으면 사용이 불가능하다 2. 특정 유형의 ToF 장치는 서로의 측정을 방해하는 간섭이 존재한다. 3. 빛이 여러 경로로 가는 다중반사가 존재한다.

 

3.3 Shape-from-Shadig(SFS)

 

 

빛으로 인해 생기는 그림자의 모양을 통해 3D Shape을 추정하는 Algortihm이다.

Object에 다라 최적의 광원 위치가 달라지면서, 표면의 반사율과 Texture에 따라 성능이 떨어질 수 있다.

 

3.4 Photometric Stereo

 

 

3.3의 방법에 한정된 공간이라는 제약을 추가하여 여러 광원을 사용해서 방향을 바꿔가면서 3D Shape을 추정하는 Algorithm이다. 

Light의 색을 다르게 함으로써 Light Source을 줄이고 더 Detail 한 Texture을 얻을 수 있다.

 

4. 결론

해당 논문을 읽으면서 다양한 기법들을 조금 공부했기 때문에 후에 더 좋은 기법을 위해 해당 기법 중 장치가 필요하지 않은 Passive 기법들을 자세히 공부해 구현해 나갈 생각이다.

참고자료

9781601982858-summary.pdf