라이트 필드 사진이란 무엇이며 어떻게 작동합니까?

라이트 필드 사진은 오랫동안 사용되어 왔습니다. 최초의 아날로그 라이트 필드 장치는 1908년 컬러 사진 작업으로 노벨상을 수상한 Gabriel Lippmann에 의해 발명되었습니다.

라이트 필드 사진을 사용하면 이미지를 이미 촬영한 후 이미지의 초점면을 이동할 수 있습니다. 이는 일반 사진에서는 불가능합니다.

그렇다면 라이트 필드 사진은 어떻게 작동합니까? 이 기사는 당신이 알아야 할 모든 것을 가르쳐 줄 것입니다.

라이트 필드 사진이란 무엇입니까?

일반 사진은 인간의 눈과 매우 유사하게 작동합니다. 카메라로 초점을 맞추면 센서가 3차원 공간의 2차원 이미지를 캡처하고 해당 공간의 “슬라이스”에 초점을 맞춥니다. 초점을 맞춘 영역 앞이나 뒤에 있는 모든 것이 흐릿하고 초점이 맞지 않습니다. 일반 센서는 빛의 강도에 관한 정보만 캡처하기 때문입니다.

라이트 필드는 장면의 모든 광선(모든 광자) 전체를 나타냅니다. 라이트 필드를 구성하는 광선은 플렌옵틱 기능에 의해 정의됩니다(이것이 라이트 필드 카메라를 플렌옵틱 카메라라고도 부르는 이유입니다). 플렌옵틱 기능은 광선을 5차원, 즉 3D 공간의 좌표(X, Y, `)와 2D 공간의 방향(2개의 각도)으로 설명합니다.

라이트 필드 사진은 빛의 강도와 광선의 방향(플렌옵틱 기능에 따름)을 포함하여 특정 장면의 라이트 필드에서 정보를 캡처합니다.

라이트 필드 사진은 기존 사진과 매우 다릅니다. 3차원 이미지를 캡처하고 사실 이후에 초점을 맞출 위치를 선택할 수 있습니다. 여러 센서를 사용하여 들어오는 빛과 광선의 방향을 모두 캡처할 수 있습니다.

라이트 필드 사진은 어떻게 작동합니까?

라이트 필드 카메라의 정보에는 빛의 강도, 색상 및 방향이 포함됩니다. 이 때문에 각 광선이 센서에 도달하기 전에 어디에서 발산되는지 수학적으로 결정할 수 있습니다. 이는 장면의 3차원 모델을 구성할 수 있음을 의미합니다.

예를 들어 라이트 필드를 캡처하는 몇 가지 기술이 있습니다.

• 단일 카메라를 사용하여 여러 각도에서 장면에 대한 정보를 캡처합니다. 이 방법은 많은 이미지를 선택하여 생성합니다.
• 다중 카메라 어레이. 여기에는 일반적으로 각각 약간 다른 각도에서 장면에 대한 정보를 캡처하는 광범위한 배열의 수십 개의 센서가 있습니다. 이 방법은 또한 한 번에 많은 이미지를 생성합니다.
• 마이크로렌즈 어레이. 단일 디지털 카메라 센서 앞에 수백 개의 마이크로렌즈 어레이가 있으면 라이트 필드 정보를 캡처할 수 있습니다. 그러면 수백 개의 하위 이미지로 구성된 이미지가 생성됩니다.

각 이미지 또는 하위 이미지는 공간의 약간 다른 위치에서 발생한 광선을 캡처하여 다릅니다. 따라서 각 픽셀은 약간 다른 장면을 보여주기 때문에 광선의 각도에 대한 정보가 기록됩니다. 이를 통해 카메라에서 각 개체의 거리와 장면의 위치를 ​​계산하고 궁극적으로 장면의 3D 모델을 개발할 수 있습니다.

라이트 필드 사진의 응용

매우 유용할 수 있는 라이트 필드 사진에는 다양한 용도가 있습니다. 장면의 라이트 필드에 대한 모든 정보가 기록되기 때문에 일반 사진에서는 불가능한 다양한 방법으로 라이트 필드 이미지를 처리할 수 있습니다.

1. 맞춤 초점

라이트 필드 사진의 가장 잘 알려진 기능은 이미지를 찍은 후 초점 포인트를 변경할 수 있다는 것입니다. 이는 카메라가 캡처한 정보에 모든 거리의 초점이 포함되어 있기 때문입니다. 즉, 정교한 소프트웨어를 사용하면 장면의 초점이 될 거리를 선택할 수 있습니다.

2. 가변 심도

기록된 정보의 특성 때문에 “합성 조리개”로 이미지를 처리할 수 있습니다. 조리개는 렌즈 개구부의 직경이며 이미지의 피사계 심도(전경과 배경의 초점이 맞지 않는 정도)를 결정합니다.

라이트 필드 이미지에는 가능한 모든 초점 거리에 대한 정보가 포함되어 있기 때문에 피사계 심도가 가장 작은 이미지를 생성할 수 있습니다(아주 작은 부분에만 초점이 맞춰짐). 이미지의 모든 부분에 초점이 맞춰지는 무한한 피사계 심도의 이미지를 생성하는 것도 가능합니다.

3. 시차 효과

라이트 필드가 캡처되는 방식에 따라 장면의 시야각이 약간씩 달라질 수 있습니다. 이는 이미지를 촬영하는 데 사용되는 시스템의 직경 또는 너비에 따라 다릅니다. 렌즈 시스템이 넓을수록 더 넓은 각도에서 더 많은 빛을 포착합니다.

이미지가 촬영되면 실제 장면에서 머리를 움직이는 것처럼 이미지의 시점을 조금씩 변경할 수 있습니다. 이것은 시차 효과로 알려져 있습니다. 시차 효과를 사용하여 3D 이미지를 재구성하는 것도 가능합니다.

4. 거리 계산

라이트 필드 사진 시스템의 감도와 광학적 특성이 얼마나 잘 알려져 있는지에 따라 렌즈에서 장면의 물체까지의 거리를 계산할 수 있습니다. 이것의 주요 응용 분야 중 하나는 합성 또는 생물학적 샘플의 크기를 정확하게 측정하는 데 유용한 현미경 검사입니다.

5. 조명 조건 변경

장면 깊이에 대한 많은 정보가 라이트 필드 사진에 기록되기 때문에 후처리 소프트웨어를 사용하여 장면의 조명을 정확하게 재구성할 수 있습니다. 소프트웨어는 이미지에 있는 모든 개체의 상대적 위치를 알고 있기 때문에 그림자가 떨어지는 위치를 확실하게 계산할 수 있습니다.

6. 가상 현실

2020년대 초반 내내 가상 현실은 더욱 눈에 띄는 화두가 되었습니다. 이것은 부분적으로 메타버스를 만들고자 하는 메타의 열망에 의해 촉진되었습니다. 라이트 필드 사진을 사용하여 실제 VR을 만들 수 있습니다. Google은 Steam 에서 볼 수 있는 이에 대한 예를 개발했습니다 .

Google은 16개의 GoPro로 구성된 회전식 카메라 어레이를 사용하여 모든 라이트 필드 정보를 3D 공간에 기록한 수천 개의 이미지를 캡처했습니다. 그런 다음 그들은 3차원, 6자유도, 가상 현실 경험을 만들 수 있었습니다.

라이트 필드 카메라는 사진의 미래입니까?

2012년에 Lytro라는 회사에서 최초의 소비자 시장 라이트 필드 카메라를 출시했습니다. 이 카메라는 f/2의 고정 조리개를 가진 1메가픽셀 해상도를 가지고 있었고 $400에서 $500 사이에 판매되었습니다. 그 이후로 소비자를 겨냥한 라이트 필드 카메라는 거의 시장에 출시되지 않았습니다.

해상도와 이미지 품질의 부족은 라이트 필드 카메라가 DSLR처럼 소비자 시장에서 이륙하지 못했다는 것을 의미했습니다. 사실, 라이트 필드 기술의 많은 용도가 개발 중에 있습니다.

그러나 Google(및 Apple)이 이 기술에 투자하는 이유가 있으며 VR용 3D 사용자 경험을 만드는 데 사용하는 것은 한 가지 예일 뿐입니다!

라이트 필드 사진: 발전하는 기술

라이트 필드 카메라는 상대적으로 새롭지만 엄청난 잠재력을 가지고 있습니다. 고정 조리개와 저해상도가 두 가지 예가 되는 것과는 다르지만 사진의 초기 시대와 많은 유사점을 그릴 수 있습니다. 그러나 시간이 지남에 따라 이 기술이 성장할 가능성이 높습니다.

라이트 필드 사진이 미래에 어떻게 적용되는지 지켜볼 가치가 있습니다.