손쉬운 3D 모델링, iOS Object Capture
증강 현실(AR)과 몰입형 경험에 대한 수요가 급증함에 따라, 현실 세계의 객체를 디지털화하는 기술에 대한 관심도 동시에 높아지고 있습니다. 이러한 디지털 변환을 가능하게 하는 혁신적인 도구 중 하나는 Apple의 iOS Object Capture 기술입니다.
DEEP.FINE의 XR 공간 구축 플랫폼인 DEEP.FINE Spatial Crafter(DSC)는 해당 기술을 활용하여 고품질 3D 에셋을 생성하고 해당 에셋으로 디지털 공간을 손쉽게 커스텀하는 기능까지 확장하여 제공하고 있습니다.
이번 글에서는 Object Capture의 개념, 작동원리, 고품질의 3D 모델을 생성하는 활용 방법에 대해 자세히 알아보겠습니다.
개요
iOS Object Capture는 Apple이 제공하는 3D 모델링 도구로, iOS 기기 즉 온디바이스를 사용하여 물체의 사진을 촬영하고 이를 3D 모델로 변환하는 기술입니다.
이 기술은 Apple의 ARKit 및 RealityKit 프레임워크와 통합되어 있으며, 사용자는 다양한 각도에서 촬영한 사진들을 통해 정확한 3D 모델을 생성할 수 있습니다. 이를 통해 3D 모델링의 진입 장벽이 크게 낮아졌으며, 전문가뿐만 아니라 일반 사용자들도 쉽게 3D 모델을 생성하고 활용할 수 있게 되었습니다.
다만 모든 iPhone과 iPad에서 지원되는 것은 아니며, LiDAR 스캐너와 A14 Bionic 칩 이상이 탑재된 디바이스에서만 지원됩니다. 또한 이를 사용하려면 iOS 17 또는 iPadOS 17 이상 버전이 필요합니다.
(이미지 출처 : https://developer.apple.com/videos/play/wwdc2023/10191/)
대상 오브젝트 선택
스캔할 때는 정적인 객체를 선택하는 것이 중요합니다. 객체를 움직여 모든 면을 촬영하는 것은 괜찮지만, 변형되거나 구부러지는 부드럽거나 관절이 있는 객체는 피해야 합니다. 이러한 객체는 RealityKit의 이미지 간 랜드마크 매칭을 방해하여 Object Capture가 실패하거나 저품질 결과를 초래할 수 있습니다.
피해야 할 오브젝트
매우 얇은 객체: 한 차원에서 매우 얇은 객체는 피해야 합니다.
반사율이 높은 객체: 반사성이 강한 객체는 촬영을 어렵게 합니다.
투명 또는 반투명 객체: 이러한 객체는 적절한 데이터를 제공하지 않아 3D 모델 생성에 문제가 생길 수 있습니다.
촬영 시 주의사항
RealityKit이 정확한 3D 모델을 생성하기 위해 필요한 사진 수는 객체의 복잡성과 크기에 따라 다릅니다. 인접한 사진들 간에는 상당한 겹침이 필요하며, 연속된 이미지들은 최소 70% 이상 겹쳐야 합니다. 인접 사진 간의 겹침이 50% 미만일 경우, 객체 생성 과정이 실패하거나 저품질의 스캔 결과를 초래할 수 있습니다.
(이미지 출처 : RealityKit Object Capture를 위한 사진 캡처 | Apple 개발자 문서)
작동 원리
Object Capture의 핵심 기술은 Photogrammetry(포토그래메트리)이며 특히 현실 세계의 물체를 고품질 3D 모델로 변환하는 데 최적화되어 있습니다.
Photogrammetry는 사진을 기반으로 물체의 3D 형상을 복원하는 기술로, 다양한 각도에서 촬영된 다수의 사진을 분석하여 3차원 공간 정보를 추출합니다. 이 과정에서 컴퓨터 비전과 이미지 처리 알고리즘이 중요한 역할을 합니다.
PhotogrammetrySession API 주요 단계
Object Capture의 핵심은 RealityKit 프레임워크에 포함된 PhotogrammetrySession API입니다. 이 API는 다수의 2D 이미지를 하나의 일관된 3D 모델로 변환하는 과정을 자동화합니다. 그 작동 원리를 자세히 살펴보겠습니다.
이미지 수집:
첫 단계는 대상 객체를 다양한 각도에서 여러 장의 사진으로 촬영하는 것입니다. 최종 3D 모델의 품질은 이 이미지의 다양성과 품질에 크게 의존합니다.
따라서 가능한 한 많은 사진을 촬영하는 것이 중요합니다. 이때, 적절한 조명 아래에서 촬영하고, 다양한 각도와 높이에서 사진을 찍는 것이 좋습니다. 반사나 투명한 표면은 피하는 것이 바람직합니다. 아래에서 자세히 설명드리겠습니다.
[권장되는 요소]
적당한 조명
충분히 밝은 조명 환경을 만들어서 객체의 모든 디테일이 잘 드러나도록 합니다. 특정 부분에 강한 그림자가 생기지 않도록 조명의 위치와 각도를 조정합니다.
다양한 각도와 높이
한 층에서 촬영한 후 약간의 높이 차이를 두고 다시 촬영하는 것을 반복하여 여러 층에서 이미지를 수집합니다.
예를 들어, 객체 주위를 한 바퀴 돌면서 촬영한 후, 조금 위로 올라가거나 내려가서 다시 한 바퀴 돌면서 촬영합니다.
[피해야 하는 요소]
반사 되거나 투명한 표면
반사 표면 : 반사되는 표면은 카메라에 반사된 주변 환경을 보여주므로, 실제 객체의 디테일을 정확하게 캡처하는 것이 어렵습니다. 이는 3D 모델링 소프트웨어가 실제 표면 데이터를 얻기 힘들게 만듭니다.
투명 표면 : 투명한 표면은 빛을 통과시키기 때문에 카메라가 표면을 제대로 감지하지 못할 수 있습니다. 이는 3D 모델링 소프트웨어가 객체의 형태를 인식하는 데 어려움을 겪게 합니다.
2. 데이터 처리:
수집된 이미지는 PhotogrammetrySession API를 통해 처리됩니다. 이 API는 서로 다른 사진들 간의 공통점을 찾아 정렬하며, 피쳐 매칭(feature matching) 알고리즘을 사용하여 각 이미지의 대응 관계, 상대적 위치를 계산합니다.
포인트 클라우드 생성:
정렬된 이미지의 카메라 위치 정보를 바탕으로 포인트 클라우드가 생성됩니다. 포인트 클라우드는 물체의 표면을 나타내는 수천 개의 점으로 구성됩니다.
고밀도 재구성:
생성된 포인트 클라우드를 고밀도 포인트 클라우드로 변환하여 객체의 보다 상세한 표현을 제공합니다. 이후 3D 메시(mesh)가 생성되며, 이는 객체의 표면 기하학을 형성합니다.텍스처 매핑:
마지막 단계에서는 원본 이미지를 사용하여 3D 메시에 텍스처를 매핑합니다. 이를 통해 3D 모델이 현실감 있게 표현됩니다.
이러한 단계를 통해 PhotogrammetrySession API는 다수의 2D 이미지를 고품질의 3D 모델로 변환하여 다양한 응용 분야에서 활용할 수 있는 기회를 제공합니다.
DEEP.FINE Spatial Crafter(DSC)의 3D Asset 기능
DSC에서는 Object Capture 기술을 활용하여 고객에게 더 나은 서비스를 제공하고 있습니다. 예를 들어, 사용자는 아래와 같은 순서대로 서비스를 이용할 수 있습니다.
스캔
DSC 앱의 메인화면입니다. 3D Asset 기능에서 스캔을 통해 현실 오브젝트를 3D 모델로 생성할 수 있습니다.업로드
현실 오브젝트 스캔 과정에서 물체를 인식하여 바운딩 박스를 설정합니다.
스캔을 진행하면서 실시간으로 스캔 범위를 포인트 클라우드로 시각화하여 보여줍니다.
진행중인 스캔의 단계를 안내해주는 화면입니다.
오브젝트 스캔 완료 후에는 서버에 파일을 업로드합니다.
업로드된 3D 모델 파일을 확인할 수 있습니다. 복잡한 끈과 신발 내부 모습까지 정확하게 스캔 된 것을 확인할 수 있습니다.
배치
현실 공간을 스캔하여 만들어진 3D map인 Spatial의 Edit 모드에서 제작한 3D 에셋을 배치 가능합니다. 이후 자신이 원하는 장소에서 에셋을 증강시킬 수 있습니다.
마치며
딥파인의 DEEP.FINE Spatial Crafter(DSC)는 애플의 자사 First-party 프레임워크를 활용하여 전문 장비 없이도 현실 오브젝트를 3D 스캔하여 손쉽게 에셋 화할 수 있습니다. 이 기술은 복잡한 3D 모델링 과정을 간소화하여, 누구나 접근 가능하게 만듭니다.
특히 DEEP.FINE Spatial Crafter(DSC)에서 생성한 맞춤형 디지털 공간에 이러한 에셋을 배치함으로써 콘텐츠 제작의 효율성을 크게 향상시킬 수 있습니다.
앞으로는 이러한 기술이 지속적으로 업데이트될 것으로 예상됩니다. 특히, 최근 WWDC 2024에서 소개된 새로운 ‘영역 모드’ Object Capture는 기존 기능에 비해 여러 면에서 개선되었습니다. 이 모드는 캡처 범위를 확장하고, 캡처 품질을 향상시키며, 더 정교한 커스텀 이미지 처리 파이프라인을 구축할 수 있도록 설계되었습니다. 이를 통해 현실과 디지털 공간의 경계를 허물고, 새로운 창작의 가능성을 열어줄 것입니다.
딥파인은 진화하는 기술을 활용하여 사용자가 손쉽게 고품질의 3D 모델을 제작하고 이를 활용한 XR 콘텐츠 제작 및 디지털 공간을 구축할 수 있는 혁신적인 플랫폼을 제공하고자 합니다. 이를 통해 현실과 디지털 공간 사이의 격차를 해소함으로써 디지털 창작이 현실 세계만큼 직관적이고 자연스러운 미래를 위한 길을 닦고 있습니다. 딥파인의 더 많은 업데이트와 혁신을 계속 지켜봐 주시기 바랍니다.
