★ 이 책에서 다루는 내용 ★ ■ 디스플레이: 헤드마운트, 핸드헬드, 프로젝터, 청각, 햅틱 ■ 트래킹/센싱: 물리 원칙, 센서 퓨전, 실시간 컴퓨터 비전 ■ 캘리브레이션/등록: 반복적이고 정확하며 일관된 방식 ■ 실제와 가상 객체의 매끄러운 연결 ■ 직관적으로 이해하기 쉬운 시각화 ■ 상호작용: 상황형 브라우징부터 완전한 3D 상호작용까지 ■ 새로운 지오메트리 콘텐츠 모델링 ■ AR 프레젠테이션과 데이터베이스 모델링 저작 ■ 실시간, 멀티미디어, 분산형 요소를 활용한 AR 시스템 구성 ★ 이 책의 대상 독자 ★ 개발자, 엔지니어, 학생, 교사, 연구원 등 AR에 관심이 있는 누구에게나 도움이 될 것이다. ★ 이 책의 구성 ★ 1장. '증강 현실의 개요'에서는 증강 현실의 현재 개념을 정의하고 이 분야의 역사를 간략하게 알아본 다음, 강력한 실제 세계의 사용자 인터페이스 기술로서 다양한 응용 사례를 독자들에게 안내한다. 마지막으로 관련 기술과 연구 분야의 다양한 맥락을 살펴본다. 2장. '디스플레이'에서는 증강 현실을 가능하게 해주는 근본적인 기술인 디스플레이를 다룬다. 시각적 인식의 기초를 토대로 증강 현실에 적합한 다양한 디스플레이 기술, 특히 헤드마운트 디스플레이, 핸드헬드 디스플레이, 투영 디스플레이를 살펴본다. 청각 및 촉각 장치와 같은 비시각적 디스플레이에 대해서도 설명한다. 3장. '트래킹'에서는 증강 현실의 핵심 기술 중 하나인 트래킹을 소개한다. 먼저 트래킹과 일 반적인 측정 시스템이 어떻게 작동하는지 이해하는 데 필요한 특성을 알아본다. 그런 다음 기존의 고정형 트래킹 시스템을 알아보고, 이를 모바일 센서와 비교한다. 가장 눈에 띄는 트래킹 기술인 광학 트래킹은 광범위하게 활용된다. 센서 퓨전의 원리를 간략히 살펴보며 맺는다. 4장. '증강 현실을 위한 컴퓨터 비전'에서는 3장에서 다룬 광학 트래킹의 문제를 알아보고 실시간 포즈 추정, 즉 관찰된 이미지에서 카메라의 관찰 위치와 방향을 결정하는 컴퓨터 비전 알고리즘을 자세히 설명한다. 이 주제에 좀 더 편하게 다가가고 다양한 독자의 수준에 맞추기 위해 사례 연구 위주로 구성했다. 모든 사례 연구는 그 자체에 필요한 지식만 소개하므로, 컴퓨터 비전에 대한 깊은 지식이 없어도 괜찮다. 또한 OpenCV와 같은 소프트웨어 라이브러리를 참조하므로, 고급 수학 관련 주제를 반드시 이해하지 못하더라도 내용을 쉽게 따라갈 수 있다. 5장. '캘리브레이션과 등록'에서는 증강 현실에 사용되는 장치의 캘리브레이션과 등록 방법을 다룬다. 3장에서 설명한 광학 트래킹에 사용되는 디지털 카메라의 캘리브레이션은 증강 현실 애플리케이션에서 반복 가능하고 정확한 동작을 제공하는 데 필요한 전제 조건이다. 등록은 증강 현실 체험의 물리적 부분과 가상 부분의 지오메트리를 정렬해 일관된 혼합 환경을 만들어내는 과정이다. 6장. '시각적 일관성'에서는 실제 및 가상 객체의 완벽한 혼합 보기를 함께 생성하는 컴퓨터 그래픽 기술 제품군에 중점을 둔다. 가상 객체와 실제 객체 사이의 올바른 오클루전이나 가상 객체와 실제 객체 간의 정확한 음영 처리 같은 현상도 알아본다. 또한 감소 현실이라고도 불리는 장면에서 실제 물체를 제거하는 접근법을 알아보고 실제 카메라의 시물레이션을 살펴본다. 7장. '상황 시각화'에서는 시각화 기술을 집중적으로 살펴본다. 시각화는 정보를 이해하기 쉽게 만들어주는 것이다. 증강 현실의 맥락에서 이는 물리적 장면의 물체에 지오메트리가 등록된 컴퓨터로 생성한 정보가 사용자가 쉽게 이해할 수 있는 방식으로 배치되고 스타일화돼야 한다는 것을 의미한다. 우리는 2D 증강(예: 텍스트 레이블)과 3D 증강(예: 객체 내부가 합성된 뷰, 즉 ‘고스팅’)이라는 두 가지를 다룬다. 8장. '상호작용'에서는 증강 현실의 응용과 관련된 다양한 상호작용 기술 및 상호작용 스타일을 살펴본다. 간단한 위치 정보 검색부터 완전한 3D 상호작용에 이르기까지 다양한 내용을 다룬다. 특히 프롭, 위젯 및 수작업 기반의 상호작용과 증강 현실을 다양한 유형의 사용자 인터페이스에 연결하는 방법을 구체적으로 논의한다. 또한 증강 현실을 위한 멀티모드 및 에이전트 기반 인터페이스를 살펴본다. 9장. '모델링과 주석'에서는 대화형 모델링, 즉 증강 현실을 통한 새로운 지오메트리 콘텐츠의 생성과 관련된 주제를 다룬다. 3D 환경에 내장된 사용자 인터페이스는 환경의 디지털 버전을 재구성하는 강력한 접근 방식이 될 수 있다. 이 가능성은 비주얼 컴퓨팅을 다루는 모든 애플리케이션에 아주 중요하다. 10장. '저작'에서는 증강 현실 저작의 접근법을 논의한다. 증강 현실 프레젠테이션 및 정보 데이터베이스의 콘텐츠는 오늘날 웹 콘텐츠가 제작되는 것과 같은 방식으로 설계되고 작성돼야 한다. 증강 현실 콘텐츠는 기존 도구 또는 증강 현실 자체로 저작할 수 있다. 저작은 지오메트리 및 시각적 속성(특히 애플리케이션의 의미 및 동작 설정)을 넘어서, 애플리케이션의 의미와 행동 양식을 결정 짓는다. 저작은 되도록 내용에만 신경 쓸 수 있어야 하며 전통적 프로그래밍 작업은 최소한, 혹은 아예 필요 없어야 한 다. 이러한 요건을 충족할 수 있는 다양한 접근법을 알아보고, 증강 현실 저작과 최신 웹 표준 공개를 결합하는 최근의 연구를 알아본다. 11장. '내비게이션'에서는 특히 증강 현실의 사용자 인터페이스로서의 내비게이션을 살펴본다. 모바일 정보 시스템에서는 낯선 환경에서 방향을 찾는 것이 애플리케이션이 풀어야 할 중요한 과제다. 증강 현실을 사용해 구현된 내비게이션 가이드 기술의 개요를 제시하고, 디지털 맵과 비교해본다. 12장. '협업'에서는 공동 작업을 살펴본다. 증강 현실은 개인 간의 의사 소통에 사용될 수 있는 매체로서 잠재력이 크다. 여기에는 공유 증강 현실 시스템에서 제공하는 추가 단 서로 강화된 같은 공간에서의 협업과 증강 현실 기술로 큰 도움을 받을 수 있는 원격 협업이 포함되며, 그 과정에서 새로운 형태의 원격 회의도 가능하다. 13장. '소프트웨어 아키텍처'에서는 증강 현실 시스템의 기본 아키텍처를 분석한다. 증강 현실은 실시간 시스템, 멀티미디어 시스템, 분산 시스템의 측면을 결합해야 할 때가 많으므로 복잡한 요구 사항이 있다. 애플리케이션 프로그래머가 이해할 수 있는 유연한 방식으로 이런 요구 사항을 결합하는 것은 어려운 일이다. 분산 객체, 데이터플로우 시스템, 씬 그래프 같은 다양한 아키텍처 패턴을 논하고, 여러 사례 연구를 알아본다. 14장. '미래'에서는 증강 현실이 프로토타입 애플리케이션에서 입증된 유용성을 통해 연구 분야로부터 보편적인 소비 제품으로 변화해가면서 어떻게 자리잡을지 검토한다. 장애물과 아직 해결되지 않은 문제를 해결할 방법도 살펴본다. 또한 이 책에서 소개한 자료의 추세와 시사점을 요약하고, 향후 연구될 주제들도 설명한다. ★ 옮긴이의 말★ [포켓몬 고] 신드롬을 기억할 것이다. 스마트폰으로 ‘포켓몬’을 잡아 수집하는 이 게임은 한국에서만 지도 자료 공개 문제로 인해 정식 서비스가 이뤄지지 않아, 국내에서 유일하게 잡을 수 있었던 속초에 얼리어답터들이 몰렸다는 소식이 뉴스로 전해지기도 했다. 몇 개월 후 정식 서비스를 시작해 전국을 강타했던 이 증강 현실 게임은 희귀 포켓몬이 나오는 길 모퉁이마다 ‘운전 중 포켓몬 고 금지’, ‘주위 교통에 주의해 이용 바람’ 등의 내용을 담은 현수막이 나붙는 진풍경을 연출하기도 했다. 그런데 이 신드롬은 그야말로 ‘신드롬’이었다. 이후 불과 몇 달 만에 그 열기가 과연 언제 있었던가 싶게 급속히 식어버렸다. 증강 현실에는 가능성이 큰 만큼 한계도 엄연히 있다는 사실을 증명하듯이 말이다. 아무튼 이 게임으로 인해 증강 현실에 대한 대중의 관심이 커진 것은 사실이다. 그렇다면 증강 현실은 게임으로만 유효한 것일까? 게임 분야에 적용하기에는 몰입도가 훨씬 높은 가상 현실이 더 적합하리라 생각한다. 더불어 증강 현실은 그 쓰임새가 훨씬 많고, 일상에 적용할 수 있는 범위가 훨씬 넓다. 실제 증강 현실의 초기적 구현은 우리가 전시회나 박물관에 갔을 때 적당한 간격으로 작품에 대한 소개를 들려주는 전시 설명 앱, 전자제품의 QR 코드 등을 인식시키면 사용 설명서로 연동되는 앱, 모임 장소를 찾아가기 위해 활용하는 지도 앱 등으로 생활 곳곳에 벌써 들어와 있다. "이 모든 것이 다 증강 현실이라고?" 다소 의아할 수 있겠지만 어떤 도구든 활용해 우리의 생활 현장에 대한 추가 정보를 제공하는 것이 바로 증강 현실이다. 게다가 우리의 주머니에는 이미 남녀노소 할 것 없이 스마트폰이라는 성능 좋은 휴대용 컴퓨터가 들어있지 않은가. 구글 글래스나 마이크로소프트의 홀로렌즈에 대한 기대가 높았던 이유는 이런 증강 현실을 공상 과학 영화처럼 좀 더 편리한 UI로 직접 활용하게 된다는 상상 때문이었을 것이다. 그리고 스마트폰만으로 혹은 스마트폰과 함께 활용해 이렇게 증강 현실을 눈앞에서 펼쳐줄 새로운 기기를 만드는 것도 개발자에게는 이루고 싶은 꿈일 것이다. 프라이버시 문제와 괴짜처럼 보일 것 같은 두려움을 극복하는 기술이 나오기만 하면, 증강 현실은 지금껏 나온 어떤 기술보다 소비자에게 깊숙이 침투할 수 있을 것이다. 증강 현실이 무엇인지, 어떤 가능성이 있는지, 어디에 활용할 수 있을지 궁금하다면 기초적 내용을 꼼꼼히 살펴주는 이 책으로 공부를 시작해보고 그에 관한 힌트를 얻길 바란다.

1장. 증강 현실의 개요 __정의와 범위 __증강 현실의 간략한 역사 __예제 ____산업과 건축 ____유지 보수와 훈련 ____의료 ____개인 정보 디스플레이 ____내비게이션 ____텔레비전 ____홍보와 광고 ____게임 __관련 분야 ____혼합 현실 연속체 ____가상 현실 ____유비쿼터스 컴퓨팅 __요약 2장. 디스플레이 __복합 디스플레이 ____오디오 디스플레이 ____햅틱, 택타일, 탠지블 디스플레이 ____후각과 미각 디스플레이 __시각적 인식 __요건 및 특징 ____증강 방식 ____외안과 입체 영상 ____초점 ____가림 ____해상도와 새로고침 속도 ____시야 ____시점 오프셋 ____밝기와 명암비 ____왜곡과 수차 ____지연 ____인체공학 ____사회적 용인 __공간 디스플레이 모델 __시각 디스플레이 ____눈 근접 디스플레이 ____핸드헬드 디스플레이 ____고정 디스플레이 ____투영형 디스플레이 __요약 3장. 트래킹 __트래킹, 캘리브레이션, 등록 __좌표 시스템 ____모델 변환 ____보기 변환 ____투영 변환 ____기준 프레임 __트래킹 기술의 특징 ____물리적 현상 ____측정 원칙 ____측정한 지오메트릭 속성 ____센서 정렬 ____신호 소스 ____자유도 ____측정 좌표 ____공간 센서 배열 ____작업장 범위 ____측정 오류 ____시간적 특성 __고정 트래킹 시스템 ____기계적 트래킹 ____전자 트래킹 ____초음파 트래킹 __모바일 센서 ____글로벌 위치 시스템 ____무선 네트워크 ____자기 탐지기 ____자이로스코프 ____선형 가속계 ____주행 기록계 __광학 트래킹 ____모델 기반인가, 모델이 없는 트래킹인가 ____조명 ____마커인가, 자연적 특징인가 ____대상 식별 __센서 퓨전 ____보조적 센서 퓨전 ____경쟁적 센서 퓨전 ____협력적 센서 퓨전 __요약 4장. 증강 현실을 위한 컴퓨터 비전 __마커 트래킹 ____카메라 표현 ____마커 감지 ____호모그래피에서 포즈 추정 ____포즈 개선 __멀티카메라 적외선 트래킹 ____방울 감지 ____점 대응 수립 ____카메라 두 대의 삼각 측량 ____두 개 이상의 카메라에서 삼각 측량 ____구체 마커로 구성된 타깃 매칭 ____절대 방향 __감지에 의한 자연 특징 트래킹 ____관심 지점 감지 ____식별자 생성 ____서술자 매칭 ____시점 n-지점 카메라 포즈 ____탄탄한 포즈 추정 __점증적 트래킹 ____액티브 서치 ____케네이드-루커스-토마시 트래킹 ____0 정규화 교차 상관 ____계층적 검색 ____탐지와 트래킹 결합 __동시 위치 측정과 맵핑 ____필수 매트릭스를 위한 5점 알고리즘 ____번들 조정 ____병렬 트래킹과 맵핑 ____위치 재지정 및 루프 폐쇄 ____조밀한 맵핑 __실외 트래킹 ____확장 가능한 시각적 매칭 ____센서로부터 얻은 사전 정보 ____지오메트리에서의 사전 정보 ____동시 트래킹, 맵핑, 위치 측정 __요약 5장. 캘리브레이션과 등록 __카메라 캘리브레이션 ____카메라 내부 매개변수 ____렌즈 왜곡 교정 __디스플레이 캘리브레이션 ____단일 지점 액티브 정렬 방법 ____포인팅 장치를 이용한 헤드마운트 디스플레이 캘리브레이션 ____손과 눈의 캘리브레이션 __등록 ____기하학적 측정치 왜곡 ____오류 전파 ____지연 ____필터링과 예측 __요약 6장. 시각적 일관성 __등록 __오클루전 ____오클루전 개선 ____개연적 오클루전 ____모델이 없는 오클루전 __측광 등록 ____이미지 기반 조명 ____라이트 프로브 ____오프라인 라이트 캡처 ____정지 이미지로부터 측광 등록 ____거울 반사에서 측광 등록 ____확산 반사에서 측광 등록 ____그림자로부터 측광 등록 ____야외 측광 등록 ____분명한 광원 재구성 __일반 조명 ____차등 렌더링 ____실시간 글로벌 일루미네이션 ____그림자 ____확산 글로벌 일루미네이션 ____반사 글로벌 일루미네이션 __감소 현실 ____관심 지역 결정 ____숨겨진 영역의 관찰과 모델링 ____관심 지역 제거 ____프로젝터 기반 감소 현실 __카메라 시뮬레이션 ____렌즈 왜곡 ____블러 ____노이즈 ____비네팅 ____색수차 ____베이어 패턴 결함 ____톤 맵핑 결함 __스타일화된 증강 현실 __요약 7장. 상황 시각화 __도전 과제 ____데이터 과부하 ____사용자 상호작용 ____등록 오류 ____시각적 간섭 ____시간적 일관성 __시각화 등록 ____로컬 등록된 상황 시각화 ____글로벌 등록된 상황 시각화 ____등록의 불확실성 __주석과 라벨링 ____라벨링의 기본 ____최적화 기법 ____시간적 일관성 ____이미지 가이드 배치 ____가독성 __엑스레이 시각화 ____물체 공간에서의 고스팅 ____이미지 공간에서의 고스팅 ____G-버퍼 적용 __공간 조작 ____전개도 ____공간 조작 __정보 필터링 ____지식 기반 필터링 ____공간 필터 ____지식 기반과 공간 필터 결합 __요약 8장. 상호작용 __출력 양식 ____증강물 배치 ____애자일 디스플레이 ____매직 렌즈 __입력 양식 ____단단한 물체의 트래킹과 조작 ____몸 트래킹 ____제스처 ____터치 ____물리 기반 인터페이스 __탠저블 인터페이스 ____표면에서의 탠저블 ____일반적 형태의 탠저블 ____뚜렷한 형태의 탠저블 ____투명한 탠저블 __실제 표면에서의 가상 사용자 인터페이스 __증강 종이 __멀티뷰 인터페이스 ____멀티디스플레이의 초점+맥락 ____공유 공간 ____멀티로컬 ____크로스 뷰 상호작용 __햅틱 상호작용 __멀티모드 상호작용 __대화형 에이전트 __요약 9장. 모델링과 주석 __지오메트리 명세 ____점 395 ____면 397 ____볼륨 __모습 명시 __반자동 재구성 __자유 형태 모델링 __주석 __요약 10장. 저작 __AR 저작의 요건 ____실제 세계 인터페이스 ____하드웨어 추상화 ____저작 워크플로우 __저작의 요소 ____액터 ____스토리 ____스테이지 ____상호작용 ____설정 __독립적 저작 솔루션 ____데스크톱 저작 ____성능에 의한 저작 __플러그인 접근법 __웹 기술 __요약 11장. 내비게이션 __휴먼 내비게이션의 근본 __탐험과 발견 __루트 시각화 __시점 가이드 ____대상 물체 쪽으로 인도하기 ____대상 시점으로 인도 __여러 시점 ____동시 다중 시점 ____변화형 인터페이스 __요약 12장. 협업 __협업 시스템의 속성 __같은 장소에서의 협업 ____개인 디스플레이와 뷰 ____시선 인지 ____공유 공간에서의 애자일 협업 __원격 협업 ____동영상 공유 ____가상 물체의 비디오 공유 ____동영상 공유와 지오메트리 재구성 ____가리키기와 제스처 ____애자일 사용자와의 원격 협업 __요약 13장. 소프트웨어 아키텍처 __AR 애플리케이션 요건 ____환경 제어와 씬 역동성 ____디스플레이 공간 ____실제와 가상의 일관성 ____시맨틱 지식 ____물리적 공간 __소프트웨어 엔지니어링 요건 ____플랫폼 추상화 ____사용자 인터페이스 추상화 ____재사용성과 확장성 ____분산 컴퓨팅 ____분리 시뮬레이션 __분산 객체 시스템 ____객체 관리 ____사례 연구: SHEEP __데이터플로우 ____데이터플로우 그래프 ____멀티모드 상호작용 ____스레드와 스케줄링 ____사례 연구: 웨어러블 증강 현실 설정 __씬 그래프 ____씬 그래프의 기초 ____의존성 그래프 ____씬 그래프 통합 ____분산 공유 씬 그래프 __개발자 지원 ____매개변수 구성 ____선언적 스크립팅 ____사례 연구: 증강 현실 투어 가이드 ____절차적 스크립팅 ____혼합 언어 프로그래밍 ____런타임 재구성 ____AR 플랫폼 선택 ____요약 14장. 미래 __무엇이 비즈니스 사례의 동력이 될 수 있을까 ____전문 사용자 ____소비자 __AR 개발자의 위시 리스트 ____저수준 카메라 API ____여러 카메라 ____광시야각 카메라 ____센서 ____통합 메모리 ____모바일 GPU의 병렬 프로그래밍 ____더 나은 디스플레이 __AR을 야외로 ____협조적이지 않은 사용자 ____제한된 기기 역량 ____위치 측정 성공률 __스마트 물체와의 인터페이스 __가상 현실과 증강 현실의 합류 지점 __사람의 증강 __극적 매체로서의 AR __소셜 컴퓨팅 플랫폼으로서의 AR __요약