돛단배

M. Armstrong and A. Zisserman,
“Robust object tracking,”
in Proc 2nd Asian Conference on Computer Vision, 1995, vol. I.
Springer, 1996, pp. 58–62.


Abstract
We describe an object tracker robust to a number of ambient conditions which often severely degrade performance, for example partial occlusion. The robustness is achieved by describing the object as a set of related geometric primitives (lines, conics, etc.), and using redundant measurements to facilitate the detection of outliers. This improves the overall tracking performance. Results are given for frame rate tracking on image sequences.

R. L. Thompson, I. D. Reid, L. A. Munoz, and D. W. Murray,
“Providing synthetic views for teleoperation using visual pose tracking in multiple cameras,”
IEEE Transactions on Systems, Man and Cybernetics, Part A, vol. 31, no. 1, pp. 43–54, 2001.

Abstract - This paper describes a visual tool for teleoperative experimentation involving remote manipulation and contact tasks. Using modest hardware, it recovers in real-time the pose of moving polyhedral objects, and presents a synthetic view of the scene to the teleoperator using any chosen viewpoint and viewing direction. The method of line tracking introduced by Harris is extended to multiple calibrated cameras, and afforced by robust methods and iterative ltering. Experiments are reported which determine the static and dynamic performance of the vision system, and its use in teleoperation is illustrated in two experiments, a peg in hole manipulation task and an impact control task.


Line tracking 
http://en.wikipedia.org/wiki/Passive_radar#Line_tracking
The line-tracking step refers to the tracking of target returns from individual targets, over time, in the range-Doppler space produced by the cross-correlation processing. A standard Kalman filter is typically used. Most false alarms are rejected during this stage of the processing.


- Three difficulties using the Harris tracker
First it was found to be easily broken by occlusions and changing lighting. Robust methods to mitigate this problem have been investigated monocularly by Armstrong and Zisserman [20], [21]. Although this has a marked effect on tracking performance, the second problem found is that the accuracy of the pose recovered in a single camera was poor, with evident correlation between depth and rotation about axes parallel to the image plane. Maitland and Harris [22] had already noted as much when recovering the pose of a pointing device destined for neurosurgical application [23].
They reported much improved accuracy using two cameras; but the object was stationary, had an elaborate pattern drawn on it and was visible at all times to both cameras. The third difficulty, or rather uncertainty, was that the convergence properties and dynamic performances of the monocular and multicamera methods were largely unreported.


"Harris' RAPiD tracker included a constant velocity Kalman filter."

Harris' RAPiD
C. Harris and C. Stennett, “Rapid - a video rate object tracker,” in Proc 1st British Machine Vision Conference, Sep 1990, pp. 73–77.


ref.
C. Harris, “Tracking with rigid models,” in Active Vision, A. Blake and A. Yuille, Eds. MIT Press, 1992, pp. 59–73.

RAPID (Real-time Attitude and Position Determination) is a real-time model-based tracking algorithm for a known three dimensional object executing arbitrary motion, and viewed by a single video-camera. The 3D object model consists of selected control points on high contrast edges, which can be surface markings, folds or profile edges.
The use of either an alpha-beta tracker or a Kalman filter permits large object motion to be tracked and produces more stable tracking results. The RAPID tracker runs at video-rate on a standard minicomputer equipped with an image capture board.

alpha-beta tracker
http://en.wikipedia.org/wiki/Alpha_beta_filter

Kalman filter
http://en.wikipedia.org/wiki/Kalman_filter

Avoiding moving outliers in visual SLAM by tracking moving objects

Wangsiripitak, S.   Murray, D.W.  
Dept. of Eng. Sci., Univ. of Oxford, Oxford, UK;

This paper appears in: Robotics and Automation, 2009. ICRA '09. IEEE International Conference on
Publication Date: 12-17 May 2009
On page(s): 375-380
ISSN: 1050-4729
ISBN: 978-1-4244-2788-8
INSPEC Accession Number: 10748966
Digital Object Identifier: 10.1109/ROBOT.2009.5152290
Current Version Published: 2009-07-06


http://www.robots.ox.ac.uk/~lav//Research/Projects/2009somkiat_slamobj/project.html

Abstract

parallel implementation of monoSLAM with a 3D object tracker
information to register objects to the map's frame
the recovered geometry

I. Introduction

approaches to handling movement in the environment
segmentation between static and moving features
outlying moving points

1) active search -> sparse maps
2) robust methods -> multifocal tensors
3-1) tracking known 3D objects in the scene
  -2) determining whether they are moving
  -3) using their convex hulls to mask out features

"Knowledge that they are occluded rather than unreliable avoids the need to invoke the somewhat cumbersome process of feature deletion, followed later perhaps by unnecessary reinitialization."

[15] H. Zhou and S. Sakane, “Localizing objects during robot SLAM in semi-dynamic environments,” in Proc of the 2008 IEEE/ASME Int Conf on Advanced Intelligent Mechatronics, 2008, pp. 595–601.

"[15] noted that movement is likely to associated with objects in the scene, and classified them according to the likelihood that they would move."

the use of 3D objects for reasoning about motion segmentation and occlusion

occlusion masks

II. Underlying Processes
A. Visual SLAM

Monocular visual SLAM - EKF

idempotent 멱등(冪等)
http://en.wikipedia.org/wiki/Idempotence
Idempotence describes the property of operations in mathematics and computer science that means that multiple applications of the operation do not change the result.

http://en.wikipedia.org/wiki/Quaternions_and_spatial_rotation
http://en.wikipedia.org/wiki/Conversion_between_quaternions_and_Euler_angles
http://en.wikipedia.org/wiki/Quaternion
http://en.wikipedia.org/wiki/Euler_Angles
Berthold K.P. Horn, "Some Notes on Unit Quaternions and Rotation"

"Standard monocular SLAM takes no account of occlusion."

B. Object pose tracking

Harris' RAPiD
[17] C. Harris and C. Stennett, “Rapid - a video rate object tracker,” in Proc 1st British Machine Vision Conference, Sep 1990, pp. 73–77
[20] C. Harris, “Tracking with rigid models,” in Active Vision, A. Blake and A. Yuille, Eds. MIT Press, 1992, pp. 59–73.

"(RAPiD makes the assumption that the pose change required between current and new estimates is sufficiently small, first, to allow a linearization of the solution and, second, to make trivial the problem of inter-image correspondence.) The correspondences used are between predicted point to measured image edge, allowing search in 1D rather than 2D within the image. This makes very sparing use of image data — typically only several hundred pixels per image are addressed."

aperture problem
http://en.wikipedia.org/wiki/Motion_perception
http://focus.hms.harvard.edu/2001/Mar9_2001/research_briefs.html

[21] R. L. Thompson, I. D. Reid, L. A. Munoz, and D. W. Murray, “Providing synthetic views for teleoperation using visual pose tracking in multiple cameras,” IEEE Transactions on Systems, Man and
Cybernetics, Part A, vol. 31, no. 1, pp. 43–54, 2001.
- "Three difficulties using the Harris tracker":

(1)First it was found to be easily broken by occlusions and changing lighting. Robust methods to mitigate this problem have been investigated monocularly by Armstrong and Zisserman. (2)Although this has a marked effect on tracking performance, the second problem found is that the accuracy of the pose recovered in a single camera was poor, with evident correlation between depth and rotation about axes parallel to the image plane. Maitland and Harris had already noted as much when recovering the pose of a pointing device destined for neurosurgical application. They reported much improved accuracy using two cameras; but the object was stationary, had an elaborate pattern drawn on it and was visible at all times to both cameras. (3)The third difficulty, or rather uncertainty, was that the convergence properties and dynamic performances of the monocular and multicamera methods were largely unreported.

(3) : little solution
(2) => [21] "recovered pose using 3 iterations of the pose update cycle per image"
(1) => [21], [22] : search -> matching -> weighting

[22] M. Armstrong and A. Zisserman, “Robust object tracking,” in Proc 2nd Asian Conference on Computer Vision, 1995, vol. I. Springer, 1996, pp. 58–62.

RANSAC
[23] M. Fischler and R. Bolles, “Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography,” Communications of the ACM, vol. 24, no. 6, pp. 381–395, June 1981.

Least median of squares as the underlying standard deviation is unknown
[24] P. J. Rousseeuw, “Least median of squares regression,” Journal of the American Statistical Association, vol. 79, no. 388, pp. 871–880, 1984.



III. MonoSLAM with Tracked Objects
A. Information from SLAM to the object tracker


B. Information from the object tracker to SLAM


"The convex hull is uniformly dilated by an amount that corresponds to the projection of the typical change in pose."

Probabilistic Robotics
Sebastian Thrun, Wolfram Burgard and Dieter Fox
MIT Press, September 2005

Machine Learning Summer Schools — Plone site
http://www.mlss.cc/

University of Cambridge: Augmented Maps

University of Cambridge: Natural Feature Tracking for Mobile Phones

Daniel Wagner, Gerhard Reitmayr, Alessandro Mulloni, Tom Drummond and Dieter Schmalstieg
Pose Tracking from Natural Features on Mobile Phones
In Proc. IEEE ISMAR'08, 2008, Cambridge, UK.

Denis Chekhlov, Andrew Gee, Andrew Calway, Walterio Mayol-Cuevas
Ninja on a Plane: Automatic Discovery of Physical Planes for Augmented Reality Using Visual SLAM
http://dx.doi.org/10.1109/ISMAR.2007.4538840

demo: Ninja on A Plane: Discovering Planes in SLAM for AR

http://www.cs.bris.ac.uk/Publications/pub_master.jsp?id=2000745

Title: Augmenting reality for telerobotics: unifying real and virtual worlds

Author(s):  John Pretlove

Journal:  Industrial Robot: An International Journal Year:  1998 Volume:  25 Issue:  6 Page:  401 - 407 

ISSN:  0143-991X  DOI:  10.1108/01439919810240225

정보통신산업진흥원 "Augmented Reality 기술 동향" (주간기술동향 892호)
 

　

Augmented Reality 기술 동향

김주완* 김해동** 박상규*** 이의택****

컴퓨터로 생성한 가상환경(Virtual Environments) 안에서 상호 작용하는 사용자가 실세계 환경과 같은 현실감을 느끼기에는 많은 한계가 있다. 최근 미국과 일본을 중심으로 이러한 한계를 극복하기 위하여, 가상환경과 실세계 환경을 서로 혼합하여 사용자에게 보다 높은 현실감을 제공하는 Mixed Reality에 대한 연구가 활발히 진행되고 있다. Mixed Reality는 가상 환경과 실세계 환경 중 어느 것을 기반으로 하는가에 따라 Augmented Reality와 Augmented Virtuality로 나뉘며, 본 고에서는 실세계 환경을 기반으로 가상 환경을 합성하는 Augmented Reality기술의 개요 및 최근 기술 개발 동향을 살펴본다.▒

I. 서 론

지난 10년 동안 우리는 컴퓨터가 만든 가상환경(VE: Virtual Environments)을 기반으로 사용자와 상호 작용하는 많은 가상현실(VR: Virtual Reality) 시스템을 보아왔다. 그러나, 지금까지 보아온 대부분의 가상현실 시스템은 가상 환경 내의 모든 것을 컴퓨터 그래픽을 이용하여 표현하기 때문에, 사용자에게 실세계 환경(RE: Real Environments)과 같은 현실감을 주기에는 한계가 있었다. 이러한 한계를 극복하기 위하여 컴퓨터로 만들어낸 가상 환경에 현실감이 풍부한 실세계 환경을 혼합하여 현실감을 향상시키는 기술인 Mixed Reality에 대한 연구가 많이 진행되고 있다. Mixed Reality 기술은 실세계 환경과 가상환경 중에서 어느 것을 기반으로 하였는가에 따라 Augmented Reality와 Augmented Virtuality로 구분되며, 본 고에서는 미국과 일본을 중심으로 연구되고 있는 실세계 환경을 기반으로 가상 오브젝트를 추가하여 현실감을 향상시키는 Augmented Reality 기술의 개요 및 개발 동향에 대하여 살펴본다.

II. Augmented Reality 기술 개요

1. Augmented Reality의 정의

1994년 캐나다 토론토 대학의 Paul Milgram 교수는 (그림 1)에서 보는 바와 같이 실세계 환경과 가상 환경은 연속되어 있다고 하였다^[1]. 실세계 환경은 사람이 생활하는 환경을 말하며, 가상 환경이라는 것은 모든 것이 컴퓨터로 만들어진 가상 공간을 말한다. Mixed Reality는 실세계 환경과 가상 환경이 동시에 존재한다는 것이며, 가상 환경과 실세계 환경의 단점들을 상호 보완하여 현실감을 향상시키겠다는 개념이다.

Mixed Reality는 실세계 환경과 가상 환경 중 어느 것을 기반으로 하고 있는가에 따라 Augmented Reality와 Augmented Virtuality로 나뉘게 된다. Augmented Reality는 실세계 환경에 가상 오브젝트를 합성하여 실세계 환경에 대한 현실감을 향상시키며, Augmented Virtuality는 가상 환경을 기반으로 실세계 오브젝트를 합성하여 가상 환경에 대한 현실감을 향상시킨다.

그러나 실세계 환경과 가상 환경을 무조건 합성하였다고 Augmented Reality 또는 Augmented Virtuality라고 하지 않으며, 합성된 실세계와 가상 환경과는 서로 유기적인 관계가 존재하여야 된다. 즉, 실세계 환경과 가상 환경을 합성한 영상을 사용자가 보았을 때, 사용자는 합성된 흔적을 느끼지 못하도록 실세계 환경과 가상 세계 환경간에 3차원으로 정확한 정합(registration)이 이루어져야 된다. 그리고 이러한 작업이 모두 실시간에 이루어져야 하며, 가상 세계 환경과 실세계 환경간에는 상호작용이 있어야 한다^[2].

(그림 2)는 Augmented Reality와 Augmented Virtuality의 차이를 설명하는 예로 (a)는 모션컨트롤카메라가 있는 실사에 컴퓨터 그래픽으로 만든 사람을 합성하여 실세계 환경의 현실감을 향상시키는 Augmented Reality의 한 예이다. (그림 2)의 (나)는 가상 세계를 기반으로 실세계 오브젝트를 추가하여 현실감을 향상시키는 Augmented Virtuality의 예로, 일본 Mixed Reality Systems Laboratory사에서 개발하고 있는 가상 쇼핑몰 시스템인 "Cyber Mirage"의 한 장면이다. 이 시스템은 컴퓨터로 만든 가상공간에 실세계의 옷을 합성하여 전시하므로, 기존의 가상현실 기반 쇼핑몰 시스템에 비하여 상품에 대한 현실감을 많이 얻을 수 있다.

2. 요소 기술

현재 Augmented Reality 기술의 요소 기술이자 현안 문제인 디스플레이 장치와 실세계와 가상 세계간의 정확하고 상호 조화된 영상 정합을 위하여 해결해 나가야 될 문제를 기술한다.

가. 디스플레이

현재 Augmented Reality에서 사용되는 가상 현실 시스템에서 흔히 볼 수 있는 디스플레이 형태인 머리에 착용할 수 있는 head mounted device와 그렇지 않은 non-head mounted device로 분류된다. 머리에 착용할 수 있는 head mounted device 형태의 디스플레이 장치는 대부분의 Augmented Reality 시스템에서 가장 많이 사용되는 디스플레이 장비로 optical see-through HMD(Head-mounted Display)와 video see-through HMD로 나누어 지며, non-head mounted 디스플레이는 CRT와 같은 소형 디스플레이 장치나 프로젝터와 같은 대형 디스플레이 장치로 나누어 진다.

Optical see-through HMD는 (그림 3)에서 보는 바와 같이 사용자의 눈앞에 반투과성 거울이나 프리즘으로 만들어진 광학 합성기(optical combiner)가 부착되어 있으며, 사용자는 광학 합성기를 통해 실세계 환경을 직접 보면서, 광학 합성기로 투사되는 가상 영상을 동시에 볼 수 있다. 그러나 광학 합성기를 통해 보는 실세계 모습은 빛이 100% 투과되지 않아 실제보다 어둡게 보이며, 가상 영상 역시 선명하게 볼 수 없다는 단점이 있다. 또한 실세계 환경은 해상도와 관계없이 항상 볼 수 있으나, 가상 영상에 대해서는 해상도의 영향을 많이 받는 단점이 있다.

Video see-through HMD는 (그림 4)에서 보는 바와 같이 실세계 환경에 대한 영상을 획득하기 위하여 HMD에 1개 또는 2개의 카메라를 별도로 가지고 있다. 그리고 비디오 합성기를 이용하여 카메라로부터 입력되는 실세계 영상과 컴퓨터에서 생성한 가상 영상을 합성하여 HMD에 부착된 LCD와 같은 디스플레이 장치에 보여주게 된다. 현재 개발된 HMD는 컴퓨터에서 생성한 가상 영상 스트림과 카메라를 통해 얻은 실세계 영상 스트림을 합성하기 위해서 비디오 합성기와 같은 별도의 부가 장치가 필요하다. 또한 HMD에 부착된 카메라의 옵셋(offset), 제한된 FOV(Field of View), 영상 합성 작업에 필요한 시간 지연 등 여러 가지 문제로 인하여 현재 상용화된 제품은 없으며, 프로토타입 시스템만 나와 있는 상태이다.

Non-head mounted device는 HMD를 착용하고 작업하기 어려운 특정 상황에서 사용되며, 일반 모니터 크기의 소형 디스플레이 장치 및 대형 디스플레이 장치로 나누어 진다. Augmented Reality를 이용한 의료 분야에서는 좋은 해상도의 결과 영상이 필요하며, 무거운 HMD를 착용하는 수고를 덜 수 있는 장점이 있어 소형 디스플레이 장치를 이용한 시스템 구성이 사용되기도 한다.

대형 디스플레이 장치는 1대 이상의 프로젝터 또는 CRT와 같은 모니터로 구성된 대형 스크린에 나타나는 3차원 오브젝트를 셔터 안경을 착용한 사용자가 보는 방법으로 구성된다. 이러한 디스플레이 장치는 비행 시뮬레이터, 다중 참여 사무실과 같은 응용 분야에서 사용된다^[3].

나. 정합(registration) 문제

앞에서 언급하였듯이 Augmented Reality 시스템은 실세계 환경에 가상 오브젝트를 위치시켰을 때 어색함이 없이 자연스럽게 합성되는 seamless Augmented Reality를 구현하는 것이 가장 중요한 현안 문제이다. Seamless Augmented Reality에 대한 접근은 다음의 3가지 문제를 해결하는 방향으로 연구가 진행되고 있다.

? 정적 오차(static error): 실세계의 좌표계와 가상 오브젝트에 대한 좌표계의 일치 및 사용자의 위치와 보고 있는 방향에 대한 정확한 정보를 획득하는 과정에서 기인한다.

? 렌더링 오차(rendering error): 실세계 영상에 놓여질 가상 공간의 오브젝트를 렌더링 하는 방법으로 실세계 환경을 고려하는 영상 렌더링 과정에서 기인한다.

? 동적 오차(dynamic error): 사용자의 위치 및 시선 방향의 변화에 따라 가상 영상을 렌더링 할 때 걸리는 시간 지연으로 인해 발생된다.

정적 오차는 실세계 환경에 가상 환경을 기하학적으로 정합할 때 발생되는 오차로 실세계 좌표계와 가상 세계의 좌표계가 일치하지 않아 발생되는 오차이다. 사용자가 주시하는 실세계에 가상 오브젝트를 위치시키기 위해서는 사용자의 위치 및 시선 방향을 정확하게 측정하기 위한 트래킹이 가장 중요하다. 트래킹 방법에는 기계 방식 트래커, 자기 트래커, 관성 트래커, 초음파 트래커, 광학식 트래커 등의 방법이 이용되고 있으며, 각각의 장단점은 다음과 같다.

기계 방식의 트래커는 BOOM과 같은 형태로 기계적인 팔의 기준과 말단부가 기계적으로 연결되어 위치와 방향을 측정하는 장비로 매우 정밀한 측정이 가능하며, 위치 및 방향을 측정하는데 걸리는 시간 지연이 거의 없는 장점이 있으나, 측정 범위에 한계가 있고 기계적인 마모로 인해 수명이 짧기 때문에 최근에는 많이 사용되지 않고 있다.

자기장을 이용하여 위치와 방향을 측정하는 자기 트래커는 자기장을 발생시키는 소스가 있는 것과 지구 자기장을 이용한 것으로 나뉜다. 대부분이 자기장을 발생시키는 소스를 가진 형태로 상용화가 되어 있으며, 소스에서 발생한 자기장을 수신기에서 수신하여 소스를 기준으로 위치 및 방향 정보를 측정하게 된다. 소스에서 생성된 자기장은 금속성 물체나 자성체의 영향에 민감한 단점이 있으며, 소스로부터 멀어질수록 정확도가 떨어지는 현상이 있다.

초음파를 이용한 트래커는 일반적으로 3개의 방출기(emitter)로 구성된 소스에서 발생되는 초음파를 마이크로폰 수신기로 수신하여 삼각 측정법으로 위치와 방향 정보를 추출한다. 주로 사용되는 초음파는 사람이 들을 수 없는 20kHz 이상의 주파수를 사용하며, 가격이 싸고 경량으로 구현할 수 있는 장점이 있다. 그러나, 초음파 잡음에 의한 오차 및 반사와 같은 주변 환경에 따라 변하는 정확도 및 초음파 소스와 수신기가 일직선 상에 있게 되어 삼각 측정으로 위치와 방향을 측정할 수 없는 LOS(Line of Sight)의 문제가 있다.

관성 트래커는 가속측정기(accelerometer)와 자이로스코프(gyroscope)와 같이 관성을 이용하여 위치와 방향을 측정하는 센서로, 방향 정보는 축에 대한 각속도 값을 이용하여 계산하며, 위치 정보는 이미 알고 있는 방향과 가속측정기에서 출력되는 가속도를 적분하여 구할 수 있다. 이 트래커는 소스가 불필요하여 사용 장소에 따른 제약이 없으나, 시간에 따라 오차가 누적되는 드리프트(drift) 현상이 단점이다.

광학식 트래커는 미리 측정된 위치에 발광 다이오드를 부착하여 놓고 이를 카메라로 검출하여 사용하는 방법으로 주변의 영향을 줄이기 위하여 적외선을 사용하기도 한다. 그러나, 사용 공간 및 주변 환경에 많은 영향을 받는 단점이 있다. 이와 유사하게 미리 위치를 알고 있는 3개 이상의 마커를 이용하여 컴퓨터 비전으로 사용자의 위치와 시선 방향을 구하는 방법도 최근 많이 시도되고 있다. 이러한 방법은 영상 처리에 따른 시간 지연, 카메라의 해상도 및 주변 환경의 변화에 따라 마커를 찾기 어려운 문제가 있다.

이외에 최근 옥외에서 사용할 수 있는 Augmented Reality에 대한 관심이 높아지면서, 옥외에서 위치 측정이 가능한 GPS를 적용하려는 시도가 있다. 그러나, GPS의 정밀도가 아직까지는 Augmented Reality에서 요구하는 수준을 충족시키지 못하고 있다.

정적 오차는 위치와 방향을 얼마나 정확하게 측정할 수 있는가에 따라 달라진다. 그러나, 앞에서 기술한 바와 같이 현재 사용되는 트래킹 센서는 Augmented Reality에서 요구하는 수준의 정밀도를 만족시키지 못하며, 각각이 가지고 있는 특성으로 인하여 범용적으로 사용되기에는 어려운 실정이다. 최근 Ronald T. Azuma는 Augmented Reality를 구현하기 위하여 필요한 트래킹 장비는 하나의 트래커로는 요구사항을 만족할 만한 정밀도를 얻을 수 없으며, 각각의 특성을 잘 살릴 수 있도록 여러 종류의 트래킹 센서를 혼합하는 하이브리드 트래커(Hybrid Tracker)의 개발이 필요하다고 주장하고 있다^[8].

렌더링 오차는 앞에서 언급하였듯이 가상 오브젝트를 실세계 환경에 잘 조화될 수 있도록 하는 가상 오브젝트의 렌더링 문제이다. (그림 5)는 실제 책상과 전화기가 있는 사무실에 컴퓨터 그래픽으로 만든 의자와 램프를 합성한 Augmented Reality의 한 예이다. 이 그림에서 알 수 있듯이 전화기는 책상 위에 놓여진 것을 쉽게 알 수 있으나, 램프는 공중에 떠 있는 상태인지, 책상 위에 붙어 있는 상태인지를 정확히 알 수 없다. 전화기는 책상위에 그림자가 있으나, 램프는 그림자가 없어서 발생되는 렌더링 오차의 한 예로, 램프를 렌더링 할 때 실세계 환경, 즉 조명을 고려하지 않아서 발생되는 문제이다. 이와 같이 렌더링 오차를 줄이기 위해서는 실세계 환경과 같은 상태로 가상의 오브젝트를 실시간으로 렌더링하는 기술이 필요하다.

동적 오차는 실세계를 보는 사용자의 위치와 시선이 계속 변함에 따라, 이에 해당되는 가상 영상을 렌더링하는 과정에서 발생되는 시간 지연으로 실세계 영상과 가상 환경의 영상간에 서로 시각 동기가 맞지 않는 것을 말한다. 사용자가 어느 한 지점을 응시하다가 머리를 돌려 다른 곳을 주시하게 되면 사용자의 시선이 변하게 되며, 사용자 시선의 변화와 똑같이 가상 환경도 렌더링을 해야 한다. 그러나, 가상 환경을 렌더링하는 과정에서 시간 지연이 발생되어 사용자가 보는 실세계 환경과 가상 환경간에 시각 동기가 맞지 않는다. 이러한 동적 오차 문제는 사용된 위치 센서 및 영상 정합 방법에 종속적이다. Optical see-through HMD를 이용하는 Augmented Reality 시스템에서는 사용자가 실세계 환경을 시간 지연 없이 직접 보는 반면에, 가상 영상은 센서로부터 들어온 정보를 이용하여 렌더링하므로 이에 따른 지연시간이 크다. Video see-through HMD는 실세계 영상도 캡쳐한 뒤, 비디오 합성기를 이용하여 합성하므로, optical see-through HMD에 비해 실세계와 가상 환경과의 시각 차이가 작아서, 상대적으로 시간 지연에 대한 문제를 해결하기가 쉽다. 그러나 서로 다른 두 세계간의 시각 동기를 정확하게 맞추기는 어려우며, 현재는 시간 지연을 줄이는 쪽으로 대부분의 연구가 진행되고 있다.

III. Augmented Reality 기술 개발 동향

현재 Augmented Reality를 기반으로 하는 상품화 보고는 없으며, 최근 미국과 일본을 중심으로 진행되는 응용 분야 위주의 기술 개발 동향을 살펴본다.

1. 실내용 응용 시스템

지금까지 주로 연구된 Augmented Reality 기술 분야는 트래킹 센서 및 디스플레이 장치의 제약으로 인하여 주로 실내의 한정된 공간에서 사용 가능한 시스템에 대한 연구가 많이 진행되었다. 주요 연구 분야는 의료, 제조, 오락 등의 분야로 연구 현황은 다음과 같다.

의료 분야는 Augmented Reality가 처음 등장할 무렵부터 연구되고 있는 고유 응용 분야 중의 하나로, 수술 및 의료 교육용으로 활용하기 위한 연구가 진행중이다. MRI(Magnetic Resonance Imaging), CT(Computed Tomography Scans), 초음파 등의 센서를 이용하여 환자에 대한 3차원 데이터를 수집한 뒤, 의사가 환자를 수술할 때 환자의 환부에 수집된 정보를 중첩하여 표시해 줄 수 있다. 따라서 수술시 불필요한 절개를 막을 수 있으며, 보다 효과적인 수술이 가능하다. Augmented Reality를 이용한 의료 분야에 대한 연구는 미국의 North Carolina at Chapel Hill에서 많은 연구를 수행하고 있으며, (그림 6)은 Augmented Reality를 이용하여 복강경 수술을 하기 위한 프로토타입 시스템의 모습이다.

제조 분야는 Augmented Reality 기술을 이용하여 복잡한 기계의 조립, 유지 보수에 필요한 정보를 HMD를 착용한 사용자가 실제 장비를 보면서 작업에 필요한 정보를 즉시 획득할 수 있는 장점이 있어, 현재 많은 연구가 진행되고 있다. 미국 보잉사에서는 Augmented Reality 기술을 이용하여 보잉 항공기의 전선 조립을 보조하는 시스템을 개발하여 현재 프로토타입 시스템을 현장에서 시험 운영하고 있다(그림 7)^[9].

독일의 Munich 기술 대학의 Gudrun Klinker 교수는 BMW와 공동으로 자동차의 문을 조립하기 위한 Augmented Reality 기반의 교육 시스템을 개발하였으며(그림 8), 미국 콜롬비아 대학의 Feiner 교수는 레이저프린터의 유지 보수를 위한 Augmented Reality 프로토타입 시스템을 개발하였다^[4]. 또한 단순히 가상 오브젝트를 보기만하는 것이 아니라, 사용자에게 보다 많은 현실감을 줄 수 있도록 가상 오브젝트에 촉감을 부여하는 연구도 진행되고 있다.

최근 Augmented Reality를 이용한 다중 참여자 오락 게임도 개발되고 있다. 일본의 Mixed Reality Systems Laboratory사에서는 (그림 9)과 같은 두 명의 게이머가 참여할 수 있는 "AR² Hockey" 게임을 개발하였으며^[6], 최근에는 이를 확장하여 3명 이상이 참여할 수 있는 "AR Guard" 게임을 개발하고 있다. "AR Guard" 게임은 마그네틱 센서 및 CCD 카메라가 부착된 see-through HMD를 착용하고 손에 자기 센서를 부착하여 다른 게임 참여자를 보면서 컴퓨터 그래픽으로 만들어진 가상의 적을 없애는 게임이다. "AR² Hockey" 게임의 업그레이드 버전으로 시스템 플랫폼을 SGI Onyx에서 SGI O₂로 낮추며, 영상 정합도 향상에 주력하고 있다.

(그림 9) AR² Hockey 시스템

2. 실외용 응용 시스템

실외용 응용 시스템은 실외에서 트래킹 할 수 있는 센서 기술의 부족 등 여러가지 이유로 인하여 아직까지 많은 연구가 진행되지 못한 분야이다. 그러나 GPS 관련 기술의 발전으로 Columbia University, University of Southern California, HRL Laboratories, UNC Chapel Hill, 한국전자통신연구원 등에서 최근 실외용 환경에 문자 기반의 정보를 제공하는 시스템 및 옥외용 트래킹 시스템에 대한 연구를 수행하고 있다.

미국의 HRL Laboratories에서는 University of Southern California, UNC Chapel Hill, Raytheon과 공동으로 GRID(Geospatial Registration of Information for Dismounted Soldiers)라는 휴대용 head-mounted AR 시스템을 개발하고 있다. GRID는 군사용 응용 시스템으로, 군인에게 자신의 위치, 적의 위치와 같은 항법 및 위치 정보를 제공하는 시스템이다^[10].

미국 Columbia University의 Feiner 교수는 학교 캠퍼스 안내를 위한 "Touring Machine"을 개발하고 있다^[5]. 사용자의 위치는 GPS를 이용하여 측위하며, 자기계(magnetometer)와 경사계(inclinometer)를 이용하여 방향 정보를 측위하는 착용형 컴퓨터(wearable computing) 형태의 Augmented Reality 시스템이다. (그림 10)에서 보는 것처럼 사용자는 배낭, see-through HMD, hand-held display 및 스타일러스 등을 가지고 사용자가 주시하고 있는 건물에 대한 간략한 문자 기반의 정보를 획득하고, 보다 자세한 정보는 사용자가 들고 있는 hand-held 컴퓨터와 무선 랜 기반의 web을 이용하여 그 자리에서 바로 찾아볼 수 있다.

실외용 Augmented Reality 기술 개발은 국내의 한국전자통신연구원 증강현실연구팀에서 수행하고 있으며, 현재 (그림 11)에서 보는 것과 같은 옥외용 Augmented Reality 시스템인 "Magic Vision"을 개발하고 있다. "Magic Vision"은 CCD 카메라와 GPS가 탑재된 무선조종모형헬기를 이용하여 원격지의 실영상과 CCD 카메라의 위치와 자세 정보를 획득하여 무선으로 지상 시스템으로 전송한다. 지상 시스템에서는 GPS 정보를 이용하여 CCD 카메라가 주시하는 지역의 실사에 동조하는 가상 정보를 실영상과 정합하여 모니터로 보여 준다^[7]. 지금까지는 문자 위주의 가상 정보를 제공하였으나, 현재는 보다 정확한 위치 및 방향 정보를 추출할 수 있는 트래킹 기술과 3차원 그래픽 기반의 가상 정보를 제공하는 시스템으로 확장 개발하고 있다.

IV. 결 론

지금까지 Augmented Reality에 대한 개요 및 기술 개발 동향을 중심으로 살펴보았다. 아직까지 Augmented Reality 기술을 적용하여 상품화한 사례는 없으며, 관련 시장도 형성되어 있지 않다. 그러나, 현재 미국 보잉사에서는 Augmented Reality를 이용한 전선조립 프로토타입 시스템을 개발하여 작업 현장에 투입하여 시험중에 있으며, 일본에서는 1997년 1월 Key-Technology Research Center와 Canon사가 합작하여 Mixed Reality 전문 회사인 Mixed Reality Systems Laboratory Inc.를 설립하였으며, 2001년까지 실세계와 가상 세계를 합성하는 기술에 대한 연구와 Mixed Reality System을 위한 3차원 이미징 및 디스플레이 장비를 개발하고 있다^[11].

이처럼 미국과 일본을 비롯한 선진국에서는 많은 연구비와 인력을 투입하여 2000년대의 핵심 기술로 자리잡을 Augmented Reality에 대한 기술 우위 선점을 위해 적극적인 투자를 하고 있으며, 가까운 시일내에 Augmented Reality를 기반으로 한 제품이 시장에 나올 것으로 예측된다. 더구나 최근들어 연구의 방향도 실내용 Augmented Reality 기술에서 실외에서도 사용할 수 있는 Augmented Reality 기술과 Wearable Computing으로 연구의 폭이 다양화되고 있는 추세이다.

그러나, 국내에서는 한국전자통신연구원 외에 본격적인 Augmented Reality 기술을 개발하고 있는 업체 및 기관이 없는 실정이며, Augmented Reality의 향후 성장 가능성을 고려하여 정부와 산업체의 보다 적극적인 관심과 투자가 시급하다. 특히 다양한 응용 분야를 창출할 수 있는 Augmented Reality의 기술 특성을 감안하여 핵심 기술인 seamless Augmented Reality기술 개발은 연구소와 학교를 중심으로 개발하고, 산업체에서는 이를 기반으로 다양한 응용 상품을 개발하는 산ㆍ학ㆍ연 중심의 기술 개발 공조 체제를 구축하는 것이 필요하다.

<참 고 문 헌>

1. P. Milgram and F. Kishino, “A Taxonomy of Mixed Reality Visual display,” IEICE Transactions on Information and Systems, vol. E77-D, no. 12, 1994, pp.1321~1329.

2. Ronald T. Azuma, “A Survey of Augmented Reality,” In Presence: Teleoperators and Virtual Environments, vol. 6, no. 4, 1997, pp.355~385.

3. Henry Fuchs, Jeremy Ackerman, “Displays for Augmented Reality: Historical Remarks and Future Prospects,” Mixed Reality ? Merging Real and Virtual Worlds, Chapter 2, 1999, pp.32~40.

4. S. Feiner, B. Macintyre, and D. Seligmann, “ Knowledge-based augmented reality,” Comm. ACM, vol.36, no. 7, 1993, pp.53~61.

5. S. Feiner, B. MacIntyre, T. Hollerer, and A. Webster, “A Touring Machine Prototyping 3D Mobile Augmented Reality Systems for Exploring the Urban Environment,” Personal Technologies, vol.1, no.4, 1997, pp.208~217.

6. T. Ohshima, K. Satoh, H. Yamamoto, and H. Tamura, “AR2 Hockey System,” SIGGRAPH 98 - Conference Abstracts and Applications, 1998, p.110.

7. Byungtae Jang, Juwan Kim, Haedong Kim and Donghyun Kim, “An Outdoor Augmented Reality System for GIS Applications,” Mixed Reality-Merging Real and Virtual Worlds, Chapter 22, 1999, pp.391~399.

8. Ronald T. Azuma, “ The Challenge of Making Augmented Reality Work Outdoors,” Mixed Reality ? Merging Real and Virtual Worlds, Chapter 21, 1999, pp.379~390.

9. J. Nash, “Wiring the jet set,” Wired, vol. 5, 1997, pp.128~135.

10. Diana Phillips Mahoney, “Better than Real,” Computer Graphics World, 1999, pp.32~40.

11. http://www.mr-system.co.jr/         

경영과컴퓨터 [2005년 11월] "미래 공간, Augmented Reality"
http://www.dbguide.net/know/know103001.jsp?mode=view&pg=1&idx=2911

미래 공간, Augmented Reality

 

현실세계를 가상세계로 보완…새로운 미래 공간 창출

 

김종현 | 계원조형예술대학 게임웨어과 교수

 

최근 Augmented Reality가 새로운 미래 공간으로 주목받고 있다. Augmented Reality는 사용자가 눈으로 보는 현실세계와 부가정보를 갖는 가상세계를 합쳐 하나의 영상으로 보여주는 가상현실의 하나이다. 현실세계를 가상세계로 보완해주는 개념인 증강현실은 컴퓨터 그래픽으로 만들어진 가상환경을 사용하지만 주역은 현실환경이다. 컴퓨터 그래픽은 현실환경에 필요한 정보를 추가 제공하는 역할을 한다. 사용자가 보고 있는 실사 영상에 3차원 가상영상을 겹침(overlap)으로써 현실환경과 가상화면과의 구분이 모호해지도록 한다는 뜻이다.

 

2015년 7월, 나는 한산도 앞바다의 유람선에 승선하고 있다. 나는 HMD(Head Mounted Display) 기능을 갖춘 안경을 쓰고 있다. 나의 포켓에는 서버와 통신하는 PDA가 들어 있다. 나의 PDA는 GPS, 그래픽 처리 전용 고속 프로세서를 탑재하고 있으며, 디스플레이로 HMD를 사용하고 있다.

 

내가 탄 배는 두울포를 출발해 대죽도를 지나고 있다. HMD를 통해 주위를 둘러본다. 7월의 바다와 섬은 장관이다. 유람선이 화도와 미륵도 사이를 지나자마자 견내량 쪽에서 크고 작은 배 150여 척이 몰려온다. 일본 수군이다. 아다케(안택선)다. 조총 소리가 들린다. 주위를 둘러본다. 유람선이 판옥선으로 변해 있다. 주위에 50여척의 판옥선이 보인다. 활과 창으로 무장한 조선 수군이 보인다.

 

“학익진을 펼쳐라!”

 

이순신 장군이다. 나는 지금 대장선에 타고 있는 것이다. 주위의 판옥선들이 학 날개 모양으로 진을 쳐 아다케를 포위하기 시작한다. 손에 땀이 나기 시작한다.

 

“발포하라! 발포하라!”

 

포위된 아다케를 향해 천자총통, 지자총통이 불을 뿜기 시작한다. 아다케가 박살나고 적들은 도망가기 바쁘다.

 

“추격하라! 한 놈도 남기지 말고 몰살하라”

 

배가 견내량 입구에 다다르자 갑자기 모든 것이 조용해졌다. 판옥선, 조선수군, 아다케 모든 것이 사라졌다. 바다와 섬들은 오전의 그 모습 그대로이다.

 

이 같이 Augmented Reality 기술은 현실공간과 가상공간을 혼합하는 새로운 미래공간을 창출한다.

 

 

 

Augmented Reality(AR)

 

AR은 이용자가 보고 있는 현실 환경(Real Environment)과 컴퓨터에 의해 생성된 가상 환경(Virtual Environment)의 두 환경이 조합된 것으로 AR은 실제 장면에 가상의 객체를 혼합한다. 또 실제 장면에 정보를 추가하고 불필요한 영역을 제거함으로써 현실감을 증가시킨다. 다음 그림은 현실 환경에 가상의 주전자가 추가되어 새로운 환경을 창조하는 AR의 단적인 실례를 보여 준다.

 

AR 처리 과정은 크게 현실 장면 인식부, 가상 객체 생성부, 두 장면 혼합부, 혼합 화면 뷰부 등 4가지로 분류할 수 있다. 현실 장면 인식부는 카메라의 위치 및 구경 측정으로부터 현실 장면을 인식하며, 가상 객체 생성부는 3D 모델링을 통해 가상 객체를 생성하는 부분으로 그래픽 랜더링이 주요 작업이 된다. 두 장면 혼합부는 3D 랜더링된 가상 객체를 현실 장면에 위치시키는 것으로 가상 객체를 현실 장면과 괴리 되지 않은 모습으로 보여주는 것이 핵심 작업이다. 혼합 화면 뷰부는 혼합된 장면을 모니터나 HMD로 전송한다.

 

AR를 통한 미래공간을 창출하기 위해서는 다음과 같은 분야의 핵심 기술 및 장비에 대한 지식과 경험이 절대적으로 필요하다.

 

• 3D Modeling - 가상 객체를 생성하기 위한 3D 모델링
• Display Device - 가상 객체와 현실 장면을 혼합해서 볼 수 있는 HMD
• Camera Calibration - 카메라의 파라미터를 계산할 수 있는 카메라 구경 측정
• Location Tracking - 사용자 위치 및 이동에 대한 감지 및 추적
• Registration - 가상 객체를 실제 환경에 올바르게 위치

 

 

AR 핵심 분야

 

■ Display Device
가상 객체와 현실 장면을 혼합해서 볼 수 있는 대표적인 디스플레이 장치로 HMD가 있다. HMD는 광학을 이용하는 방법(Optical see-through HMD)과 비디오를 이용하는 방법(Vedio see-throu gh HMD)이 있다. 아래 그림의 왼쪽이 광학을 오른쪽이 비디오를 이용해 사물이 인식되는 과정을 보여 준다.

 

위치 감지 및 추적 시스템

 

다음 표는 현재 개발되어 있는 위치 감지 및 추적 시스템의 특징을 설명한다.

 

이밖에 가상의 공간과 실제의 공간을 결합함으로써 부가가치를 향상시킬 수 있는 아이템은 무궁무진하다. 더불어 이러한 상품들은 고부가가치 상품이라는 것이다.

 

 

참고문헌

[1] RoyWant, Andy Hopper, Veronica Falcao, and Jonathan Gibbons, The Active Badge Location System. Technical Report 92.1, Olivetti Research Ltd. (ORL), 24a Trumpington Street, Cambridge CB2 1QA, 1992.

[2] Addlesee, M., Curwen, R., Hodges, S., Newman, J., et al, "Implementing a Sentient Computing System," IEEE Computer Mag. 34, pp. 50-56, 2001.

[3] P. Bahl and V.N. Padhmanabhan, "RADAR: An In-Building RF-Based User Location and Tracking System," in Proc. of IEEE Infocom, TelAviv, Isreal, 2000.

[4] Shafer, S., Krumm, J., Brumitt, B., Meyers, B., Czerwinski, M., and Robbins, D., " The New EasyLiving Project at microsoft Research," DARPA/NIST Workshop on Smart Spaces, pp.127-130, July 1998.

[5] http://www.cc.gatech.edu/fce/smartfloor/

 

제공 : DB포탈사이트 DBguide.net

전자통신동향분석 22권 4호 (통권 106호) (발행일 : 2007.08)
모바일 혼합현실 기술 (Mobile Mixed Reality Technology)

저     자: 김기홍, 김홍기, 정혁, 김종성, 손욱호 / 가상현실연구팀
발행일자: 2007.08.15
발행권호: 22권 4호 (통권 106)
페 이 지: 96
논문구분: 융합 시대를 주도할 디지털콘텐츠 기술 특집 논문

초     록
혼합현실 기술을 휴대가 용이한 모바일 기기상에서 효과적으로 구현하기 위해서는 기기에 부착된 카메라의 위치를 인식하는 기술을 시작으로 입력된 실세계 공간에 가상의 디지털 정보를 정합하고 표현하는 기술, 사용자가 표현된 혼합현실 환경과 현실감있게 상호작용하는 기술, 그리고 다양한 응용분야에 맞게 혼합현실 콘텐츠를 저작하는 기술에 이르기까지 여러 가지 세부 기술들이 요구된다. 본 논문에서는 언급한 세부 기술들에 대한 개요와 국내외적으로 진행되고 있는 관련 기술들의 동향을 구체적인 사례를 통해 소개한다.
 
 

Søren Riisgaard and Morten Rufus Blas
SLAM for Dummies: A Tutorial Approach to Simultaneous Localization and Mapping




references

1. Koenig, Likhachev: Incremental A* (D*)
2. Bosse, Newman, Leonard, Soika, Feiten, Teller: An ATLAS framework
3. Roy: Foundations of state estimation (lecture):
4. Zunino: SLAM in realistic environments:
http://www.nada.kth.se/utbildning/forsk.utb/avhandlingar/lic/020220.pdf
5. Welch, Bishop: An introduction to the Kalman Filter:
6. Smith, Self, Cheesman: Estimating uncertain spatial relationships in robotics

7. Leonard, Durrant-Whyte: Mobile robot localization by tracking geometric beacons:
Mobile robot localization by tracking geometric beacons
Leonard, J.J.   Durrant-Whyte, H.F.   Dept. of Eng. Sci., Oxford Univ.
Robotics and Automation, IEEE Transactions on
Publication Date: Jun 1991 Volume: 7,  Issue: 3 On page(s): 376-382

8. Se, Lowe, Little: Mobile Robot Localization and Mapping using Scale-Invariant Visual
Landmarks:
http://www.cs.ubc.ca/~se/papers/ijrr02.pdf
9. SICK, industrial sensors:
http://www.sick.de
10. Evolution Robotics
http://www.evolution.com

FrameSLAM: From Bundle Adjustment to Real-Time Visual Mapping 
Konolige, K.   Agrawal, M.  
Willow Garage, Menlo Park, CA; 
This paper appears in: Robotics, IEEE Transactions on Publication
Date: Oct. 2008 Volume: 24,  Issue: 5 On page(s): 1066-1077

Davison, A. J. and Molton, N. D. 2007.
MonoSLAM: Real-Time Single Camera SLAM.
IEEE Trans. Pattern Anal. Mach. Intell. 29, 6 (Jun. 2007), 1052-1067.
DOI= http://dx.doi.org/10.1109/TPAMI.2007.1049

Jules Bloomenthal and Jon Rokne (Department of Computer Science, The University of Calgary)
Homogeneous Coordinates
http://portal.acm.org/citation.cfm?id=205426
http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.24.3319
http://www.springerlink.com/content/p356406661505622/

http://en.wikipedia.org/wiki/Ray_tracing_%28graphics%29
technique for generating an image by tracing the path of light through pixels in an image plane

http://en.wikipedia.org/wiki/Projective_space

http://mathworld.wolfram.com/GrassmannCoordinates.html

Plücker embedding = Grassmann coordinates
http://en.wikipedia.org/wiki/Pl%C3%BCcker_embedding



http://en.wikipedia.org/wiki/Point_at_infinity
http://en.wikipedia.org/wiki/Hyperplane_at_infinity
The real projective plane  By Harold Scott Macdonald Coxeter


http://mathworld.wolfram.com/ProjectivePlane.html

http://vision.stanford.edu/~birch/projective/

ideal line = line at infinity
http://en.wikipedia.org/wiki/Line_at_infinity

http://en.wikipedia.org/wiki/Linear_perspective
http://www.math.utah.edu/~treiberg/Perspect/Perspect.htm

The mapping from planes and lines through the center of projection to lines and points on the projective plane is the transformation of the usual Euclidean space into projective space.

A projective space is not a vector space in the same manner as the Euclidean space.

Riesenfeld, R. F. 1981. Homogeneous Coordinates and Projective Planes in Computer Graphics. IEEE Comput. Graph. Appl. 1, 1 (Jan. 1981), 50-55. DOI= http://dx.doi.org/10.1109/MCG.1981.1673814

Unification of the translation, scaling and rotation of geometric objects
: "All affine transformations are matrix multiplication."


Affine Transformations

Homogeneous Lines

Conics
"matrix of the second degree curve"
http://en.wikipedia.org/wiki/Ellipse
http://en.wikipedia.org/wiki/Matrix_representation_of_conic_sections
http://en.wikipedia.org/wiki/Conic_section

Rational Curves
: extended parametric curve (control points + basis functions)

The use of homogeneous coordinates not only produces polynomials of fixed degree, it also provides a method for consistent manipulation of the Euclidean space.

Perspective Projection
perspective divide

A loss of depth information is due to the linear dependence of the third and fourth columns of the matrix.

Introducing a second non-zero term, e.g. -1, into the third column does not affect x’ and y’, but z’ becomes D-D/z. The purpose of this additional term is to compress the Euclidean space z Î [1, ¥] to z’ Î [0, D].


Perspective Space

"The homogeneous perspective transformation transforms Euclidean points to new homogeneous points."

perspective space (of the transformed points) vs. object space

The perspective matrix is invertible whereas the perspective-projection matrix is singular.

http://en.wikipedia.org/wiki/Viewing_frustum
http://en.wikipedia.org/wiki/Frustum




Perspective Transformation

Homogeneous Clipping

Q. T. Luong (1992). Fundamental matrix and self-calibration. PhD Thesis, University of Paris, Orsay.

Richard I. Hartley (1992). "Estimation of relative camera positions for uncalibrated cameras". Proceedings of European Conference on Computer Vision.

higgins.pdf

The Fundamental matrix: theory, algorithms, and stability analysis (1995) 
Q.-T. Luong, O.D. Faugeras

http://www.springerlink.com/content/m289123878810770/

The fundamental matrix: Theory, algorithms, and stability analysis (1996)
by Q. -t. Luong
International Journal of Computer Vision

Quang-Tuan Luong
Projective geometry for multiple view analysis
http://www.ai.sri.com/~luong/research/publications/publications.html#fundamental

Learning Epipolar Geometry
The Java code for this page was created by Sylvain Bougnoux.


Richard I. Hartley (June 1997). "In Defense of the Eight-Point Algorithm". IEEE Transaction on Pattern Recognition and Machine Intelligence 19 (6): 580–593. doi:10.1109/34.601246.

The geometry of multiple images: The Laws That Govern the Formation of Multiple Images of a Scene and Some of Their Applications
Olivier Faugeras and Quang-Tuan Luong with contributions from Theo Papadopoulo
MIT Press. ISBN: 0262062208. March 2001.
-> paperback (2004) google books

Richard Hartley and Andrew Zisserman (2003).
Multiple View Geometry in computer vision. Cambridge University Press.
http://www.robots.ox.ac.uk/~vgg/hzbook/
ch.8 - ch.10


fundamental matrix song
http://danielwedge.com/fmatrix/


Yi Ma, Stefano Soatto, Jana Kosecka, Shankar Sastry (Springer Verlag, 2003)
An Invitation to 3-D Vision


Richard Szeliski, Microsoft Research
Computer Vision: Algorithms and Applications
ch.7 Structure from Motion








K. Kanatani and Y. Sugaya, Fundamental matrix computation: Theory and practice
Memoirs of the Faculty of Engineering, Okayama University, Vol. 42, January 2008, pp. 18-35.





preview

http://en.wikipedia.org/wiki/Homogeneous_coordinates

Translations can not be expressed as matrix transformations on real-world co-ordinates.

Jules Bloomenthal and Jon Rokne (Department of Computer Science, The University of Calgary)
Homogeneous Coordinates

RogerMohr and Bill Triggs
Projective Geometry for Image Analysis
A Tutorial given at ISPRS, Vienna, July 1996



http://en.wikipedia.org/wiki/Homography

http://en.wikipedia.org/wiki/Plane_at_infinity

http://en.wikipedia.org/wiki/Point_at_infinity

http://en.wikipedia.org/wiki/Line_at_infinity

http://en.wikipedia.org/wiki/Epipolar_geometry


더보기

In defense of the eight-point algorithm
Hartley, R.I.  
Corp. Res. & Dev., Gen. Electr. Co., Schenectady, NY, USA;
This paper appears in: Pattern Analysis and Machine Intelligence, IEEE Transactions on
Publication Date: June 1997
Volume: 19 , Issue: 6
On page(s): 580 - 593






Zhengyou Zhang

Nistér, D. 2004. An Efficient Solution to the Five-Point Relative Pose Problem. IEEE Trans. Pattern Anal. Mach. Intell. 26, 6 (Jun. 2004), 756-777. DOI= http://dx.doi.org/10.1109/TPAMI.2004.17
An efficient solution to the five-point relative pose problem
Nister, D.  
Sarnoff Corp., Princeton, NJ, USA;
This paper appears in: Pattern Analysis and Machine Intelligence, IEEE Transactions on
Publication Date: June 2004
Volume: 26,  Issue: 6
On page(s): 756-770 An Efficient Solution to the Five-Point Relative Pose Problem

David Nist´er
Sarnoff Corporation
Center for Visualization and Virtual Environments and the Computer Science Department of University of Kentucky


H. Stewenius, C. Engels, and D. Niste. Recent developments on direct relative orientation.
ISPRS Journal of Photogrammetry and Remote Sensing, 60:284-294, June 2006.


Calibrated Fivepoint Solver
http://www.vis.uky.edu/~dnister/Executables/RelativeOrientation/


Dhruv Batra, Bart Nabbe, and Martial Hebert. An Alternative Formulation for the Five Point Relative Pose Problem. IEEE Workshop on Motion and Video Computing 2007 (WMVC '07).
http://www.ece.cmu.edu/~dbatra/research/fivept/fivept.html


Five-Point Motion Estimation Made Easy
Hongdong Li and Richard Hartley (RSISE, The Australian National University. Canberra Research Labs, National ICT Australia.)





preview


SfM = structure from motion
http://en.wikipedia.org/wiki/Structure_from_motion

eight-point algorithm
http://en.wikipedia.org/wiki/Eight-point_algorithm
algorithm used in computer vision to estimate the essential matrix or the fundamental matrix related to a stereo camera pair from a set of corresponding image points

Richard Hartley and Andrew Zisserman (2003). Multiple View Geometry in computer vision. Cambridge University Press.
http://www.robots.ox.ac.uk/~vgg/hzbook/
ch.8 - ch.10

Richard I. Hartley (June 1997). "In Defense of the Eight-Point Algorithm". IEEE Transaction on Pattern Recognition and Machine Intelligence 19 (6): 580–593. doi:10.1109/34.601246.

Richard Szeliski, Microsoft Research
Computer Vision: Algorithms and Applications
ch.7 Structure from Motion

Epipolar geometry - Fundamental matrix