for( i = 0; i < nimages; i++ )
{
ni = npoints->data.i[i*npstep];
if( ni < 4 )
{
char buf[100];
sprintf( buf, "The number of points in the view #%d is < 4", i );
CV_Error( CV_StsOutOfRange, buf );
}
maxPoints = MAX( maxPoints, ni );
total += ni;
}
388p: Intrinsic parameters are directly tied to the 3D
geometry (and hence the extrinsic parameters) of where the chessboard is
in space; distortion parameters are tied to the 3D geometry of how the
pattern of points gets distorted, so we deal with the constraints on
these two classes of parameters separately.
389p: The algorithm OpenCV uses to solve for the focal
lengths and offsets is based on Zhang's method [Zhang00], but
OpenCV uses a different method based on Brown [Brown71] to solve for the
distortion parameters.
1) number of views
인자 중 pointCounts – Integer 1xM or Mx1 vector (where M is the
number of calibration pattern views)
그런데 우리의 경우 매 입력 프레임 한 개이므로, M = 1
int numView = 1; // number of calibration pattern views
// integer "1*numView" vector
CvMat* countsP = cvCreateMat( numView, 1, CV_32SC1 );
// the sum of vector elements must match the size of objectPoints and
imagePoints
// cvmSet( countsP, 0, 0, numPair ); // <-- 이렇게 하면 에러 남. 아래로 변경
cvSet( countsP, cvScalar(numPair) );
2) rotation vector와 translation vector
cvCalibrateCamera2() 함수의 output 중 외부 파라미터를 받을 matrices를 다음과 같이 생성하면
OpenCV ERROR: Bad argument (the output array of rotation vectors must be
3-channel 1xn or nx1 array or 1-channel nx3 or nx9 array, where n is
the number of views)
in function cvCalibrateCamera2, ../../src/cv/cvcalibration.cpp(1488)
OpenCV ERROR: Bad argument (the output array of translation vectors must
be 3-channel 1xn or nx1 array or 1-channel nx3 array, where n is the
number of views)
in function cvCalibrateCamera2, ../../src/cv/
카메라 회전을 원하는 형태로 얻으려면 rotation vector를 rotation matrix로 바꾸어야 한다. (아래 설명
참조.)
Learning OpenCV: 394p
"(The rotation vector) represents an axis in three-dimensional space in
the camera coordinate system around which (the pattern) was rotated and
where the length or magnitude of the vector encodes the
counterclock-wise angle of the rotation. Each of these rotation vectors
can be converted to a 3-by-3 rotation matrix by calling cvRodrigues2()."
// # 6. camera calibration
int numPair = indexI.size(); // number of pairs of
corresponding points
int numView = 1; // number of calibration pattern views
// int numPoint = numPair * numView; // total
number of points in all views
// input to camera calibration
CvMat* pointI = cvCreateMat( numPair, 2, CV_32FC1 );
CvMat* pointW = cvCreateMat( numPair, 3, CV_32FC1 );
// integer "1*numView" vector
CvMat* countsP = cvCreateMat( numView, 1, CV_32SC1 );
// the sum of vector elements must match the size of
objectPoints and imagePoints
// cvmSet( countsP, 0, 0, numPair );
for( int n = 0; n < numPair; n++ )
{
float rex = cvmGet( pointReI, n, 0 ); // x-coordinate of
the image frame
float rey = cvmGet( pointReI, n, 1 ); // y-coordinate of
the image frame
cvCalibrateCamera2()
함수는 유효한 대응점 4쌍이 있으면 camera calibration을 한다고 하지만, 함수 실행 에러가 나지 않고 계산값을 내보낼 뿐 그것이 정확한 결과는 아니다. ( OpenCV의 알고리즘은 렌즈 왜곡 변수와 카메라 내부 변수를 따로 분리해서 계산하고 있다. 렌즈 왜곡 변수에 대해서는 radial distortion coefficients 3개와 tangential distortion coefficients 2개, 총 5개의 미지수의 해를 구하고자 하므로 이론상 이미지 상의 3개의 2차원 (x,y) 점으로부터 6개의 값을 얻으면 계산할 수 있다.
그런데, 우리 프로그램에서 4쌍의 대응점으로 카메라 캘리브레이션을 한 결과는 다음과 같다.
대응점 4쌍으로 패턴 인식에 성공한
경우
왼쪽 영상에 보이는 대응점 4쌍으로 카메라 캘리브레이션한 결과를 가지고 다시 패턴의 4점을 입력 영상 위에
리프로젝션하여 확인
즉, 4쌍의 대응점으로부터 카메라 매트릭스를 산술적으로 계산해 내기는 한다. 그런데 현재 패턴을 사용하여 대응점이 4쌍이 나오는 경우는 대개 패턴 중 격자 한 개의 코너점 4개가 검출된 경우이다. 그러므로 인접한 4점의 위치 좌표에 렌즈 왜곡의 효과가 충분히 반영되어 있다고 볼 수 없으므로 위의 출력 결과와 같이 k1 = 0으로 렌즈 왜곡이 없다고 보는 것과 같은 결과가 된다.
한 가지 더. cvCalibrateCam2( ) 함수가 내부적으로 시행하는 첫번째 일은 cvConvertPointsHomogeneous( ) 함수를 호출하여, input matrices로 서로 대응하는 world coordinate과 image coordinate을 각기 1차원 Homogeneous coordinate으로 변환하는 것이다. 그런데 함수 설명에 다음과 같은 내용이 있다. "It is always safe to use the function with number of points , or to use multi-channel Nx1 or 1xN arrays."
카메라 렌즈에 skew가 없다는 가정을 전제로 한다.
캘리브레이션을 위해 대응점을 얻을 패턴이 평면 (z = 0)인 경우에만 intrinsic parameter의 고정값 초기화가 가능하다. (
"where z-coordinates of the object points must be all 0’s.")
2. lens distortion(kappa1, kappa2)을 가지고 rectification
패턴 인식이 성공적인 경우 당연히 카메라 캘리브레이션 결과가 정확해지며, 이로부터 가상의 물체를 합성하기 위해 필요한 object 또는 graphic coordinate을 실시간으로 계산할 수 있다. 현재 우리 프로그램에서 패턴 인식이 실패하는 원인은 직선 검출의 오차인데, 이 오차의 원인으로는 여러가지가 있지만 가장 큰 것은 렌즈 왜곡이다. (현재 렌즈 왜곡을 고려하지 않고 있다.) 그래서 실제로는 하나의 직선에 대해 여러 개 (2-3개)의 직선을 검출하며 (NMS 알고리즘만으로는 이 오차를 줄이는 데 한계를 보이고 있어), 이로부터 계산된 교차점들의 위치 좌표 오차는 cross ratio 계산에 결정적인 오차로 작용한다. 현재 방식의 패턴 생성과 패턴 인식은 cross ratios 값에 절대적으로 의존하고 있기 때문에 이 문제를 반드시 해결해야 한다. 그러므로 렌즈 왜곡을 고려하여 입력 이미지를 펴서 (rectification) 기존의 패턴 인식 알고리즘을 적용하자.
Learning OpenCV: 396p
"OpenCV provides us with a ready-to-use undistortion algorithm that
takes a raw image and the distortion coefficients from
cvCalibrateCamera2() and produces a corrected image (see Figure 11-12).
We can access this algorithm either through the function cvUndistort2(),
which does everything we need in one shot, or through the pair of
routines cvInitUndistortMap()
and cvRemap(),
which allow us to handle things a little more efficiently for video or
other situations where we have many images from the same camera. ( * We
should take a moment to clearly make a distinction here between
undistortion, which mathematically removes lens distortion, and rectifi
cation, which mathematically aligns the images with respect to each
other. )
Test on the correspondences of feature points
특징점 대응 시험
교점의 cross ratio 값을 구하고, 그 값과 가장 가까운 cross ratio 값을 가지는 점을 패턴에서 찾아 대응시킨다.
Try #1. one-to-all
입력 영상에서 검출한 직선들로부터 생기는 각 교점에서 수평 방향으로 다음 세 개의 교점, 수직 방향으로 다음 세 개의 교점을
지나는 직선에 대한 cross ratio (x,y)값을
구한다. 이상적으로, 1에서 구한 cross ratio 값과 일치하는 cross ratio 값을 가지는 패턴의 격자점이 입력 영상의 해당
교차점과 실제로 대응하는 점이라고 볼 수 있다.
직선 검출에 오차나 오류가 적을 경우, 아래 테스트 결과에서 보듯 입력 영상의 교차점에 대해 실제 패턴의 직선을 1대 1로
즉각적으로 찾는다. 즉, 입력 영상의 한 점에서의 수평 방향 cross ratio 값에 대해 패턴의 모든 수평선들의 cross
ratio 값을 일일이 대조하여 가장 근접한 값을 가지는 직선을 대응시키는 방식이다. (아래 오른쪽 사진은 같은 방식으로 수직
방향 cross ratio 값을 가지고 대응되는 직선을 찾는 경우임.) (point-to-line)
수평선 위의 점들에 대한 cross ratio 값만 비교한 결과
수선 위의 점들에 대한 cross ratio 값만 비교한 결과
입력 영상에서 하나의 교차점의 x방향 cross ratio 값과 같은 cross ratio 값을 가지는 세로선을
실제 패턴에서 찾고, y방향 cross
ratio 값에 대해서 가로선을 찾으면, 패턴 위에 그 세롯선과 가로선이 교차하는 점 하나가 나온다. 입력 이미지 상의 한 점에 대해 패턴의 모든 직선을 (가로선의 개수+세로선의 개수) 번 비교하여 대응점을 연결하는 것이다. (point-to-point)
(패턴 인식이 성공적인 경우)
(잘못된 대응점 연결이 발생한 경우)
source code:
void matchXY ( vector<CvPoint2D32f> &p, vector<CvPoint2D32f> &CRimage, int numIx, int numIy, vector<CvPoint3D32f> &world, vector<CvPoint2D32f> &CRworld, int numPx, int numPy, IplImage* iplMatch, CvPoint2D32f scale )
{
for( int i = 0; i < numIx; i++ ) // points in x-direction on the input image
{
// check if x-component of the point is valid
if( -1 == CRimage[i*numIy+0].x )
{
cout << endl << "could not make matching in x-direction" << endl;
continue;
}
// CvScalar generateRandomColor(unsigned char thR, unsigned char thG, unsigned char thB) defined in "matching.h"
CvScalar colorMatch = generateRandomColor(50,50,50);
for( int j = 0; j < numIy; j++ ) // points in y-direction on the input image
{
// check if y-component of the point is valid
if( -1 == CRimage[i*numIy+j].y )
{
cout << endl << "could not make matching in y-direction" << endl;
continue;
}
// to find the x-index of the corresponding point
int indexPx = 0;
float errX_min = fabs( CRimage[i*numIy+j].x- CRworld[indexPx*numPy+0].x );
// search points in x-direction on the real pattern
for( int wx = 0; wx < numPx; wx++ )
{
float errX = CRimage[i*numIy+j].x - CRworld[wx*numPy+0].x;
if ( fabs(errX) < errX_min )
{
errX_min = fabs(errX);
indexPx = wx;
}
}
// to find the y-index of the corresponding point
int indexPy = 0;
float errY_min = fabs( CRimage[i*numIy+j].y - CRworld[0*numPy+indexPy].y );
// search points in y-direction on the real pattern
for( int wy = 0; wy < numPy; wy++ )
{
float errY = CRimage[i*numIy+j].y - CRworld[0*numPy+wy].y;
if ( fabs(errY) < errY_min )
{
errY_min = fabs(errY);
indexPy = wy;
}
}
// cout << endl << i << ", " << j << " point in the input frame is matched with "
// << indexPy << "-th point in the real pattern" << endl;
// draw the line to connect "world" point and "image" point
CvPoint pointImage = cvPoint(cvRound(p[i*numIy+j].x), cvRound(IMG_HEIGHT + p[i*numIy+j].y));
CvPoint pointPattern = cvPoint(cvRound(world[indexPx*numPy+indexPy].x*scale.x), cvRound(world[indexPx*numPy+indexPy].y*scale.y));
그러므로 현재는 (1) 입력 영상에서 한 직선 위에 있는 것으로 추산된 일련의 점들에서의 cross ratio 값들의 수치적
경향을 고려하지 않고 있으며, (2) 입력 영상에 실제 패턴의 어느 부분(위치나 범위)이 잡힌 것인지를 판단하지 않고 무조건 전체
패턴의 모든 격자점들에 대해서 cross ratio 값을 비교하고 있다.
swPark_2000rti 439쪽: In the initial identification process, we first extract and identify vertical and horizontal lines of the pattern by comparing their cross-ratios, and then we compute the intersections of the lines. Theoretically with this method, we can identify feature points in every frame automatically, but several situations cause problems in the real experiments.
박승우_1999전자공학회지 94쪽: 초기 인식과정에서는 패턴 상의 교점을 인식하기 위해 패턴의 제작과정에서 설명한 것처럼 영상에서 구해진 가로선과 세로선의 Cross-ratio를 패턴의 가로선과 셀로선이 가지는 Cross-ratio와 비교함으로써 몇번째 선인지를 인식하게 된다. 이러한 방법을 이용해 영상으로부터 자동으로 특징점을 찾고 인식할 수 있지만, 실제 적용 상에서는 몇 가지 제한점이 따르게 된다.
0. NMS (Non Maximum Suppression)을 적용한 Hough transform에 의한 Line 찾기
OpenCV 라이브러리의 HoughLines2() 함수는 전에 기술한 바( http://leeway.tistory.com/801 )와 같이 실제 패턴에서는 하나의 직선 위에 놓인 점들에 대해 이미지 프레임에서 검출된 edges을 가지고 여러 개의 직선을 찾는 결과를 보인다. 이는 HoughLines2()
함수가 출력하는, 직선을 정의하는 두 파라미터 rho와 theta에 대해 ( x*cos(theta) + y*sin(theta) = rho ) 계산된 값들이 서로 비슷하게 나오는 경우에 최적값을 선별하는 과정을 거치지 않고 모든 값들을 그대로 내보내기 때문이다. 그래서 OpenCV의 이 함수를 이용하지 않고, 따로 Hough transform을 이용하여 선을 찾는 함수를 만들되 여기에 NMS (Non Maximum Suppression)를 적용하도록 해 보았다. 하지만 이 함수를 실시간 비디오 카메라 입력에 대해 매 프레임마다 실행시키면 속도가 매우 느려져 쓸 수 없었다. 그래서, 속도 면에서 월등한 성능을 보이는 OpenCV의 HoughLines2()
함수를 그대로 따 오고 대신 여기에 NMS 부분을 추가하여 수정한 함수를 매 입력 프레임마다 호출하는 방법을 택하였고, 실시간 처리가 가능해졌다. (->소스코드)
산출된 수직선들을 이미지 프레임의 왼쪽에서부터 오른쪽으로 나타난 순서대로 번호를 매기고 (아래 그림의 붉은색 번호), 수평선들을 위로부터 아래로 나타난 순서대로 번호를 매긴다 (아래 그림의 푸른색 번호). 이 과정에서 수직선의 경우 x절편, 수평선의 경우 y절편의 값을 기준으로 하여 계산하였다.
아래 코드에서 "line.x0"가 "line" 직선의 x절편임
// rearrange lines from left to right
void indexLinesY ( CvSeq* lines, IplImage* image )
{
// retain the values of "rho" & "theta" of found lines
int numLines = lines->total;
// line_param line[numLines]; 이렇게 하면 나중에 이 변수를 밖으로 빼낼 때 (컴파일 에러는 안 나지만) 문제가 됨.
line_param *line = new line_param[numLines];
for( int n = 0; n < numLines; n++ )
{
float* newline = (float*)cvGetSeqElem(lines,n);
line[n].rho = newline[0];
line[n].theta = newline[1];
}
// rearrange "line" array in geometrical order
float temp_rho, temp_theta;
for( int n = 0; n < numLines-1; n++ )
{
for ( int k = n+1; k < numLines; k++ )
{
float x0_here = line[n].rho / cos(line[n].theta);
float x0_next = line[k].rho / cos(line[k].theta);
if( x0_here > x0_next ) {
temp_rho = line[n].rho; temp_theta = line[n].theta;
line[n].rho = line[k].rho; line[n].theta = line[k].theta;
line[k].rho = temp_rho; line[k].theta = temp_theta;
}
}
}
// calculate the other parameters of the rearranged lines
for( int n = 0; n < numLines; n++ )
{
line[n].a = cos(line[n].theta);
line[n].b = sin(line[n].theta);
line[n].x0 = line[n].rho / line[n].a;
line[n].y0 = line[n].rho / line[n].b;
void indexLinesY( CvSeq* lines, IplImage* image ) 함수를 line_param*
indexLinesY( CvSeq* lines, IplImage* image )라고 바꾸어 structure로 선언한
line_param 형태의 배열을 출력하도록 하고, 이 출력값을 교점을 구하는 함수의 입력으로 하면
line_param
line[numLines];
이렇게 함수 안에서 선언했던 부분이 함수 밖으로 출력되어 다른 함수의 입력이 될 때 입력값이
제대로 들어가지 않는다. 다음과 같이 바꾸어 주어야 함.
이미지 프레임에서 찾은 수평선들을 보면 제일 위쪽의 직선이 0번이 아니라 4번부터 순번이 매겨져 있다. 프레임 바깥에 (위쪽에) 세 개의 직선이 더 있다는 뜻인데...
수직성 상의 edges 검출 영상
수평선 상의 edges 검출 영상
수직선들을 왼쪽부터 오른쪽으로, 수평선들을 위에서 아래로 정열한 결과
왼쪽 두 개는
line detection에 입력으로 쓰인 영상이고, 마지막 것은 이로부터 순서대로 정열한 직선을 규정하는 매개변수 출력값이다. 0번부터 3번 수평선의 y절편 값이 음수로 나타나고 있다.
2. 교점의 순서 매기기
격자 무늬의 직선들의 교점(intersections)을 과정1에서 계산한 직선의 순번을 이용하여 indexing한다. 빨간 세로선 0번과 파란 가로선 0번의 교점은 00번, 이런 식으로.
// index intersection points of lines in X and Y
CvPoint* indexIntersections ( line_param* lineX, line_param* lineY, int numLinesX, int numLinesY, IplImage* image )
// find intersections of lines, "linesX" & "linesY", and draw them in "image"
{
int numPoints = (numLinesX+1) * (numLinesY+1);
CvPoint *p = new CvPoint[numPoints]; // the intersection point of lineX[i] and lineY[j]
char txt[100]; // text to represent the index number of an intersection
입력 영상 input을 단일 채널 temp로 바꾸어 1차 DoG 필터링을 하여 검출된 edges를 양 방향 세기 비교와 NMS를 통해 수평 방향과 수직 방향으로 나눈 영상 detected edges를 입력으로 하여 Hough transform에 NMS를 적용하여 line detection을 한 결과를 input 창에 그리고, 이미지 프레임 좌표를 기준으로 검출된 직선들에 순서를 매겨 이로부터 교차점의 위치와 순번을 계산하여 input 창에 표시한다.
현재 상태의 문제점: (1) 패턴과 카메라 모두 정지하여 입력 영상(상좌)이 고정된 경우에, DoG 필터링한 결과(중)는 비교적 안정적이지만 수평, 수직 방향 세기 비교와 NMS를 통해 각 방향에 대해 뽑은 edges를 표시한 영상(하)은 프레임이 들어올 때마다 변화가 있다. 그래서 이 두 영상을 입력으로 하여 직선 찾기를 한 결과(상좌 빨간색 선들)와 이로부터 계산한 교차점들의 위치 및 순번(상좌 연두색 동그라미와 하늘색 숫자)도 불안정하다. (2) 또한 패턴과의 거리에 대해 카메라 렌즈의 초점이 맞지 않으면 결과가 좋지 않다.
/* Test: feature points identification in implementing a virtual studio
1) grid pattern design with cross ratios
2) lines detection by Hough transform with Non Maximum Suppression,
modifying cvHoughLines2() function in OpenCV library
#include <OpenCV/OpenCV.h> // framework on Mac
//#include <cv.h>
//#include <highgui.h>
//#include <cxmisc.h>
#include <iostream>
#include <vector>
using namespace std;
//#include "nms.h" // Non Maximum Suppression to extract vertical and horizontal edges separately
//#include "nmshough.h" // Hough transform with Non Maximum Suppression to detect lines
struct line_param // structure to contain parameters to define a line
{
// eqn of a line: a*x + b*y = rho, when a = cos(theta) & b = sin(theta)
float rho, theta;
float a, b;
float x0, y0; // x-intercept, y-intercepts
};
// rearrange vertical lines from left to right
void indexLinesY (vector<line_param>& line, CvSeq* lines, IplImage* image )
{
int numLines = lines->total; // total number of detected lines
line.resize(numLines); // define the size of "line" vector as "numLines"
char txt[100]; // text to represent the index number of an ordered line
// get "rho" and "theta" values of lines detected by Hough transform and NMS
for( int n = 0; n < numLines; n++ )
{
float* newline = (float*)cvGetSeqElem(lines,n);
line[n].rho = newline[0];
line[n].theta = newline[1];
}
// rearrange "line" array in geometrical order, that is, by values of x-intercept in the image frame coordinate
float temp_rho, temp_theta;
for( int n = 0; n < numLines-1; n++ )
{
for ( int k = n+1; k < numLines; k++ )
{
float x0_here = line[n].rho / cos(line[n].theta);
float x0_next = line[k].rho / cos(line[k].theta);
// rearrange horizontal lines from up to bottom
void indexLinesX (vector<line_param>& line, CvSeq* lines, IplImage* image )
{
int numLines = lines->total; // total number of detected lines
line.resize(numLines); // define the size of "line" vector as "numLines"
char txt[100]; // text to represent the index number of an ordered line
// get "rho" and "theta" values of lines detected by Hough transform and NMS
for( int n = 0; n < numLines; n++ )
{
float* newline = (float*)cvGetSeqElem(lines,n);
line[n].rho = newline[0];
line[n].theta = newline[1];
}
// rearrange "line" array in geometrical order, that is, by values of y-intercept in the image frame coordinate
float temp_rho, temp_theta;
for( int n = 0; n < numLines-1; n++ )
{
for ( int k = n+1; k < numLines; k++ )
{
float y0_here = line[n].rho / sin(line[n].theta);
float y0_next = line[k].rho / sin(line[k].theta);
// index intersection points of lines in X and Y
void indexIntersections (vector<CvPoint>& p, vector<line_param>& lineX, vector<line_param>& lineY, IplImage* image )
{ // find "p", intersections of lines, "linesX" & "linesY", and draw them in "image"
int numLinesX = lineX.size(), numLinesY = lineY.size(); // total number of detected lines
int numPoints = numLinesX * numLinesY; // total number of intersection of the lines
p.resize(numPoints); // define the size of "p" vector as "numPoints"
char txt[100]; // text to represent the index number of an intersection point
// calculate intersection points of vertical and horizontal lines
for( int i = 0; i < numLinesX; i++ )
{
for( int j = 0; j < numLinesY; j++ )
{
int indexP = numLinesY * i + j; // index number of intersection points in geometrical order
float Px = ( lineX[i].rho*lineY[j].b - lineY[j].rho*lineX[i].b ) / ( lineX[i].a*lineY[j].b - lineX[i].b*lineY[j].a ) ;
float Py = ( lineX[i].rho - lineX[i].a*Px ) / lineX[i].b ;
p[indexP].x = cvRound(Px);
p[indexP].y = cvRound(Py);
// display the points in an image
cvCircle( image, p[indexP], 3, CV_RGB(0,255,50) /* , <#int line_type#>, <#int shift#> */ );
sprintf(txt, "%d-%d", i, j); cvPutText(image, txt, p[indexP], &cvFont(0.7), CV_RGB(50,255,250));
}
}
return;
}
int main()
{
IplImage* iplInput = 0; // input image
IplImage* iplGray = 0; // grey image converted from input image
IplImage *iplTemp = 0; // converted image from input image with a change of bit depth
IplImage* iplDoGx = 0, *iplDoGxClone; // filtered image by DoG in x-direction
IplImage* iplDoGy = 0, *iplDoGyClone; // filtered image by DoG in y-direction
IplImage* iplEdgeX = 0, *iplEdgeY = 0; // edge-detected image by filtering in each direction, to be used as input in line-fitting
double minValx, maxValx; // minimum & maximum of pixel intensity values
double minValy, maxValy;
double minValt, maxValt;
int width, height; // window size of input frame
int kernel = 1; float edgethres; // parameters of NMS function
double rho = 0.8; // distance resolution in pixel-related units
double theta = 0.8; // angle resolution measured in radians
// "A line is returned by the function if the corresponding accumulator value is greater than threshold."
// int threshold = 24, rN = 5, tN = 5; // for grid pattern of 11x7 squares
int threshold = 20, rN = 5, tN = 5; // for grid pattern of lines with cross ratios
double h[] = { -1, -7, -15, 0, 15, 7, 1 }; // 1-D kernel of DoG filter
CvMat DoGx = cvMat( 1, 7, CV_64FC1, h ); // DoG filter in x-direction
CvMat* DoGy = cvCreateMat( 7, 1, CV_64FC1 ); // DoG filter in y-direction
cvTranspose( &DoGx, DoGy ); // transpose(&DoGx) -> DoGy
// output information of lines found by Hough transform with NMS
CvMemStorage* storageX = cvCreateMemStorage(0), *storageY = cvCreateMemStorage(0);
CvSeq* linesX = 0, *linesY = 0;
vector<CvPoint> p; // ordered intersection points on the "linesXorder" & "linesYorder"
// create windows
cvNamedWindow("input");
cvNamedWindow( "temp" );
char title_fx[200], title_fy[200];
sprintf(title_fx, "filtered image by DoGx");
sprintf(title_fy, "filtered image by DoGy");
cvNamedWindow(title_fx);
cvNamedWindow(title_fy);
char title_ex[200], title_ey[200];
sprintf(title_ex, "detected edges in x direction");
sprintf(title_ey, "detected edges in y direction");
cvNamedWindow(title_ex);
cvNamedWindow(title_ey);
// initialize capture from a camera
CvCapture* capture = cvCaptureFromCAM(0); // capture from video device #0
int frame = 0; // number of grabbed frames
while(1)
{
// get video frames from the camera
if ( !cvGrabFrame(capture) ) {
printf("Could not grab a frame\n\7");
exit(0);
}
else {
cvGrabFrame( capture ); // capture a frame
iplInput = cvRetrieveFrame(capture); // retrieve the caputred frame
cvSaveImage("original.bmp", iplInput);
if(iplInput) {
if(0 == frame) {
// create an image header and allocate the image data
iplGray = cvCreateImage(cvGetSize(iplInput), 8, 1);
iplTemp = cvCreateImage(cvGetSize(iplInput), IPL_DEPTH_32F, 1);
iplDoGx = cvCreateImage(cvGetSize(iplInput), IPL_DEPTH_32F, 1);
iplDoGy = cvCreateImage(cvGetSize(iplInput), IPL_DEPTH_32F, 1);
iplDoGyClone = cvCloneImage(iplDoGy), iplDoGxClone = cvCloneImage(iplDoGx);
iplEdgeX = cvCreateImage(cvGetSize(iplInput), 8, 1);
iplEdgeY = cvCreateImage(cvGetSize(iplInput), 8, 1);
width = iplInput->width, height = iplInput->height;
cvMoveWindow( "temp", 100+width+10, 100 );
cvMoveWindow( title_fx, 100, 100+height+30 );
cvMoveWindow( title_fy, 100+width+10, 100+height+30 );
cvMoveWindow( title_ey, 100, 100+(height+30)*2 );
cvMoveWindow( title_ex, 100+width+10, 100+(height+30)*2 );
}
// convert the input color image to gray one
cvCvtColor(iplInput, iplGray, CV_BGR2GRAY); // convert an image from one color space to another
cvSaveImage("gray.bmp", iplGray);
// convert one array to another with optional linear transformation
cvConvert(iplGray, iplTemp);
// increase the frame number
frame++;
}
// #1. DoG filtering
// convolve an image with the DoG kernel
// void cvFilter2D(const CvArr* src, CvArr* dst, const CvMat* kernel, CvPoint anchor=cvPoint(-1, -1)
cvFilter2D( iplTemp, iplDoGx, &DoGx ); // convolve an image with the DoG kernel in x-direction
cvFilter2D( iplTemp, iplDoGy, DoGy ); // convolve an image with the DoG kernel in y-direction
// convert negative values to positive to filter the image in reverse direction
cvAbs(iplDoGx, iplDoGx); cvAbs(iplDoGy, iplDoGy);
// normalize the pixel values
cvMinMaxLoc( iplDoGx, &minValx, &maxValx ); // find global minimum and maximum in image array
cvMinMaxLoc( iplDoGy, &minValy, &maxValy );
cvMinMaxLoc( iplTemp, &minValt, &maxValt );
cvScale( iplDoGx, iplDoGx, 1.0 / maxValx );
cvScale( iplDoGy, iplDoGy, 1.0 / maxValy );
cvScale( iplTemp, iplTemp, 1.0 / maxValt );
// display windows
cvShowImage( "temp", iplTemp );
cvShowImage( title_fx, iplDoGx ); cvShowImage( title_fy, iplDoGy );
// save images to files
cvSaveImage("temp.bmp", iplTemp);
cvSaveImage("DoGx.bmp", iplDoGx); cvSaveImage("DoGy.bmp", iplDoGy);
// #2. separate selected edges into vertical and horizontal
// arrange vertical lines from left to right
cout << "vertical" << endl;
indexLinesY(linesYorder, linesY, iplInput );
// arrange horizontal lines from up to bottom
cout << "horizontal" << endl;
indexLinesX(linesXorder, linesX, iplInput );
// calculate and index intersection points
indexIntersections(p, linesXorder, linesYorder, iplInput);
1) 무늬의 deep/light 색의 경계점들 찾기 edge detection
2) 찾은 점들을 직선으로 연결
3) 검출된 가로선과 세로선의 cross ratio와 실제 무늬의 cross ratio를 비교하여, 몇 번째 선인지 인식
detailed preview
1. initial identification process 초기 인식 과정 (특징점 인식)
1) chroma keying: RGB -> YUV 변환
2) gradient filtering: first-order derivative Gaussian filter (length = 7)
-1) 세로축에 대해 영상 축소 (1/4)하여 필터링
-2) Gx, Gy 절대값 비교하여 vertical / horizontal direction 판별
-3) 가로축에 대해
3) line fitting: lens distortion coefficient을 고려하여 이차곡선으로 피팅
4) identification
-1) 영상에서 찾아진 선들이 실제 무늬에서 몇 번째 선인지 인식
-2) feature points는 직선 식에 의해 피팅된 선들의 교점으로 정확하게 구할 수 있음
2. feature point tracking 실제 동작 과정 (특징점 위치 추적)
: feature points corresponding 검출된 특징점을 무늬의 교점과 매칭
1) intersection filter H (교점 필터)로 local maximum & minimum를 가지는 교점 검출
2) 검출된 교점의 부호를 판별하여 두 부류로 나눔
3) 이전 프레임에서의 교점의 위치를 기준으로 현재 프레임에서 검출된 교점에 대해 가장 가까운 이전 점을 찾음
* 다음 프레임에서 새로 나타난 특징점에 대해서도 이전 프레임에서의 카메라 변수를 이용해 실제 패턴 상의 교점을 영상으로 투영시켜 기준점으로 삼을 수 있음
2> real-time camera parameter extraction 실시간 카메라 변수 추출: Tsai's algorithm
1. determining image center 영상 중심 구하기: zooming
: using the center of expansion as a constant image-center
1) (lens distortion을 구하기 위한 초기화 과정에서) 정지된 카메라의 maximum zoom-out과 maximum zoom-in 상태에서 찾아서 인식한 특징점들을 저장
2) 두 개의 프레임에서 같은 점으로 나타난 특징점들을 연결한 line segments의 common intersection 교점을 계산
* 실제로 zooming은 여러 개의 lens들의 조합으로 작동하기 때문에 카메라의 zoom에 따라서 image center가 변하게 되지만, 이에 대한 표준 편차가 작으므로 무시하기로 함
2. lens distortion coefficient 계산
zooming이 없다면 고정된 값이 되므로 이하와 같이 매번 계산해 줄 필요가 없어짐
(1) f-k1 look-up table을 참조하는 방법
: zooming하는 과정에서 초점 거리 f와 렌즈 왜곡 변수 k1이 계속 변하게 되므로, 이에 대한 참조표를 미리 만들어 두고 나서 실제 동작 과정에서 참조
* 특징점들이 모두 하나의 평면에 존재하는 경우에는 초점거리 f와 카메라의 z 방향으로의 이동 Tz가 서로 coupled되기 때문에 카메라 변수가 제대로 계산되기 어렵다는 점을 고려하여 평면 상의 특징점들에 대해서 Tz/f를 인덱스로 사용하는 편법을 쓴다면, 카메라가 z 방향으로는 이동하지 않고 고정되어 있어야 한다는 (T1z = 0)조건이 붙게 됨
(2) collinearity를 이용하는 방법
: searching for k1 which maximally preserves collinearity 인식된 교점들에 대해 원래 하나의 직선에 속하는 점들이 왜곡 보상 되었을 때 가장 직선이 되게 하는 왜곡변수를 구함
1) 영상에서 같은 가로선에 속하는 교점들 (Xf, Yf) 가운데 세 개를 고름
2) 식7로부터 왜곡된 영상면 좌표 (Xd, Yd)를 구함
3) 식5로부터 왜곡 보상된 영상면 좌표 (Xu, Yu)를 구함
4) 식21과 같은 에러 함수 E(k1)를 정의
5) 영상에 나타난 N개의 가로선들에 대해서 E(k1) 값을 최소화하는 k1을 구함 (식 23) -> 비선형 최적화이나 iteration은 한 번
3. Tsai's algorithm
렌즈 왜곡 변수를 알면 카메라 캘리브레이션은 선형적 방법으로 구할 수 있게 됨
3> filtering
잡음으로 인해 검출된 교점에 오차가 생기므로 카메라변수가 틀려지게 됨
(->카메라가 정지해 있어도 카메라변수에 변화가 생겨 결과적으로 그래픽으로 생성된 가상의 무대에 떨림이 나타나게 됨)
Seong-Woo Park, Yongduek Seo, Ki-Sang Hong: Real-Time Camera Calibration for Virtual Studio. Real-Time Imaging 6(6): 433-448 (2000) doi:10.1006/rtim.1999.0199
Dept. of E.E. POSTECH, San 31, Hyojadong, Namku, Pohang, Kyungbuk, 790-784, Korea
Abstract
In this paper, we present an overall algorithm for real-time camera parameter extraction, which is one of the key elements in implementing virtual studio, and we also present a new method for calculating the lens distortion parameter in real time. In a virtual studio, the motion of a virtual camera generating a graphic studio must follow the motion of the real camera in order to generate a realistic video product. This requires the calculation of camera parameters in real-time by analyzing the positions of feature points in the input video. Towards this goal, we first design a special calibration pattern utilizing the concept of cross-ratio, which makes it easy to extract and identify feature points, so that we can calculate the camera parameters from the visible portion of the pattern in real-time. It is important to consider the lens distortion when zoom lenses are used because it causes nonnegligible errors in the computation of the camera parameters. However, the Tsai algorithm, adopted for camera calibration, calculates the lens distortion through nonlinear optimization in triple parameter space, which is inappropriate for our real-time system. Thus, we propose a new linear method by calculating the lens distortion parameter independently, which can be computed fast enough for our real-time application. We implement the whole algorithm using a Pentium PC and Matrox Genesis boards with five processing nodes in order to obtain the processing rate of 30 frames per second, which is the minimum requirement for TV broadcasting. Experimental results show this system can be used practically for realizing a virtual studio.
전자공학회논문지 제36권 S편 제7호, 1999. 7
가상스튜디오 구현을 위한 실시간 카메라 추적 ( Real-Time Camera Tracking for Virtual Studio )
박성우 · 서용덕 · 홍기상 저 pp. 90~103 (14 pages) http://uci.or.kr/G300-j12265837.v36n07p90
서지링크 한국과학기술정보연구원
가상스튜디오의 구현을 위해서 카메라의 움직임을 실시간으로 알아내는 것이 필수적이다. 기존의 가상스튜디어 구현에 사용되는 기계적인 방법을 이용한 카메라의 움직임 추적하는 방법에서 나타나는 단점들을 해결하기 위해 본 논문에서는 카메라로부터 얻어진 영상을 이용해 컴퓨터비전 기술을 응용하여 실시간으로 카메라변수들을 알아내기 위한 전체적인 알고리듬을 제안하고 실제 구현을 위한 시스템의 구성 방법에 대해 다룬다. 본 연구에서는 실시간 카메라변수 추출을 위해 영상에서 특징점을 자동으로 추출하고 인식하기 위한 방법과, 카메라 캘리브레이션 과정에서 렌즈의 왜곡특성 계산에 따른 계산량 문제를 해결하기 위한 방법을 제안한다.
camera tracking system : electromechanical / optical
pattern recognition
2D-3D pattern matches
planar pattern
feature extraction -> image-model matching & identification -> camera calibration
: to design the pattern by applying the concept of cross-ratio and to identify the pattern automatically
영상에서 찾아진 특징점을 자동으로 인식하기 위해서는 공간 상의 점들과 영상에 나타난 그것들의 대응점에 대해서 같은 값을 갖는 성질이 필요한데 이것을 기하적 불변량 (Geometric Invariant)이라고 한다. 본 연구에서는 여러 불변량 가운데 cross-ratio를 이용하여 패턴을 제작하고, 영상에서 불변량의 성질을 이용하여 패턴을 자동으로 찾고 인식할 수 있게 하는 방법을 제안한다.
radial alignment constraint
"If we presume that the lens has only radial distortion, the direction of a distorted point is the same as the direction of an undistorted point."
카메라의 움직임을 알아내기 위해서는 공간상에 인식이 가능한 물체가 있어야 한다. 즉, 어느 위치에서 보더라도 영상에 나타난 특징점을 찾을 수 있고, 공간상의 어느 점에 대응되는 점인지를 알 수 있어야 한다.
패턴이 인식 가능하기 위해서는 카메라가 어느 위치, 어느 자세로 보던지 항상 같은 값을 갖는 기하적 불변량 (Geometric Invariant)이 필요하다.
Coelho, C., Heller, A., Mundy, J. L., Forsyth, D. A., and Zisserman, A.1992. An experimental evaluation of projective invariants. In Geometric invariance in Computer Vision, J. L. Mundy and A. Zisserman, Eds. Mit Press Series Of Artificial Intelligence Series. MIT Press, Cambridge, MA, 87-104.
> initial identification process
extracting the pattern in an image: chromakeying -> gradient filtering: a first-order derivative of Gaussian (DoG) -> line fitting: deriving a distorted line (that is actually a curve) equation -> feature point tracking (using intersection filter)
이상적인 렌즈의 optical axis가 영상면에 수직이고 변하지 않는다고 할 때, 영상 중심은 카메라의 줌 동작 동안 고정된 값으로 계산된다. (그러나 실제 렌즈의 불완전한 특성 때문에 카메라의 줌 동작 동안 영상 중심 역시 변하게 되는데, 이 변화량은 적용 범위 이내에서 2픽셀 이하이다. 따라서 본 연구에서는 이러한 변화를 무시하고 이상적인 렌즈를 가정하여 줌동작에 의한 영상 중심을 구하게 된다.)
For zoom lenses, the image centers vary as the camera zooms because the
zooming operation is executed by a composite combination of several
lenses. However, when we examined the location of the image centers,
its standard deviation was about 2 pixels; thus we ignored the effect
of the image center change.
calculating lens distortion coefficient
Zoom lenses are zoomed by a complicated combination of several lenses so that the effective focal length and distortion coefficient vary during zooming operations.
When using the coplanar pattern with small depth variation, it turns out that focal length and z-translation cannot be separated exactly and reliably even with small noise.
카메라 변수 추출에 있어서 공간상의 특징점들이 모두 하나의 평면상에 존재할 때는 초점거리와 z 방향으로의 이동이 상호 연관 (coupling)되어 계산값의 안정성이 결여되기 쉽다.
collinearity
Collinearity represents a property when the line in the world coordinate is also shown as a line in the image. This property is not preserved when the lens has a distortion.
Once the lens distortion is calculated, we can execute camera calibration using linear methods.
filtering
가상 스튜디오 구현에 있어서는 시간 지연이 항상 같은 값을 가지게 하는 것이 필수적이므로, 실제 적용에서는 예측 (prediction)이 들어가는 필터링 방법(예를 들면, Kalman filter)은 사용할 수가 없었다.
The issue discusses methods to extract 3-dimensional (3D) models from plain images.
In particular, the 3D information is obtained from images for which the camera parameters are unknown.
The principles underlying such uncalibrated structure-from-motion methods are outlined. First, a short
review of 3D acquisition technologies puts such methods in a wider context, and highlights their important
advantages. Then, the actual theory behind this line of research is given. The authors have tried to keep
the text maximally self-contained, therefore also avoiding to rely on an extensive knowledge of the projective
concepts that usually appear in texts about self-calibration 3D methods. Rather, mathematical explanations
that are more amenable to intuition are given. The explanation of the theory includes the stratification
of reconstructions obtained from image pairs as well as metric reconstruction on the basis of more than 2
images combined with some additional knowledge about the cameras used. Readers who want to obtain more
practical information about how to implement such uncalibrated structure-from-motion pipelines may be
interested in two more Foundations and Trends issues written by the same authors. Together with this
issue they can be read as a single tutorial on the subject.
Although neither d nor m alone is sufficient to determine L, together the pair does so uniquely, up to a common (nonzero) scalar multiple which depends on the distance between x and y. That is, the coordinates
(d:m) = (d1:d2:d3:m1:m2:m3)
may be considered homogeneous coordinates for L, in the sense that all pairs (λd:λm), for λ ≠ 0, can be produced by points on L and only L, and any such pair determines a unique line so long as d is not zero and d•m = 0.
A projective transformation in P2 space is an invertible mapping of points in P2 to points in P2 that maps lines to lines. A P2 projectivity has the equation
PARALLEL PERSPECTIVE - AERIAL VIEW WITH A VIEW FROM BOTTOM TO TOP
The mapping from planes and lines through the center of projection to lines and points on the projective plane is the transformation of the usual Euclidean space into projective space.
A projective space is not a vector space in the same manner as the Euclidean space.
Riesenfeld, R. F. 1981. Homogeneous Coordinates and Projective Planes in Computer Graphics. IEEE Comput. Graph. Appl. 1, 1 (Jan. 1981), 50-55. DOI= http://dx.doi.org/10.1109/MCG.1981.1673814
The use of homogeneous coordinates not only produces polynomials of fixed degree, it also provides a method for consistent manipulation of the Euclidean space.
Perspective Projection
perspective divide
A loss of depth information is due to the linear dependence of the third and fourth columns of the matrix.
Introducing a second non-zero term, e.g. -1, into the third column does
not affect x’ and y’, but z’ becomes D-D/z. The purpose of this
additional term is to compress the Euclidean space z Î [1, ¥] to z’ Î
[0, D].
Perspective Space
"The homogeneous perspective transformation transforms Euclidean points to new homogeneous points."
perspective space (of the transformed points) vs. object space
The perspective matrix is invertible whereas the perspective-projection matrix is singular.
, or to use multi-channel Nx1 or 1xN arrays." 
cvcalibration.cpp
swPark_2000rtim.pdf
.
