Rafael Grompone von Gioi, Jérémie Jakubowicz, Jean-Michel Morel, Gregory Randall, LSD: A Fast Line Segment Detector with a False Detection Control, IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 32, no. 4, pp. 722-732, Apr. 2010. doi:10.1109/TPAMI.2008.300
Xiaochun Cao and Hassan Foroosh
School of Computer Science, University of Central Florida
Classical techniques for camera calibration [1, 2, 3] require a so called calibration rig, with a set of correspondences between known points in the 3D space and their projections in the 2D image plane. Recent techniques propose more flexible plane-based calibration approaches [4, 5].
ref.
Learning OpenCV: Chapter 10. Tracking and Motion: "Subpixel Corners"
319p: If you are processing images for the purpose of extracting geometric measurements, as opposed to extracting features for recognition, then you will normally need more resolution than the simple pixel values supplied by cvGoodFeaturesToTrack(). That is subpixels come with integer coordinates whereas we sometimes require real-valued coordinates.
for( i = 0; i < nimages; i++ )
{
ni = npoints->data.i[i*npstep];
if( ni < 4 )
{
char buf[100];
sprintf( buf, "The number of points in the view #%d is < 4", i );
CV_Error( CV_StsOutOfRange, buf );
}
maxPoints = MAX( maxPoints, ni );
total += ni;
}
388p: Intrinsic parameters are directly tied to the 3D
geometry (and hence the extrinsic parameters) of where the chessboard is
in space; distortion parameters are tied to the 3D geometry of how the
pattern of points gets distorted, so we deal with the constraints on
these two classes of parameters separately.
389p: The algorithm OpenCV uses to solve for the focal
lengths and offsets is based on Zhang's method [Zhang00], but
OpenCV uses a different method based on Brown [Brown71] to solve for the
distortion parameters.
1) number of views
인자 중 pointCounts – Integer 1xM or Mx1 vector (where M is the
number of calibration pattern views)
그런데 우리의 경우 매 입력 프레임 한 개이므로, M = 1
int numView = 1; // number of calibration pattern views
// integer "1*numView" vector
CvMat* countsP = cvCreateMat( numView, 1, CV_32SC1 );
// the sum of vector elements must match the size of objectPoints and
imagePoints
// cvmSet( countsP, 0, 0, numPair ); // <-- 이렇게 하면 에러 남. 아래로 변경
cvSet( countsP, cvScalar(numPair) );
2) rotation vector와 translation vector
cvCalibrateCamera2() 함수의 output 중 외부 파라미터를 받을 matrices를 다음과 같이 생성하면
OpenCV ERROR: Bad argument (the output array of rotation vectors must be
3-channel 1xn or nx1 array or 1-channel nx3 or nx9 array, where n is
the number of views)
in function cvCalibrateCamera2, ../../src/cv/cvcalibration.cpp(1488)
OpenCV ERROR: Bad argument (the output array of translation vectors must
be 3-channel 1xn or nx1 array or 1-channel nx3 array, where n is the
number of views)
in function cvCalibrateCamera2, ../../src/cv/
카메라 회전을 원하는 형태로 얻으려면 rotation vector를 rotation matrix로 바꾸어야 한다. (아래 설명
참조.)
Learning OpenCV: 394p
"(The rotation vector) represents an axis in three-dimensional space in
the camera coordinate system around which (the pattern) was rotated and
where the length or magnitude of the vector encodes the
counterclock-wise angle of the rotation. Each of these rotation vectors
can be converted to a 3-by-3 rotation matrix by calling cvRodrigues2()."
// # 6. camera calibration
int numPair = indexI.size(); // number of pairs of
corresponding points
int numView = 1; // number of calibration pattern views
// int numPoint = numPair * numView; // total
number of points in all views
// input to camera calibration
CvMat* pointI = cvCreateMat( numPair, 2, CV_32FC1 );
CvMat* pointW = cvCreateMat( numPair, 3, CV_32FC1 );
// integer "1*numView" vector
CvMat* countsP = cvCreateMat( numView, 1, CV_32SC1 );
// the sum of vector elements must match the size of
objectPoints and imagePoints
// cvmSet( countsP, 0, 0, numPair );
for( int n = 0; n < numPair; n++ )
{
float rex = cvmGet( pointReI, n, 0 ); // x-coordinate of
the image frame
float rey = cvmGet( pointReI, n, 1 ); // y-coordinate of
the image frame
cvCalibrateCamera2()
함수는 유효한 대응점 4쌍이 있으면 camera calibration을 한다고 하지만, 함수 실행 에러가 나지 않고 계산값을 내보낼 뿐 그것이 정확한 결과는 아니다. ( OpenCV의 알고리즘은 렌즈 왜곡 변수와 카메라 내부 변수를 따로 분리해서 계산하고 있다. 렌즈 왜곡 변수에 대해서는 radial distortion coefficients 3개와 tangential distortion coefficients 2개, 총 5개의 미지수의 해를 구하고자 하므로 이론상 이미지 상의 3개의 2차원 (x,y) 점으로부터 6개의 값을 얻으면 계산할 수 있다.
그런데, 우리 프로그램에서 4쌍의 대응점으로 카메라 캘리브레이션을 한 결과는 다음과 같다.
대응점 4쌍으로 패턴 인식에 성공한
경우
왼쪽 영상에 보이는 대응점 4쌍으로 카메라 캘리브레이션한 결과를 가지고 다시 패턴의 4점을 입력 영상 위에
리프로젝션하여 확인
즉, 4쌍의 대응점으로부터 카메라 매트릭스를 산술적으로 계산해 내기는 한다. 그런데 현재 패턴을 사용하여 대응점이 4쌍이 나오는 경우는 대개 패턴 중 격자 한 개의 코너점 4개가 검출된 경우이다. 그러므로 인접한 4점의 위치 좌표에 렌즈 왜곡의 효과가 충분히 반영되어 있다고 볼 수 없으므로 위의 출력 결과와 같이 k1 = 0으로 렌즈 왜곡이 없다고 보는 것과 같은 결과가 된다.
한 가지 더. cvCalibrateCam2( ) 함수가 내부적으로 시행하는 첫번째 일은 cvConvertPointsHomogeneous( ) 함수를 호출하여, input matrices로 서로 대응하는 world coordinate과 image coordinate을 각기 1차원 Homogeneous coordinate으로 변환하는 것이다. 그런데 함수 설명에 다음과 같은 내용이 있다. "It is always safe to use the function with number of points , or to use multi-channel Nx1 or 1xN arrays."
카메라 렌즈에 skew가 없다는 가정을 전제로 한다.
캘리브레이션을 위해 대응점을 얻을 패턴이 평면 (z = 0)인 경우에만 intrinsic parameter의 고정값 초기화가 가능하다. (
"where z-coordinates of the object points must be all 0’s.")
camera로부터의 입력 이미지를 OpenCV 함수로 받아 IplImage 형태로 저장한 것과 OpenGL 함수로 그린 그래픽 정보를 합성하기
Way #1.
OpenCV의 카메라 입력으로 받은 image frame을 texture로 만들어 OpenGL의 디스플레이 창에 배경 (평면에 texture mapping)으로 넣고 여기에 그래픽을 그려 display하는 방법
ref. http://cafe.naver.com/opencv/12266
테스팅 중 발견한 문제점: cvRetrieveFrame() 함수를 while 아래에서 돌려 cvShowImage() 함수로 보여 주는 대신 glutDisplayFunc() 함수에서 불러 glutMainLoop() 함수로 돌리면 시간이 많이 걸린다. (* cvGrabFrame() 함수의 경우는 괜찮음.)
Textures are simply rectangular arrays of data - for example, color data, luminance data, or color and alpha data. The individual values in a texture array are often called texels.
The data describing a texture may consist of one, two, three, or four elements per texel, representing anything from a modulation constant to an (R, G, B, A) quadruple.
A texture object stores texture data and makes it readily available. You can now control many textures and go back to textures that have been previously loaded into your texture resources.
2. lens distortion(kappa1, kappa2)을 가지고 rectification
패턴 인식이 성공적인 경우 당연히 카메라 캘리브레이션 결과가 정확해지며, 이로부터 가상의 물체를 합성하기 위해 필요한 object 또는 graphic coordinate을 실시간으로 계산할 수 있다. 현재 우리 프로그램에서 패턴 인식이 실패하는 원인은 직선 검출의 오차인데, 이 오차의 원인으로는 여러가지가 있지만 가장 큰 것은 렌즈 왜곡이다. (현재 렌즈 왜곡을 고려하지 않고 있다.) 그래서 실제로는 하나의 직선에 대해 여러 개 (2-3개)의 직선을 검출하며 (NMS 알고리즘만으로는 이 오차를 줄이는 데 한계를 보이고 있어), 이로부터 계산된 교차점들의 위치 좌표 오차는 cross ratio 계산에 결정적인 오차로 작용한다. 현재 방식의 패턴 생성과 패턴 인식은 cross ratios 값에 절대적으로 의존하고 있기 때문에 이 문제를 반드시 해결해야 한다. 그러므로 렌즈 왜곡을 고려하여 입력 이미지를 펴서 (rectification) 기존의 패턴 인식 알고리즘을 적용하자.
Learning OpenCV: 396p
"OpenCV provides us with a ready-to-use undistortion algorithm that
takes a raw image and the distortion coefficients from
cvCalibrateCamera2() and produces a corrected image (see Figure 11-12).
We can access this algorithm either through the function cvUndistort2(),
which does everything we need in one shot, or through the pair of
routines cvInitUndistortMap()
and cvRemap(),
which allow us to handle things a little more efficiently for video or
other situations where we have many images from the same camera. ( * We
should take a moment to clearly make a distinction here between
undistortion, which mathematically removes lens distortion, and rectifi
cation, which mathematically aligns the images with respect to each
other. )
(1) 고정되어 있는 것으로 가정한 카메라의 내부 파라미터 값들을 구하고 (2) 실시간으로 들어오는 이미지 프레임마다 카메라의 회전과 이동을 계산하기 위하여 Tsai 알고리즘을 쓰기로 하고, C 또는 C++로 구현된 소스코드 또는 라이브러리를 찾아서 붙여 보기로 한다.
Try #1.
처음에는 CMU의 Reg Willson가 C로 짠 Tsai Camera Calibration 코드 에서 필요한 부분을 include하여 쓰려고 했는데, C++ 문법에 맞지 않는 구식 C 문법으로 코딩된 부분이 많아서 고치는 데 애를 먹었다. (Xcode의 C++ 프로젝트에서 .c 파일을 include하면 compile은 되지만, linking error가 난다. 때문에 .c를 .cpp로 바꾸어야 함.) 그런데 결정적으로, "cal_main.cpp" 파일에 정의된, 캘리브레이션의 최종 결과값을 주는 함수들이 호출하는 optimization을 실행하는 함수 lmdif_()가 Fortan 파일 "lmdif.f"에 정의되어 있고, Fortran을 C로 변환해 주는 "f2c.h"에 의해 이것을 "lmdif.c"로 하여 가지고 있다는 문제가 있었다. lmdif.c를 lmdif.cpp 형태로 만들기 위해서는 Fortran 언어와 Fortran을 C++로 변환하는 방법을 알아야 하므로, 결국 포기했다.
Try #2.
Michigan State University Charles B. Owen의 Display-Relative
Calibration (DRC)을 구현한 DRC 프로그램( DRC.zip )에서 카메라 캘리브레이션에 Tsai의 알고리즘 libtsai.zip을 쓰고 있다. 이 라이브러리는 위의 C 코드를 C++로 수정하면서 "CTsai"라는 클래스를 사용하고 여러 함수들을 수정/보완/결합한 것인데, Visual Studio 용 프로젝트 프로그램을 만들면서 Windows 환경에 기반하여 MFC를 활용하였다. 그래서 이것을 나의 Mac OS X 기반 Xcode 프로젝트에서 그대로 가져다 쓸 수는 없다. 용법은 다음과 같다.
클래스 형태의 템플릿( CLmdif )으로 선언된 "lmdif"의 member function "Lmdif"를 호출할 때,
min/Lmdif.h:48
template<class T> class CLmdif : private CLmdif_
{
int Lmdif(T *p_user, bool (T::*p_func)(int m, int n, const double *parms, double *err),
int m, int n, double *x, double *fvec, double *diag, int *ipvt, double *qtf)
};
후자인 같은 member function, ncc_compute_exact_f_and_Tz_error()를 인자로 넣고 있고 (위 부분 코드들 중 오렌지 색 부분), 컴파일 하면 이 부분을 <unknown type>으로 인식하지 못 하겠다는 에러 메시지를 보낸다. 그리고 다음과 같은 형태를 추천한다고 한다.
function pointer의 형태가 틀린 모양인데, 오렌지색 부분을 그냥 함수가 아닌 어떤 class의 non-static member function을 가리키는 pointer로 &CTsai::ncc_compute_exact_f_and_Tz_error 이렇게 바꾸어 주면, 에러 메시지가 다음과 같이 바뀐다.
error: no matching function for call to 'CLmdif<CTsai>::Lmdif(CTsai* const, bool (*)(int, int, const double*, double*), int&, const int&, double [3], NULL, NULL, NULL, NULL)'
연두색 부분 대신 CTsai::ncc_compute_exact_f_and_Tz_error 이렇게 바꾸어 주면, 에러 메시지가 다음과 같다.
error: no matching function for call to 'CLmdif<CTsai>::Lmdif(CTsai* const, bool (&)(int, int, const double*, double*), int&, const int&, double [3], NULL, NULL, NULL, NULL)'
해결:
편법으로, class CLmdif를 클래스 형 템플릿이 아닌 그냥 클래스로 바꾸어서 선언하고 연두색 부분처럼 호출하면 에러는 안 나기에 일단 이렇게 넘어가기로 한다.
문제점#2.
코드에서 Windows OS 기반 MFC를 사용하고 있어 Mac OS X에서 에러가 난다.
해결:
MFC를 사용하는 "StdAfx.h"는 모두 주석 처리한다.
문제점#3.
Lmdif.h
... 기타 등등의 문제점들을 해결하고, 캘리브레이션을 수행한 결과가 맞는지 확인하자.
source code:
if (
CRimage.size() > 0 ) // if there is a valid point with its cross
ratio
{
correspondPoints(indexI, indexW, p, CRimage,
linesYorder.size(), linesXorder.size(), world, CRworld, dxList.size(),
dyList.size(), iplMatch, scale );
}
cvShowImage( "match", iplMatch );
cvSaveImage( "match.bmp", iplMatch );
아래 사진은 구해진 카메라 내부/외부 파라미터들을 가지고 (1) 실제 패턴의 점에 대응하는 이미지 프레임 (image coordinate) 상의 점을 찾아 (reprojection) 보라색 원으로 그리고, (2) 실제 패턴이 있는 좌표 (world coordinate)를 기준으로 한 graphic coordinate에 직육면체 cube를 노란색 선으로 그린 결과이다.
이미지 프레임과 실제 패턴 상의 점을 1 대 1로 비교하여 연결한 16쌍의 대응점
구한 카메라 파라미터를 가지고 실제 패턴 위의 점들을 이미지 프레임에 reproject한 결과 (보라색 점)와 실제 패턴의 좌표를 기준으로 한 그래픽이 이미지 프레임 상에 어떻게 나타나는지 그린 결과 (노란색 상자)
위 왼쪽 사진에서 보여지는 16쌍의 대응점들의 좌표값을 "이미지 좌표(x,y) : 패턴 좌표 (x,y,z)"로 출력한 결과:
camera parameter
focus = 3724.66
principal axis (x,y) = 168.216, 66.5731
kappa1 (lens distortion) = -6.19473e-07
skew_x = 1
대응점 연결에 오차가 없으면, 즉, 패턴 인식이 잘 되면, Tsai 알고리즘에 의한 카메라 파라미터 구하기가 제대로 되고 있음을 확인할 수 있다. 하지만, 현재 full optimization (모든 파라미터들에 대해 최적화 과정을 수행하는 것)으로 동작하게 되어 있고, 프레임마다 모든 파라미터들을 새로 구하고 있기 때문에, 속도가 매우 느리다. 시험 삼아 reprojection과 간단한 graphic을 그리는 과정은 속도에 큰 영향이 없지만, 그전에 카메라 캘리브레이션을 하는 데 필요한 계산 시간이 길다. 입력 프레임이 들어오는 시간보다 훨씬 많은 시간이 걸려 실시간 구현이 되지 못 하고 있다.
따라서, (1) 내부 파라미터는 첫 프레임에서 한 번만 계산하고 (2) 이후 매 프레임마다 외부 파라미터 (카메라의 회전과 이동)만을 따로 계산하는 것으로 코드를 수정해야 한다.
Test on the correspondences of feature points
특징점 대응 시험
교점의 cross ratio 값을 구하고, 그 값과 가장 가까운 cross ratio 값을 가지는 점을 패턴에서 찾아 대응시킨다.
Try #1. one-to-all
입력 영상에서 검출한 직선들로부터 생기는 각 교점에서 수평 방향으로 다음 세 개의 교점, 수직 방향으로 다음 세 개의 교점을
지나는 직선에 대한 cross ratio (x,y)값을
구한다. 이상적으로, 1에서 구한 cross ratio 값과 일치하는 cross ratio 값을 가지는 패턴의 격자점이 입력 영상의 해당
교차점과 실제로 대응하는 점이라고 볼 수 있다.
직선 검출에 오차나 오류가 적을 경우, 아래 테스트 결과에서 보듯 입력 영상의 교차점에 대해 실제 패턴의 직선을 1대 1로
즉각적으로 찾는다. 즉, 입력 영상의 한 점에서의 수평 방향 cross ratio 값에 대해 패턴의 모든 수평선들의 cross
ratio 값을 일일이 대조하여 가장 근접한 값을 가지는 직선을 대응시키는 방식이다. (아래 오른쪽 사진은 같은 방식으로 수직
방향 cross ratio 값을 가지고 대응되는 직선을 찾는 경우임.) (point-to-line)
수평선 위의 점들에 대한 cross ratio 값만 비교한 결과
수선 위의 점들에 대한 cross ratio 값만 비교한 결과
입력 영상에서 하나의 교차점의 x방향 cross ratio 값과 같은 cross ratio 값을 가지는 세로선을
실제 패턴에서 찾고, y방향 cross
ratio 값에 대해서 가로선을 찾으면, 패턴 위에 그 세롯선과 가로선이 교차하는 점 하나가 나온다. 입력 이미지 상의 한 점에 대해 패턴의 모든 직선을 (가로선의 개수+세로선의 개수) 번 비교하여 대응점을 연결하는 것이다. (point-to-point)
(패턴 인식이 성공적인 경우)
(잘못된 대응점 연결이 발생한 경우)
source code:
void matchXY ( vector<CvPoint2D32f> &p, vector<CvPoint2D32f> &CRimage, int numIx, int numIy, vector<CvPoint3D32f> &world, vector<CvPoint2D32f> &CRworld, int numPx, int numPy, IplImage* iplMatch, CvPoint2D32f scale )
{
for( int i = 0; i < numIx; i++ ) // points in x-direction on the input image
{
// check if x-component of the point is valid
if( -1 == CRimage[i*numIy+0].x )
{
cout << endl << "could not make matching in x-direction" << endl;
continue;
}
// CvScalar generateRandomColor(unsigned char thR, unsigned char thG, unsigned char thB) defined in "matching.h"
CvScalar colorMatch = generateRandomColor(50,50,50);
for( int j = 0; j < numIy; j++ ) // points in y-direction on the input image
{
// check if y-component of the point is valid
if( -1 == CRimage[i*numIy+j].y )
{
cout << endl << "could not make matching in y-direction" << endl;
continue;
}
// to find the x-index of the corresponding point
int indexPx = 0;
float errX_min = fabs( CRimage[i*numIy+j].x- CRworld[indexPx*numPy+0].x );
// search points in x-direction on the real pattern
for( int wx = 0; wx < numPx; wx++ )
{
float errX = CRimage[i*numIy+j].x - CRworld[wx*numPy+0].x;
if ( fabs(errX) < errX_min )
{
errX_min = fabs(errX);
indexPx = wx;
}
}
// to find the y-index of the corresponding point
int indexPy = 0;
float errY_min = fabs( CRimage[i*numIy+j].y - CRworld[0*numPy+indexPy].y );
// search points in y-direction on the real pattern
for( int wy = 0; wy < numPy; wy++ )
{
float errY = CRimage[i*numIy+j].y - CRworld[0*numPy+wy].y;
if ( fabs(errY) < errY_min )
{
errY_min = fabs(errY);
indexPy = wy;
}
}
// cout << endl << i << ", " << j << " point in the input frame is matched with "
// << indexPy << "-th point in the real pattern" << endl;
// draw the line to connect "world" point and "image" point
CvPoint pointImage = cvPoint(cvRound(p[i*numIy+j].x), cvRound(IMG_HEIGHT + p[i*numIy+j].y));
CvPoint pointPattern = cvPoint(cvRound(world[indexPx*numPy+indexPy].x*scale.x), cvRound(world[indexPx*numPy+indexPy].y*scale.y));
그러므로 현재는 (1) 입력 영상에서 한 직선 위에 있는 것으로 추산된 일련의 점들에서의 cross ratio 값들의 수치적
경향을 고려하지 않고 있으며, (2) 입력 영상에 실제 패턴의 어느 부분(위치나 범위)이 잡힌 것인지를 판단하지 않고 무조건 전체
패턴의 모든 격자점들에 대해서 cross ratio 값을 비교하고 있다.
Rahbar, K. and Pourreza, H. R. 2008. Inside looking out camera pose
estimation for virtual studio. Graph. Models 70, 4 (Jul. 2008),
57-75. DOI= http://dx.doi.org/10.1016/j.gmod.2008.01.001
현재 코드는 검은색 바탕에 흰색 사각형을 그리게 되는데, 소수 값을 정수 값 (픽셀의 위치 좌표)으로 변환하는 과정에서 오차가 발생한다. 얼핏 격자 무늬로 보이는 오른쪽 그림을 확대한 왼쪽 그림을 보면, 격자 사이가 벌어지거나 겹치는 부분이 생긴다는 것을 알 수 있다.
그리는 방법을 달리했더니 해결된다. 이미지와 같은 높이의 세로 막대들을 하얀색으로 먼저 그리고 나서, 이미지와 같은 너비의 가로 막대들을 하얀색으로 그리고, 막대들이 서로 교차하는 (하얀색으로 두 번 그린 셈인) 부분을 다시 검은색으로 그렸다. (이건 뭔... 컴퓨터 비전도 이미지 프로세싱도 아니고 그렇다고 컴퓨터 그래픽스라고 보기도 우습고, 중학교 수학 경시대회 난이도 중상 정도의 문제를 푸는 기분이다. )
세로선 40개, 가로선 30개로 생성된 패턴 (400x300pixels)
오른쪽의 패턴을 7배 확대한 영상
/* Draw grid pattern
using kyu's pattern generator with optimal cross ratios
2010, lym
// calculate cross ratios in the world coordinate on real pattern
void crossRatioWorld( vector<CvPoint2D32f>& CRworld, vector<CvPoint3D32f>& world, int dxListSize, int dyListSize, CvPoint2D32f scale )
{
// vector<CvPoint2D32f> crossRatioWorld; // cross ratios in the world coordinate on real pattern
float crX = -1.0, crY = -1.0;
for( int i = 0; i < dxListSize; i++ )
{
for( int j = 0; j < dyListSize; j++ )
{
CRworld.push_back(cvPoint2D32f(crX, crY));
}
}
// "cr[iP] = p1 * p3 / ((p1 + p2) * (p2 + p3))" in psoBasic.cpp: 316L
// that is (b-a)(d-c)/(c-a)(d-b) with 4 consecutive points, a, b, c, and d
float a, b, c, d;
// cross ratios in horizontal lines
for( int i = 0; i < dxListSize-3; i++ )
{
a = world[i*dyListSize].x;
b = world[(i+1)*dyListSize].x;
c = world[(i+2)*dyListSize].x;
d = world[(i+3)*dyListSize].x;
swPark_2000rti 439쪽: In the initial identification process, we first extract and identify vertical and horizontal lines of the pattern by comparing their cross-ratios, and then we compute the intersections of the lines. Theoretically with this method, we can identify feature points in every frame automatically, but several situations cause problems in the real experiments.
박승우_1999전자공학회지 94쪽: 초기 인식과정에서는 패턴 상의 교점을 인식하기 위해 패턴의 제작과정에서 설명한 것처럼 영상에서 구해진 가로선과 세로선의 Cross-ratio를 패턴의 가로선과 셀로선이 가지는 Cross-ratio와 비교함으로써 몇번째 선인지를 인식하게 된다. 이러한 방법을 이용해 영상으로부터 자동으로 특징점을 찾고 인식할 수 있지만, 실제 적용 상에서는 몇 가지 제한점이 따르게 된다.
0. NMS (Non Maximum Suppression)을 적용한 Hough transform에 의한 Line 찾기
OpenCV 라이브러리의 HoughLines2() 함수는 전에 기술한 바( http://leeway.tistory.com/801 )와 같이 실제 패턴에서는 하나의 직선 위에 놓인 점들에 대해 이미지 프레임에서 검출된 edges을 가지고 여러 개의 직선을 찾는 결과를 보인다. 이는 HoughLines2()
함수가 출력하는, 직선을 정의하는 두 파라미터 rho와 theta에 대해 ( x*cos(theta) + y*sin(theta) = rho ) 계산된 값들이 서로 비슷하게 나오는 경우에 최적값을 선별하는 과정을 거치지 않고 모든 값들을 그대로 내보내기 때문이다. 그래서 OpenCV의 이 함수를 이용하지 않고, 따로 Hough transform을 이용하여 선을 찾는 함수를 만들되 여기에 NMS (Non Maximum Suppression)를 적용하도록 해 보았다. 하지만 이 함수를 실시간 비디오 카메라 입력에 대해 매 프레임마다 실행시키면 속도가 매우 느려져 쓸 수 없었다. 그래서, 속도 면에서 월등한 성능을 보이는 OpenCV의 HoughLines2()
함수를 그대로 따 오고 대신 여기에 NMS 부분을 추가하여 수정한 함수를 매 입력 프레임마다 호출하는 방법을 택하였고, 실시간 처리가 가능해졌다. (->소스코드)
산출된 수직선들을 이미지 프레임의 왼쪽에서부터 오른쪽으로 나타난 순서대로 번호를 매기고 (아래 그림의 붉은색 번호), 수평선들을 위로부터 아래로 나타난 순서대로 번호를 매긴다 (아래 그림의 푸른색 번호). 이 과정에서 수직선의 경우 x절편, 수평선의 경우 y절편의 값을 기준으로 하여 계산하였다.
아래 코드에서 "line.x0"가 "line" 직선의 x절편임
// rearrange lines from left to right
void indexLinesY ( CvSeq* lines, IplImage* image )
{
// retain the values of "rho" & "theta" of found lines
int numLines = lines->total;
// line_param line[numLines]; 이렇게 하면 나중에 이 변수를 밖으로 빼낼 때 (컴파일 에러는 안 나지만) 문제가 됨.
line_param *line = new line_param[numLines];
for( int n = 0; n < numLines; n++ )
{
float* newline = (float*)cvGetSeqElem(lines,n);
line[n].rho = newline[0];
line[n].theta = newline[1];
}
// rearrange "line" array in geometrical order
float temp_rho, temp_theta;
for( int n = 0; n < numLines-1; n++ )
{
for ( int k = n+1; k < numLines; k++ )
{
float x0_here = line[n].rho / cos(line[n].theta);
float x0_next = line[k].rho / cos(line[k].theta);
if( x0_here > x0_next ) {
temp_rho = line[n].rho; temp_theta = line[n].theta;
line[n].rho = line[k].rho; line[n].theta = line[k].theta;
line[k].rho = temp_rho; line[k].theta = temp_theta;
}
}
}
// calculate the other parameters of the rearranged lines
for( int n = 0; n < numLines; n++ )
{
line[n].a = cos(line[n].theta);
line[n].b = sin(line[n].theta);
line[n].x0 = line[n].rho / line[n].a;
line[n].y0 = line[n].rho / line[n].b;
void indexLinesY( CvSeq* lines, IplImage* image ) 함수를 line_param*
indexLinesY( CvSeq* lines, IplImage* image )라고 바꾸어 structure로 선언한
line_param 형태의 배열을 출력하도록 하고, 이 출력값을 교점을 구하는 함수의 입력으로 하면
line_param
line[numLines];
이렇게 함수 안에서 선언했던 부분이 함수 밖으로 출력되어 다른 함수의 입력이 될 때 입력값이
제대로 들어가지 않는다. 다음과 같이 바꾸어 주어야 함.
이미지 프레임에서 찾은 수평선들을 보면 제일 위쪽의 직선이 0번이 아니라 4번부터 순번이 매겨져 있다. 프레임 바깥에 (위쪽에) 세 개의 직선이 더 있다는 뜻인데...
수직성 상의 edges 검출 영상
수평선 상의 edges 검출 영상
수직선들을 왼쪽부터 오른쪽으로, 수평선들을 위에서 아래로 정열한 결과
왼쪽 두 개는
line detection에 입력으로 쓰인 영상이고, 마지막 것은 이로부터 순서대로 정열한 직선을 규정하는 매개변수 출력값이다. 0번부터 3번 수평선의 y절편 값이 음수로 나타나고 있다.
2. 교점의 순서 매기기
격자 무늬의 직선들의 교점(intersections)을 과정1에서 계산한 직선의 순번을 이용하여 indexing한다. 빨간 세로선 0번과 파란 가로선 0번의 교점은 00번, 이런 식으로.
// index intersection points of lines in X and Y
CvPoint* indexIntersections ( line_param* lineX, line_param* lineY, int numLinesX, int numLinesY, IplImage* image )
// find intersections of lines, "linesX" & "linesY", and draw them in "image"
{
int numPoints = (numLinesX+1) * (numLinesY+1);
CvPoint *p = new CvPoint[numPoints]; // the intersection point of lineX[i] and lineY[j]
char txt[100]; // text to represent the index number of an intersection
입력 영상 input을 단일 채널 temp로 바꾸어 1차 DoG 필터링을 하여 검출된 edges를 양 방향 세기 비교와 NMS를 통해 수평 방향과 수직 방향으로 나눈 영상 detected edges를 입력으로 하여 Hough transform에 NMS를 적용하여 line detection을 한 결과를 input 창에 그리고, 이미지 프레임 좌표를 기준으로 검출된 직선들에 순서를 매겨 이로부터 교차점의 위치와 순번을 계산하여 input 창에 표시한다.
현재 상태의 문제점: (1) 패턴과 카메라 모두 정지하여 입력 영상(상좌)이 고정된 경우에, DoG 필터링한 결과(중)는 비교적 안정적이지만 수평, 수직 방향 세기 비교와 NMS를 통해 각 방향에 대해 뽑은 edges를 표시한 영상(하)은 프레임이 들어올 때마다 변화가 있다. 그래서 이 두 영상을 입력으로 하여 직선 찾기를 한 결과(상좌 빨간색 선들)와 이로부터 계산한 교차점들의 위치 및 순번(상좌 연두색 동그라미와 하늘색 숫자)도 불안정하다. (2) 또한 패턴과의 거리에 대해 카메라 렌즈의 초점이 맞지 않으면 결과가 좋지 않다.
/* Test: feature points identification in implementing a virtual studio
1) grid pattern design with cross ratios
2) lines detection by Hough transform with Non Maximum Suppression,
modifying cvHoughLines2() function in OpenCV library
#include <OpenCV/OpenCV.h> // framework on Mac
//#include <cv.h>
//#include <highgui.h>
//#include <cxmisc.h>
#include <iostream>
#include <vector>
using namespace std;
//#include "nms.h" // Non Maximum Suppression to extract vertical and horizontal edges separately
//#include "nmshough.h" // Hough transform with Non Maximum Suppression to detect lines
struct line_param // structure to contain parameters to define a line
{
// eqn of a line: a*x + b*y = rho, when a = cos(theta) & b = sin(theta)
float rho, theta;
float a, b;
float x0, y0; // x-intercept, y-intercepts
};
// rearrange vertical lines from left to right
void indexLinesY (vector<line_param>& line, CvSeq* lines, IplImage* image )
{
int numLines = lines->total; // total number of detected lines
line.resize(numLines); // define the size of "line" vector as "numLines"
char txt[100]; // text to represent the index number of an ordered line
// get "rho" and "theta" values of lines detected by Hough transform and NMS
for( int n = 0; n < numLines; n++ )
{
float* newline = (float*)cvGetSeqElem(lines,n);
line[n].rho = newline[0];
line[n].theta = newline[1];
}
// rearrange "line" array in geometrical order, that is, by values of x-intercept in the image frame coordinate
float temp_rho, temp_theta;
for( int n = 0; n < numLines-1; n++ )
{
for ( int k = n+1; k < numLines; k++ )
{
float x0_here = line[n].rho / cos(line[n].theta);
float x0_next = line[k].rho / cos(line[k].theta);
// rearrange horizontal lines from up to bottom
void indexLinesX (vector<line_param>& line, CvSeq* lines, IplImage* image )
{
int numLines = lines->total; // total number of detected lines
line.resize(numLines); // define the size of "line" vector as "numLines"
char txt[100]; // text to represent the index number of an ordered line
// get "rho" and "theta" values of lines detected by Hough transform and NMS
for( int n = 0; n < numLines; n++ )
{
float* newline = (float*)cvGetSeqElem(lines,n);
line[n].rho = newline[0];
line[n].theta = newline[1];
}
// rearrange "line" array in geometrical order, that is, by values of y-intercept in the image frame coordinate
float temp_rho, temp_theta;
for( int n = 0; n < numLines-1; n++ )
{
for ( int k = n+1; k < numLines; k++ )
{
float y0_here = line[n].rho / sin(line[n].theta);
float y0_next = line[k].rho / sin(line[k].theta);
// index intersection points of lines in X and Y
void indexIntersections (vector<CvPoint>& p, vector<line_param>& lineX, vector<line_param>& lineY, IplImage* image )
{ // find "p", intersections of lines, "linesX" & "linesY", and draw them in "image"
int numLinesX = lineX.size(), numLinesY = lineY.size(); // total number of detected lines
int numPoints = numLinesX * numLinesY; // total number of intersection of the lines
p.resize(numPoints); // define the size of "p" vector as "numPoints"
char txt[100]; // text to represent the index number of an intersection point
// calculate intersection points of vertical and horizontal lines
for( int i = 0; i < numLinesX; i++ )
{
for( int j = 0; j < numLinesY; j++ )
{
int indexP = numLinesY * i + j; // index number of intersection points in geometrical order
float Px = ( lineX[i].rho*lineY[j].b - lineY[j].rho*lineX[i].b ) / ( lineX[i].a*lineY[j].b - lineX[i].b*lineY[j].a ) ;
float Py = ( lineX[i].rho - lineX[i].a*Px ) / lineX[i].b ;
p[indexP].x = cvRound(Px);
p[indexP].y = cvRound(Py);
// display the points in an image
cvCircle( image, p[indexP], 3, CV_RGB(0,255,50) /* , <#int line_type#>, <#int shift#> */ );
sprintf(txt, "%d-%d", i, j); cvPutText(image, txt, p[indexP], &cvFont(0.7), CV_RGB(50,255,250));
}
}
return;
}
int main()
{
IplImage* iplInput = 0; // input image
IplImage* iplGray = 0; // grey image converted from input image
IplImage *iplTemp = 0; // converted image from input image with a change of bit depth
IplImage* iplDoGx = 0, *iplDoGxClone; // filtered image by DoG in x-direction
IplImage* iplDoGy = 0, *iplDoGyClone; // filtered image by DoG in y-direction
IplImage* iplEdgeX = 0, *iplEdgeY = 0; // edge-detected image by filtering in each direction, to be used as input in line-fitting
double minValx, maxValx; // minimum & maximum of pixel intensity values
double minValy, maxValy;
double minValt, maxValt;
int width, height; // window size of input frame
int kernel = 1; float edgethres; // parameters of NMS function
double rho = 0.8; // distance resolution in pixel-related units
double theta = 0.8; // angle resolution measured in radians
// "A line is returned by the function if the corresponding accumulator value is greater than threshold."
// int threshold = 24, rN = 5, tN = 5; // for grid pattern of 11x7 squares
int threshold = 20, rN = 5, tN = 5; // for grid pattern of lines with cross ratios
double h[] = { -1, -7, -15, 0, 15, 7, 1 }; // 1-D kernel of DoG filter
CvMat DoGx = cvMat( 1, 7, CV_64FC1, h ); // DoG filter in x-direction
CvMat* DoGy = cvCreateMat( 7, 1, CV_64FC1 ); // DoG filter in y-direction
cvTranspose( &DoGx, DoGy ); // transpose(&DoGx) -> DoGy
// output information of lines found by Hough transform with NMS
CvMemStorage* storageX = cvCreateMemStorage(0), *storageY = cvCreateMemStorage(0);
CvSeq* linesX = 0, *linesY = 0;
vector<CvPoint> p; // ordered intersection points on the "linesXorder" & "linesYorder"
// create windows
cvNamedWindow("input");
cvNamedWindow( "temp" );
char title_fx[200], title_fy[200];
sprintf(title_fx, "filtered image by DoGx");
sprintf(title_fy, "filtered image by DoGy");
cvNamedWindow(title_fx);
cvNamedWindow(title_fy);
char title_ex[200], title_ey[200];
sprintf(title_ex, "detected edges in x direction");
sprintf(title_ey, "detected edges in y direction");
cvNamedWindow(title_ex);
cvNamedWindow(title_ey);
// initialize capture from a camera
CvCapture* capture = cvCaptureFromCAM(0); // capture from video device #0
int frame = 0; // number of grabbed frames
while(1)
{
// get video frames from the camera
if ( !cvGrabFrame(capture) ) {
printf("Could not grab a frame\n\7");
exit(0);
}
else {
cvGrabFrame( capture ); // capture a frame
iplInput = cvRetrieveFrame(capture); // retrieve the caputred frame
cvSaveImage("original.bmp", iplInput);
if(iplInput) {
if(0 == frame) {
// create an image header and allocate the image data
iplGray = cvCreateImage(cvGetSize(iplInput), 8, 1);
iplTemp = cvCreateImage(cvGetSize(iplInput), IPL_DEPTH_32F, 1);
iplDoGx = cvCreateImage(cvGetSize(iplInput), IPL_DEPTH_32F, 1);
iplDoGy = cvCreateImage(cvGetSize(iplInput), IPL_DEPTH_32F, 1);
iplDoGyClone = cvCloneImage(iplDoGy), iplDoGxClone = cvCloneImage(iplDoGx);
iplEdgeX = cvCreateImage(cvGetSize(iplInput), 8, 1);
iplEdgeY = cvCreateImage(cvGetSize(iplInput), 8, 1);
width = iplInput->width, height = iplInput->height;
cvMoveWindow( "temp", 100+width+10, 100 );
cvMoveWindow( title_fx, 100, 100+height+30 );
cvMoveWindow( title_fy, 100+width+10, 100+height+30 );
cvMoveWindow( title_ey, 100, 100+(height+30)*2 );
cvMoveWindow( title_ex, 100+width+10, 100+(height+30)*2 );
}
// convert the input color image to gray one
cvCvtColor(iplInput, iplGray, CV_BGR2GRAY); // convert an image from one color space to another
cvSaveImage("gray.bmp", iplGray);
// convert one array to another with optional linear transformation
cvConvert(iplGray, iplTemp);
// increase the frame number
frame++;
}
// #1. DoG filtering
// convolve an image with the DoG kernel
// void cvFilter2D(const CvArr* src, CvArr* dst, const CvMat* kernel, CvPoint anchor=cvPoint(-1, -1)
cvFilter2D( iplTemp, iplDoGx, &DoGx ); // convolve an image with the DoG kernel in x-direction
cvFilter2D( iplTemp, iplDoGy, DoGy ); // convolve an image with the DoG kernel in y-direction
// convert negative values to positive to filter the image in reverse direction
cvAbs(iplDoGx, iplDoGx); cvAbs(iplDoGy, iplDoGy);
// normalize the pixel values
cvMinMaxLoc( iplDoGx, &minValx, &maxValx ); // find global minimum and maximum in image array
cvMinMaxLoc( iplDoGy, &minValy, &maxValy );
cvMinMaxLoc( iplTemp, &minValt, &maxValt );
cvScale( iplDoGx, iplDoGx, 1.0 / maxValx );
cvScale( iplDoGy, iplDoGy, 1.0 / maxValy );
cvScale( iplTemp, iplTemp, 1.0 / maxValt );
// display windows
cvShowImage( "temp", iplTemp );
cvShowImage( title_fx, iplDoGx ); cvShowImage( title_fy, iplDoGy );
// save images to files
cvSaveImage("temp.bmp", iplTemp);
cvSaveImage("DoGx.bmp", iplDoGx); cvSaveImage("DoGy.bmp", iplDoGy);
// #2. separate selected edges into vertical and horizontal
// arrange vertical lines from left to right
cout << "vertical" << endl;
indexLinesY(linesYorder, linesY, iplInput );
// arrange horizontal lines from up to bottom
cout << "horizontal" << endl;
indexLinesX(linesXorder, linesX, iplInput );
// calculate and index intersection points
indexIntersections(p, linesXorder, linesYorder, iplInput);
CMLA2008-15.pdf
cvcalibration.cpp
, or to use multi-channel 
bestPatternHorizonal.txt
