[리버싱 핵심원리] DLL injection 예제 코드 해설

Windows 메시지 후킹

Hookmain.cpp

//HookMain.cpp 
#include "stdio.h" 
#include "conio.h" 
#include "windows.h" 

#define DEF_DLL_NAME "KeyHook.dll" 
#define DEF_HOOKSTART "HookStart" 
#define DEF_HOOKSTOP "HookStop" 

typedef void(*PFN_HOOKSTART)(); 
typedef void(*PFN_HOOKSTOP)(); 

void main() { 
	HMODULE hDll = NULL; 
    
    PFN_HOOKSTART HookStart = NULL; 
    PFN_HOOKSTOP HookStop = NULL; 
    char ch = 0; 
    
    hDll = LoadLibraryA(DEF_DLL_NAME); 
    
    HookStart = (PFN_HOOKSTART)GetProcAddress(hDll, DEF_HOOKSTART); 
    HookStop = (PFN_HOOKSTOP)GetProcAddress(hDll, DEF_HOOKSTOP); 
    
    HookStart(); 
    
    printf("press 'q' to quit!\n"); 
    
    while(_getch() != 'q'); 
    HookStop(); 
    
    FreeLibrary(hDll); 
}

01) Preprocessor - 전처리

#include "stdio.h" 
#include "conio.h" 
#include "windows.h" 

#define DEF_DLL_NAME "KeyHook.dll" 
#define DEF_HOOKSTART "HookStart" 
#define DEF_HOOKSTOP "HookStop"

[#include "HeaderName"]
HookMain.cpp에서 사용되는 함수들과 그 함수가 정의된 헤더파일입니다.
stdio.h: printf()
conio.h: _getch()
windows.h: LoadLibraryA(), GetProcAddress(), FreeLibrary()

#define DEF_DLL_NAME "KeyHook.dll" 
#define DEF_HOOKSTART "HookStart" 
#define DEF_HOOKSTOP "HookStop"

[#define identifier token-string]
#define 지시문을 통해 컴파일러는 모든 identifier를 token-string으로 대체합니다.
위의 코드처럼, #define DEF_DLL_NAME "KeyHook.dll" 이라는 전처리 지시문을 예로 들어보겠습니다.
컴파일 후 코드 내 모든 DEF_DLL_NAME은 "KeyHook.dll" 이라는 문자열로 대체되어 나오기 때문에, hDll = LoadLibraryA(DEF_DLL_NAME); 이라는 구문은 후에 hDll = LoadLibraryA("KeyHook.dll"); 로 바뀌게 되는 것입니다.

[한줄요약]
#include "헤더파일" => 헤더파일 링크
#define A B => 코드 내 모든 A는 컴파일 시 B로 바뀜

02) typedef - 형식 정의

typedef void(*PFN_HOOKSTART)(); 
typedef void(*PFN_HOOKSTOP)();

[typedef type-specifier identifier;]
typedef는 기존 형식의 동의어나 다른 방식으로 지정할 수 있는 형식의 이름을 만듭니다.
말이 좀 어려운데, type-specifier에게 identifier라는 별칭을 붙여주는 겁니다.

//        ↓ 반환값 자료형 
 typedef void (*PFN_HOOKSTART)(); // PFN_HOOKSTART를 함수 포인터 별칭으로 정의 
//              ↑ 함수 포인터 별칭

위 코드에서는 반환값 자료형이 void인 (반환 자료형이 없는) 함수 포인터에게 PFN_HOOKSTART라는 별칭을 붙여줬습니다. 이러한 방식은 void (*PFN_HOOKSTART)();라 일일이 자료형을 명시해야 하는 full pointer type 의 사용을 줄이기 위해 사용합니다. 짱짱.

[한줄요약]
typedef 자료형 (*별칭)(인자 타입, 인자 타입...); => 함수 별칭으로 함수 포인터 선언 가능(편함)

03-0) main - 변수 정의

HMODULE hDll = NULL; 

PFN_HOOKSTART HookStart = NULL; 
PFN_HOOKSTOP HookStop = NULL; 
char ch = 0;

HMODULE: dll의 인스턴스 핸들입니다. dll 파일 이미지가 매핑된 가상 메모리 주솟값입니다.
(출처: 수까락의 프로그래밍 이야기)
이 타입의 변수는 후에 GetProcAddress()의 첫번째 인자로 들어갑니다.
PFN_HOOKSTART와 PFN_HOOKSTOP 자료형의 변수가 각각 선언된 것을 볼 수 있는데, 앞의 typedef 구문으로 미루어보아 이는 그냥 void형 함수 포인터를 선언했다고 보아도 무관합니다.

각 변수의 쓰임에 대해 정리하자면..

hDll: LoadLibraryA()를 통해 "KeyHook.dll"의 핸들 값을 갖게 됨, GetProcAddress() 의 첫 인자로 쓰임
HookStart: KeyHook.dll 내의 HookStart() 함수를 가리키는 함수 포인터
HookStop: KeyHook.dll 내의 HookStop() 함수를 가리키는 함수 포인터
ch: ??

03-1) main - LoadLibraryA()

hDll = LoadLibraryA(DEF_DLL_NAME);

DEF_DLL_NAME (컴파일을 거치며 "KeyHook.dll"로 변경) 이라는 DLL을 로드하고, hDll에 "KeyHook.dll"에 대한 핸들 값을 줍니다.

03-2) main - GetProcAddress

HookStart = (PFN_HOOKSTART)GetProcAddress(hDll, DEF_HOOKSTART); 
HookStop = (PFN_HOOKSTOP)GetProcAddress(hDll, DEF_HOOKSTOP);

먼저 GetProcAddress라는 함수를 살펴보도록 합시다. (msdn은 여기)

FARPROC GetProcAddress(HMODULE hModule, LPCSTR lpProcName);

원형은 이렇게 생겼습니다.
첫 인자 hModule에는 LoadLibraryA()의 반환 값을 넣어주면 됩니다.
두 번째 인자 lpProcName는 찾을 함수 이름 정도로 생각합시다.
이 함수는 export 함수 주소를 얻기 위해 사용됩니다.

GetProcAddress()로 함수 주소를 얻어오기 위해서는 적절한 형 변환을 거쳐야 합니다.
위에서는 PFN_HOOKSTART/PFN_HOOKSTOP 타입으로 형태를 변환합니다.
(이는 아까 typedef에서 명시되었듯 void형 함수포인터로 생각하셔도 무관합니다.)

dll을 로드하고, 로드된 dll 내에서 사용할 함수의 주소를 구했으니 이제 함수를 사용할 일만 남았습니다.

03-2) main - export 함수 사용

HookStart(); 
printf("press 'q' to quit!\n"); 

while(_getch() != 'q'); 
HookStop(); 

FreeLibrary(hDll);

PFN_HOOKSTART 형의 함수 포인터 HookStart()는 위의 과정을 거쳐 구한 KeyHook.dll의 HookStart 함수를 가리킵니다.
HookStart()를 호출해 후킹을 시작합니다.

while(_getch() != 'q'); 부분을 봅시다.
간단하게, q를 입력하지 않으면 HookStart() 함수가 끝나지 않는다는 의미입니다.
('q'를 입력하면 while문 아래의 HookStop() 함수를 호출합니다.)

마찬가지로 KeyHook.dll 내 HookStop() 함수의 주소를 담고 있는 PFN_HOOKSTOP 형의 함수 포인터 HookStop()을 호출합니다. (이 함수는 후킹을 중단하는 역할을 합니다.)
후킹을 종료한 후, 로드한 KeyHook.dll을 언로드 하기 위해 FreeLibrary() 함수를 사용합니다.
FreeLibrary()의 인자로는 언로드 할 dll의 핸들 값을 넘겨주면 됩니다.
(LoadLibrary() 호출로 얻은 반환 값을 FreeLibrary() 인자로 넣어주면 해제할 수 있습니다.)

다음으로는 KeyHook.dll (KeyHook.cpp) 의 코드를 살펴보도록 하겠습니다.
처음에는 다소 복잡하다고 느낄 수 있으나, 차근차근 해석해본다면 전혀 어렵지 않습니다.

KeyHook.cpp (KeyHook.dll)

//KeyHook.cpp 
#include "stdio.h" 
#include "windows.h" 
#define DEF_PROCESS_NAME "notepad.exe" 

HINSTANCE g_hInstance = NULL; 
HHOOK g_hHook = NULL; 
HWND g_hWnd = NULL; 

BOOL WINAPI DllMain(HINSTANCE hinstDLL, DWORD dwReason, LPVOID lpvReserved) {
	switch( dwReason) {
    	case DLL_PROCESS_ATTACH: 
        	g_hInstance = hinstDLL; 
            break; 
        
        case DLL_PROCESS_DETACH: 
        	break; 
    } 
    
    return TRUE; 
} 

LRESULT CALLBACK KeyboardProc(int nCode, WPARAM wParam, LPARAM lParam) { 
	char szPath[MAX_PATH] = {0, }; 
    char *p = NULL; 
    
    if( nCode >= 0 ) { //bit 31: 0 = key press, 1 = key release 
    	if( !(lParam & 0x80000000) ) { 
        	GetModuleFileNameA(NULL, szPath, MAX_PATH); 
            p = strrchr(szPath, '\\'); 
            if( !_stricmp(p+1, DEF_PROCESS_NAME)) { 
            	return 1; 
            } 
        } 
    } 
    
    return CallNextHookEx(g_hHook, nCode, wParam, lParam); 
} 

#ifdef __cplusplus 
extern "C" { 
#endif
    __declspec(dllexport) void HookStart() {
    	g_hHook = SetWindowsHookEx(WH_KEYBOARD, KeyboardProc, g_hInstance, 0); 
    } 
    __declspec(dllexport) void HookStop() { 
    	if(g_hHook) { 
        	UnhookWindowsHookEx(g_hHook); 
            g_hHook = NULL; 
        } 
    } 
#ifdef __cplusplus 
} 
#endif

dll이 로드되면 가장 먼저 DllMain()이 호출되므로 dll injection이 가능해집니다.

01) Preprocessor - 전처리

#include "stdio.h" 
#include "windows.h" 

#define DEF_PROCESS_NAME "notepad.exe"

[#include "HeaderName"]
stdio.h 와 windows.h 헤더파일을 포함해줍니다.

[#define identifier token-string]
컴파일을 거치며 코드 내 모든 DEF_PROCESS_NAME은 "notepad.exe"로 변경됩니다.

02) 변수 정의

HINSTANCE g_hInstance = NULL; 
HHOOK g_hHook = NULL; 
HWND g_hWnd = NULL;

생소한 자료형이 꽤나 보입니다.
HINSTANCE(Handle Instance): 프로그램의 인스턴스 식별자(핸들)
HHOOK: Hook 핸들, 이벤트가 발생하면 Hook Chain의 첫 훅 핸들에게 이벤트를 전달하고, 각 훅은 다음 훅을 호출하여 Chain에 있는 모든 훅 프로시저를 호출함
HWND: (Handle Windows): 윈도우의 핸들 번호, HINSTANCE는 인스턴스(실행중인 창)의 핸들을 갖지만 HWND는 윈도우 자체의 핸들을 갖는다는 차이가 있음

변수의 쓰임을 추려본다면
g_hInstance: 훅 프로시저가 속해 있는 dll 핸들을 갖게 되며, 후에 SetWindowsHookEx()의 세 번째 인자로 전달됨
g_hHook: SetWindowsHookEx() 함수의 리턴 값(처리 중인 훅 핸들)을 갖고 CallNextHookEx()의 첫 번째 인자로 전달됨
g_hWnd: ??

03) DllMain()

BOOL WINAPI DllMain(HINSTANCE hinstDLL, DWORD dwReason, LPVOID lpvReserved) { switch( dwReason) { case DLL_PROCESS_ATTACH: g_hInstance = hinstDLL; break; case DLL_PROCESS_DETACH: break; } return TRUE; }

DllMain 함수의 인자부터 살펴보겠습니다.

hinstDLL: dll이 가상 메모리 주소에 매핑되었을 때의 핸들(dll의 인스턴스 핸들)
dwReason: dll이 호출된 이유(타이밍)
ex) DLL_PROCESS_ATTACH: dll이 프로세스의 주소 공간에 매핑되었을 때
DLL_PROCESS_DETACH: dll이 프로세스의 주소 공간에서 해제되었을 때
이 외에도 DLL_THREAD_ATTACH, DLL_THREAD_DETACH가 있음
lpvReserved: 함수가 어느 dll에 속해있는지 밝히지 않고 사용할 시 TRUE, 밝히고 사용할 시 FALSE

DllMain 함수의 코드를 간략하게 설명하자면
dll이 프로세스의 주소 공간에 매핑되었을 때는 g_hInstance에게 dll의 인스턴스 핸들을 넘겨주고, dll이 프로세스의 주소 공간에서 해제되었을 때는 그냥 switch문을 빠져나와 TRUE 값을 반환하는 것입니다.

03) LRESULT CALLBACK KeyboardProc()

LRESULT CALLBACK KeyboardProc(int nCode, WPARAM wParam, LPARAM lParam) { char szPath[MAX_PATH] = {0, }; char *p = NULL; if( nCode >= 0 ) { //bit 31: 0 = key press, 1 = key release if( !(lParam & 0x80000000) ) { GetModuleFileNameA(NULL, szPath, MAX_PATH); p = strrchr(szPath, '\\'); if( !_stricmp(p+1, DEF_PROCESS_NAME)) { return 1; } } } return CallNextHookEx(g_hHook, nCode, wParam, lParam); }

키보드 이벤트가 발생하였을 때 처리 방식을 결정하는 함수입니다.
CALLBACK이라는 이름으로 미루어보아, 다른 함수의 인자로 들어간다는 걸 알 수 있습니다.

nCode: 훅 프로시저가 메시지를 처리하는 방법을 결정하는 데 사용하는 코드, 이 값이 0보다 작으면 CallNextHookEx()로 다음 훅에 메시지를 전달함
wParam: 이 코드에서는 virtual-key code로 사용됨
lParam: 추가 정보, 여기서는 키 press 여부를 판단하기 위해 사용됨

szPath: 현재 실행중인 파일의 경로를 담음
p: strrchr()의 리턴 값, szPath의 모듈 이름에서 '\\'의 뒷 부분만을 담음

코드를 간단하게 해설하자면...
nCode가 0보다 작으면 CallNextHookEx()로 메시지를 훅 체인의 다음 훅으로 전달합니다.
nCode가 0보다 크거나 같다면, 그리고 키가 눌려 있을 때 (lParam의 31번째 비트에 이에 관한 정보가 있는데, 이를 0x80000000와 AND 연산을 거쳐 알아낼 수 있음, 0 = pressed, 1 = released) GetModuleFileNameA()로 szPath 변수에 파일의 경로를 담아줍니다. 후에 strrchr 함수를 통해 포인터 p에 '\파일이름'이라는 문자열이 들어갑니다. 아래는 경로 처리 과정의 이해를 돕기 위한 예제입니다.

보시다시피, strrchr 함수로 경로를 가공했음에도 파일 이름 앞에 \이 붙어 나오는 걸 확인할 수 있습니다.
뭐 그래서, 다음 줄에 p+1의 포인터 연산을 통해 \ 문자를 제거한 순수 파일 이름만 남겼는데.. 이게 DEF_PROCESS_NAME("notepad.exe")와 같다면 1을 리턴합니다. if문의 조건에 하나라도 부합하지 않는다면, CallNextHookEx()로 메시지를 다음 훅에게 넘깁니다.

04) HookStart(), HookStop()

#ifdef __cplusplus extern "C" { #endif __declspec(dllexport) void HookStart() { g_hHook = SetWindowsHookEx(WH_KEYBOARD, KeyboardProc, g_hInstance, 0); } __declspec(dllexport) void HookStop() { if(g_hHook) { UnhookWindowsHookEx(g_hHook); g_hHook = NULL; } } #ifdef __cplusplus } #endif

#ifdef __cplusplus
extern "C" {
#endif
.
.
.
#ifdef __cplusplus
}
#endif

위 코드는 C++ 컴파일러에게 이러한 형식 사이의 구문을 C 문법을 적용해 컴파일 하라고 알려주는 역할을 합니다. 그래서 이게 왜 필요한가? C++의 추상화 개념 때문에 그렇다고 합니다.
KeyHook.cpp은 C++로 작성된 것이지만 이 부분만은 C의 문법을 적용해 컴파일 됩니다.

HookStart()부터 봅시다.
__declspec은 함수에 대한 정보를 나타내는 선언문입니다.
__declspec(dllexport)는 정의된 함수가 dll에서 export 되는 함수라는 뜻입니다.
기억하실지는 모르겠지만 앞서 HHOOK 타입의 g_hHook 변수는 SetWindowsHookEx()의 리턴 값(훅 핸들)을 갖는다고 말씀드렸습니다. 암튼 그래서 g_hHook은 훅 핸들을 갖게 됩니다.

HHOOK SetWindowsHookExA( int idHook, HOOKPROC lpfn, HINSTANCE hmod, DWORD dwThreadId );

원형은 이렇게 생겼습니다.
idHook: 후킹할 타입, 위 코드선 WH_KEYBOARD를 idHook으로 주었으므로 키보드를 후킹할 것임
lpfn: 훅 프로시저의 함수 포인터. 아까 살펴본 KeyboardProc을 lpfn으로 넘겨서 씀
hmod: lpfn의 후킹 함수가 들어있는 모듈의 주소. 인자로 g_hInstance가 넘어가는데, 이 g_hInstance는 DllMain()이 DLL_PROCESS_ATTACH로 실행되었을 때 hinstDLL 값을 가짐
dwThreadId: 후킹할 대상의 스레드 id, 이 값이 0이라면 데스크탑의 모든 스레드를 포함하는 전역 후킹이 이루어진다.

이렇게 해서 notepad.exe의 메시지 후킹이 이루어집니다.
글은 추후에 더 정리해보도록 하겠습니다.