함수 호출 규약/Lena's Reversing for Newbies

1. 함수 호출 규약 

(1) Calling Convention(함수 호출 규약)

- '함수를 호출할 때 파라미터를 어떤 식으로 처리할까?'에 대한 일종의 약속

- 함수 호출 전에 파라미터를 스택을 통해서 전달한다. 

- 스택이란 프로세스에서 정의된 메모리 공간이며 아래 방향(주소가 줄어드는 방향)으로 자란다. 또한 PE 헤더에 그 크기가 명시되어 있다. 

- 즉, 프로세스가 실행될 때 스택 메모리의 크기가 결정된다 

 

• 그렇다면, 함수가 실행 완료되었을 때 스택에 들어있던 파라미터는 어떻게 될까?
  • 그대로 둔다.
  • 스택에 저장된 값은 임시로 사용하는 값이기 때문에 더 이상 사용하지 않는다고 하더라도 값을 지우거나 하면 불필요하게 CPU 자원을 소모한다. 어차피 다음에 스택에 다른 값을 입력할 때 저절로 덮어쓰이는 데다가 스택 메모리는 이미 고정되어 있기 때문에 메모리 해제를 할 수 없고 할 필요도 없다. 

 

• 함수가 실행 완료되었을 때 ESP(스택 메모리)는 어떻게 되나요
  • ESP 값은 함수 호출 전으로 복원되어야 한다. 그래야 참조 가능한 스택의 크기가 줄어들지 않는다.
  • 스택 메모리는 고정되어 있고, ESP로 스택의 현재 위치를 가르키는데, 만약 ESP가 스택의 끝을 가르킨다면 더 이상 스택을 사용할 수 없다. 함수 호출 후에 ESP를 어떻게 정리하는지에 대한 약속이 바로 함수 호출 규약이다. 

 

- 주요 함수 호출 규약 

• cdecl
• stdcall
• fastcall

* 참고

• Caller (호출자)
• Callee(피호출자)
• 예를 들어, main() 함수에서 printf()함수를 호출했다면 Caller는 main()이고, Callee는 printf()이다.

(2) cdecl

• 주로 C언어에서 사용되는 방식이며, Caller에서 스택을 정리하는 특징을 가지고 있다.

#include "stdio.h"

int add(int a, int b)
{
	return (a+b);
}

int main(int argc, char* argv[])
{
	return add(1,2);
}

 

• add() 함수의 파라미터 1, 2를 역순으로 스택에 입력(PUSH)하고, add() 함수(401000)를 호출한 후 ADD ESP, 8 명령으로 스택을 정리하고 있다
• 이처럼 Caller인 main() 함수가 스택에 입력한 함수 파라미터를 직접 정리하는 방식이 cdecl이다.

 

 

(3) stdcall

• Win32 API에서 사용되며, Callee에서 스택을 정리하는 것이 특징이다.
• C언어는 기본적으로 cdecl 방식이지만, stdcall 방식으로 컴파일하고 싶을 때는 '_stdcall' 키워드를 붙여주면 된다.

#include "stdio.h"
int _stdcall add(int a, int b)
{
    return (a + b);
}
int main(int argc, char* argc[])
{
    return add(1, 2);
}

 

• 이뮤니티 디버거로 디버깅한 코드를 보면 main() 함수에서 add() 함수를 호출 하고 난 뒤에 스택 정리 코드(ADD ESP, 8)가 생략되어 있다.
  
  • 스택의 정리는 add() 함수의 마지막 RETN 8 명령에서 수행된다
  • RETN 8의 의미는 RETN + POP 8바이트로, 리턴 후 지정된 크기만큼 ESP를 증가시키는 것이다
• 이처럼 Callee인 add() 함수 내부에서 스택을 정리하는 방식이 stdcall 방식이다.
• ​stcall 방식의 장점은 호출되는 함수(Callee) 내부에 스택 정리 코드가 존재하므로 함수를 호출할 떄마다 ADD ESP, XXX 명령을 써줘야 하는 cdecl 방식에 비해서 코드 크기가 작아진다
• Win32 API는 C언어로 된 라이브러리이지만, 기본 cdecl 방식이 아닌 stdcall 방식을 사용한다
  • 이는 C 이외의 다른 언어에서 API를 직접 호출할 때 호환성을 좋게 하기 위해서이다.

 

(4) fastcall

• 기본적으로 stdcall 방식과 같지만, 함수에 전달하는 파라미터 일부를 스택 메모리가 아닌 레지스터를 이용하여 전달한다는 것이 특징이다
  • 어떤 함수 파라미터가 4개면, 앞의 두개의 파라미터는 각각 ECX, EDX 파라미터를 이용하여 전달한다.
  • 이름 그대로 조금 더 빠른 함수 호출이 가능하다 (CPU 입장에서는 멀리 있는 메모리보다 CPU와 붙어 있는 레지스터에 접근하는 것이 훨씬 빠름)
  • 하지만, 호출 자체만 보면 빠르지만, ECX, EDX 레지스터를 관리하는 추가적인 오버헤드가 필요한 경우가 있다. 
  • 또한, 함수 내용이 복잡하다면 ECX,EDX 레지스터를 다른 용도로 사용할 필요가 있을 때 역시 이들이 가지고 있는 파라미터 값을 어딘가에 따로 저장해야 한다. 

---

2. Lena's Reversing for Newbies​

https://tuts4you.com/

Tuts 4 You

 

(1) 실행 

 

- 메시지 박스가 뜨며 두가지를 지시한다.

• Nags를 없애라 //해당 메시지 박스가 Nag Screen인 것을 보아, 해당 메시지 박스를 제거하라는 이야기라고 추측 가능
• 맞는 registration code를 찾아라 

 

• 확인을 눌러보면 Regcode를 입력하는 칸을 확인할 수 있다.
• 파란글씨를 읽어보면 SmartCheck을 이용하라고 되어있다
  • SmartCheck이란, registration을 위해 Numega 사에서 만든 유틸리티이며, 크래커들이 애용하는 툴 중 하나이다.

 

(2) 분석

 

- 목표1: 메시지 박스 제거 

 

 

- 이전에 'abex crackme2'에서 보았던 visual basic 코드이다. //401162주소와 MSVBM50.ThunRTMain이 보인다. 

 

• 메시지 박스 제거를 위해서는 메시지 박스 호출 부분을 조작하면 될 것이다. visual basic에서 메시지 박스 출력 함수는 MSVBM50.rtcMsgBox 이다.
• search for - All intermodular calls (프로그램에서 사용되는 API 호출 목록)  - Destination 선택 (함수 이름 순으로 정렬)
  • rtcMsgbox는 총 4군데에서 호출되는 것을 알 수 있다. 

 

• 마우스 우측 클릭 - set breakpoint on every call to rtcMsgBox (rtcMsgBox가 호출되는 모든 코드에 Breakpoint 설치)

 

• 그 상태로 F9로 실행을 시킨다
  • 402CFE에서 실행이 멈추는데, 조금 위로 스크롤을 올려보면 메시지 박스의 문자열이 보인다.
  • 즉, 이 부분이 프로그램이 시작할 때 나타나던 메시지 박스를 출력하는 코드라는 것이다, 
• 계속 F9를 통해서 실행시켜보면, 메시지 박스가 나타나고, 확인을 선택하면 메인 화면이 나타난다. 
• 또 추가로, 메인 화면에서 Nag? 버튼을 누르면 402CFE에서 실행이 멈춘다. 
• 따라서 메시지 박스는 모두 한 코드에서 실행되었다는 것을 알 수 있으므로, 메시지 박스를 제거하기 위해서는 한 군데만 패치하면 될 것이다

 

 

(3) 패치①: 메시지 박스 제거 

//패치하는 방법은 여러가지가 있을 수 있다. 

 

- 1차 시도

: 402CFE 주소의 CALL 명령어 수정 

• ADD ESP,14
  • rtcMsgBox()에 전달되는 파라미터의 크기(14)만큼 스택을 정리하라는 의미
  • 나머지 2 바이트만큼 NOP으로 채워서 코드가 깨지지 않도록 함 //원래 CALL 명령어의 크기: 5 바이트, ADD 명령어 3 바이트를 쓰고 나면 2바이트가 남는다. 
• 결과 - 에러 발생
  • 이유: rtcMsgBox()  함수의 리턴값을 제대로 처리하지 못했기 때문

- 2차 시도

 

• 스크롤을 올라가다보면 402C17 주소에 스택 프레임의 Prologue를 확인할 수 있다
• rtcMsgBox 함수 호출 코드 역시 다른 함수 내부에 속해 있는 코드이다. 따라서, 상위 함수를 호출하지 못하게 하거나 아니면 바로 리턴해버리면 결국 rtcMsgBox()함수는 호출되지 않을 것이다. 

 

• 402C17 명령어를 수정해서 바로 리턴해버리도록 한다.

 

 

(4) Registration Code 찾기

 

• 아무 값이나 입력하면 경고창이 뜬다. 해당 문자열을 검색해본다 (search for - All referenced text strings)

 

 

• -마우스를 더블클릭하여 해당 주소로 이동한다. 

 

 

• 스크롤을 조금 올려보면 "I'mlena151" 이라는 문자열과 그 밑의 __vbaStrCmp() 함수 호출 코드가 있다. 
  • __vbaStrCmp() API는 문자열을 비교하는 함수이다. 즉, "I'mlena151"  문자열과 사용자가 입력한 문자열을 비교하는 것이다. 

 

• 정확한 확인을 위해 스크롤을 더 올려보면 성공 메시지 박스를 확인할 수 있다

 

• 4028BD 주소에 "I'mlena151" 문자열이 있고, 그 밑에 __vbaStrCmp() 함수가 존재한다. 
• 따라서, RegCode는 "I'mlena151" 이 확실한 것을 알 수 있다.