[파이썬] pickle module (Deserialize 취약점)

1. Serialization & Deserialization

파이썬의 pickle 모듈은 객체 구조의 직렬화(serialization)와 역직렬화(deserialization)를 위한 바이너리 프로토콜을 구현하기 위해 사용한다. 쉽게 말해, pickle 모듈은 파이썬 객체를 저장하거나 전송하기 위해 변환하고, 다시 그 객체로 복원하는 데 사용되는 도구이다.

• serialization : 파이썬 객체 계층 구조 -> 바이트 스트림 = pickling
• deserialize : 바이트 스트림 -> 파이썬 객체 계층 구조  = unpickling

즉, 직렬화를 하는 이유는 데이터를 파일/DB에 저장하거나 또는 세션에 걸쳐 프로그램을 상태를 유지하거나, 네트워크를 통해 데이터를 전공하기 위해서이다. 

 

2. Pickle 모듈

pickle 모듈의 인터페이스

• pickle.dump(obj, file)
  • 객체 obj를 피클링(pickling)하여 열린 파일 객체 file에 쓴다.
  • 즉, 객체를 파일로 저장한다.
• pickle.dumps(obj) 
  • 객체 obj를 피클링하여 파일에 쓰는 대신 바이트 객체(bytes)로 반환한다.
  • 즉, 객체를 메모리 내에서 바이너리 데이터로 변환한다.
• pickle.load(file)
  • 열린 파일 객체 file에서 피클링된 표현을 읽고, 그 안에 지정된 객체 계층 구조를 재구성하여 반환한다.
  • 즉, 파일에서 데이터를 읽어 원래 객체로 복원한다.
• pickle.loads(data)
  
  • 피클된 데이터(data)를 읽어 원래 객체 계층 구조로 복원한다
  • 즉, 메모리 내에서 바이너리 데이터를 읽어 원래 객체로 복원한다.

피클링 된 결과는 pickletools로 디스어셈블하여 구조를 쉽게 파악해볼 수 있다.

• 0: \x80 PROTO 4 -> 프로토콜 버전 4(파이썬 버전)를 사용하여 직렬화되었음을 나타냄
  • \x80는 PROTO opcode이고, 4는 프로토콜 버전

• 2: FRAME 8 -> 다음에 오는 8바이트가 하나의 프레임을 형성함
  • 이는 데이터 스트림의 나머지 부분을 포함하는 프레임의 시작을 표시한다.

• 11: \x8c SHORT_BINUNICODE ‘mnzy’ -> 짧은 유니코드 문자열을 나타냄.
  •  \x8c는 SHORT_BINUNICODE opcode이고, 'mnzy'는 직렬화된 유니코드 문자열이다.
  • 이 opcode는 255바이트 이하의 유니코드 문자열을 효율적으로 직렬화하는 데 사용된다.

• 17: \x94 MEMOIZE (as 0) ->  직렬화된 객체를 메모리의 특정 위치(0번 인덱스)에 저장한다.
  • 이는 이후에 해당 객체를 다시 사용할 때 메모리에서 가져오기 위해 사용된다.

• 18: . STOP -> 직렬화 데이터의 끝을 나타낸다.
  • 이는 직렬화된 데이터 스트림의 끝을 표시한다.

 

3. Deserialize 취약점

pickle 모듈은 다양한 메서드를 지원하는데, 이 중 object.__reduce__() 메서드에서 취약점이 발생할 수 있다.

__reduce__() 메서드

•  __reduce__() 메서드는 파이썬 객체 계층 구조를 역직렬화(unpickling)할 때 객체를 재구성하는 데 사용되는 튜플을 반환하는 메서드이다.이는 객체를 어떻게 재구성할지에 대한 정보를 제공한다.

 

pickling된 바이트 스트림을 unpickle할 때, pickle 모듈은 먼저 original object의 인스턴스를 만들고 나서 그 인스턴스를 올바른 데이터로 채운다.

이를 위해서 바이트 스트림에는 original object 인스턴스에 특정된 데이터만을 포함한다. 

이때, unpickle을 성공적으로 하기 위해서는 객체를 어떻게 재구성할지를 정의하는 명령 피연산자(operations)와 명령어들이 포함되어 있어야 하는데, 이 명령 피연산자와 명령어들은 __reduce__() 메서드에서 반환되는 정보들이다. 

 

__ruduce__() 메서드의 리턴값은 보통 2개의 인자를 가지고 있다. (unpickle할 때 사용할 정보)

• 호출 가능한 객체
• 호출 가능한 객체에 대한 인자. 호출 가능한 객체가 인자를 받아들이지 않으면 빈 튜플을 제공해야 한다. 

이때, __ruduce__() 메서드에서 호출 가능한 객체에 eval 또는 os와 같이 명령어를 실행할 수 있도록 클래스를 임의로 지정할 수 있다면, 

이로 인해 RCE와 같은 보안 취약점이 발생할 수 있다. 

 

예제

(1) ExploitClass 클래스의 __reduce__() 메서드를 통해 os.system 함수를 호출하고, 인수로 echo "This is a RCE vulnerability!" 명령을 전달한다. __reduce__()는 객체를 직렬화할 때 호출된다. 

(2) ExploitClass 객체를 생성하고, 이를 pickle.dumps() 함수를 사용해 직렬화한다. 직렬화된 바이트 스트림이 serialized_exploit_obj에 저장된다. 

(3) pickle.loads() 함수를 사용해 직렬화된 객체를 역직렬화한다. 이 과정에서 __reduce__() 메서드가 호출되고, os.system('echo "This is an RCE vulnerability!"')이 실행된다.

5. 결과적으로, "This is a RCE vulnerability!" 메시지가 출력된다.

import pickle
import pickletools
import os

class ExploitClass:
    def __reduce__(self):
        # os.system을 사용하여 임의의 명령을 실행합니다.
        return (os.system, ('echo "This is a RCE vulnerability!"',))

# 객체 생성 및 직렬화
exploit_obj = ExploitClass()
serialized_exploit_obj = pickle.dumps(exploit_obj)
print("Serialized exploit object:", serialized_exploit_obj)
pickletools.dis(serialized_exploit_obj)


# 객체 역직렬화 (악의적인 명령 실행)
pickle.loads(serialized_exploit_obj)

 

즉, pickle이 객체를 재구성할 때, __reduce__() 메서드에서 반환된 첫 번째 요소(os.system)를 호출하고, 두 번째 요소 ('echo "This is an RCE vulnerability!"',) 를 그 인수로 전달하는 것이다. 그 결과 임의의 명령어가 실행되는 것을 확인할 수 있다. 

 

[참고]

https://rootable.tistory.com/entry/python-deserialize-vulnerability-in-pickle-modulehttps://docs.python.org/ko/3/library/pickle.html

https://hoppipolla0507.tistory.com/22