Win32 API의 W(유니코드) 버전은 UCS-2일까요? UTF-16 인코딩일까요?
Win32 API는 "문자열" 타입이 관련되면 "A" 버전과 "W" 버전으로 나뉩니다. 가령 아래의 GetModuleFileName 함수는,
GetModuleFileNameA function (libloaderapi.h)
; https://learn.microsoft.com/en-us/windows/win32/api/libloaderapi/nf-libloaderapi-getmodulefilenamea
GetModuleFileNameW function (libloaderapi.h)
; https://learn.microsoft.com/en-us/windows/win32/api/libloaderapi/nf-libloaderapi-getmodulefilenamew
A/W 버전에 따라 각각 LPSTR, LPWSTR로 나뉘고,
DWORD GetModuleFileNameA([in, optional] HMODULE hModule, [out] LPSTR lpFilename, [in] DWORD nSize);
DWORD GetModuleFileNameW([in, optional] HMODULE hModule, [out] LPWSTR lpFilename, [in] DWORD nSize);
결국 1바이트 char, 2바이트 wchar_t의 차이에 해당합니다.
// C:\Program Files (x86)\Windows Kits\10\Include\10.0.22621.0\um\winnt.h
typedef char CHAR;
typedef _Null_terminated_ CHAR *NPSTR, *LPSTR, *PSTR;
typedef wchar_t WCHAR;
typedef _Null_terminated_ WCHAR *NWPSTR, *LPWSTR, *PWSTR;
여기서 W 버전은 유니코드 문자열을 처리하기 위한 버전인데요, 그렇다면 마이크로소프트는 어떤 인코딩을 사용해 W 버전을 처리하는 것일까요?
종종 웹상의 자료를 읽다보면, 어떤 문서를 보면 UCS-2라고 나오고, 어떤 문서에는 UTF-16이라고 나오는데요, 분명히
그 둘 간에는 차이점이 있습니다. 단지, 상업용 운영체제인 Windows가 전체 유니코드 영역을 다루지 못하는 제품은 아닌 듯하므로 얼핏 UTF-16 인코딩이 맞을 것으로 짐작은 할 수 있는데요, 사실 간단하게 테스트를 해보면 쉽게 알 수 있는 문제입니다.
가령, UCS-2의 경우 2바이트를 넘는 문자는 표현할 수 없기 때문에, 다음과 같은 UTF-16 인코딩 문자열은 정상적으로 출력이 안 되어야 합니다.
#include <Windows.h>
int main()
{
HANDLE hStdOut = GetStdHandle(STD_OUTPUT_HANDLE);
if (hStdOut == INVALID_HANDLE_VALUE) {
return 1;
}
wchar_t text[] = L"Hello, World: \xD803\xDC80\n"; // 0xd803, 0xdc80: U+10C80 문자의 UTF-16 인코딩 값
int len = (DWORD)wcslen(text);
DWORD written = 0;
WriteConsoleW(hStdOut, (PVOID)text, len, &written, nullptr);
CloseHandle(hStdOut);
}
/* 출력 결과:
Hello, World: 𐲀
*/
출력 결과에도 나오지만, 윈도우의 유니코드 버전은 UTF-16 인코딩을 지원하기 때문에 위 코드는 정상적으로 동작합니다. 그런데 왜, UCS-2라는 말이 섞이는 걸까요? 검색해 보니, 마침 이에 대한 답이 나옵니다. ^^
Text - Does Windows use UTF-16 or UCS-2?
; http://zuga.net/articles/text-does-windows-use-utf-16-or-ucs-2/
그러니까, Windows NT 3.1이 출시된 당시에는 (Visual C++의 wchar_t 타입인) 2바이트면 유니코드의 모든 문자를 처리하기에 적절했으므로 UCS-2를 채택했다고 합니다. 그렇군요, 역사를 이해해야할 필요가 있었던 것입니다.
그런 의미에서 UTF-16의 경우,
//
https://en.wikipedia.org/wiki/UTF-16
The UTF-16 encoding scheme was developed as a compromise and introduced with version 2.0 of the Unicode standard in July 1996.[13] It is fully specified in RFC 2781, published in 2000 by the IETF.
1996년에 표준이 나오기 시작했으니, 1993년에 나온 (
NT의 첫 번째 버전인) Windows NT 3.1 입장에서는 오히려 UCS-2를 도입하는 것조차도 아마 early adopter에 속했을 듯합니다. (사실 Windows NT 3.1의 제품 개발을 1989년 11월에 시작했다는 것을 감안하면 그 결정은 더욱 이른 시기에 했을 것입니다.)
그래서 초기 Win32 API는 "W" 버전에 대한 유니코드 처리를 UCS-2로 했다는 것이 맞습니다. 그러다, 이후 Windows 2000이 나올 때는 UCS-2가 아닌 UTF-16을 채택했기 때문에 이제 wchar_t는 UTF-16 인코딩으로 지금까지 이어진 것입니다. (달리 말해, Visual C++ 컴파일러가 생성한 바이너리에 wchar_t 문자열은 UTF-16 인코딩으로 저장됩니다.)
결국, 오래된 문서에서는 UCS-2라고, 이후 문서에서는 UTF-16이라고 나뉘어 문서들이 퍼져 있는 것입니다.
[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]