Microsoft MVP성태의 닷넷 이야기
C/C++: 182. 윈도우가 운영하는 2개의 Code Page [링크 복사], [링크+제목 복사],
조회: 1615
글쓴 사람
정성태 (seongtaejeong at gmail.com)
홈페이지
첨부 파일
(연관된 글이 1개 있습니다.)
(시리즈 글이 5개 있습니다.)
Windows: 265. Win32 API의 W(유니코드) 버전은 UCS-2일까요? UTF-16 인코딩일까요?
; https://www.sysnet.pe.kr/2/0/13777

C/C++: 181. C/C++ - 소스코드 파일의 인코딩, 바이너리 모듈 상태의 인코딩
; https://www.sysnet.pe.kr/2/0/13778

C/C++: 182. 윈도우가 운영하는 2개의 Code Page
; https://www.sysnet.pe.kr/2/0/13785

Windows: 267. Win32 API의 A(ANSI) 버전은 DBCS를 사용할까요?
; https://www.sysnet.pe.kr/2/0/13791

C/C++: 183. C++ - 윈도우에서 한글(및 유니코드)을 포함한 콘솔 프로그램을 컴파일 및 실행하는 방법
; https://www.sysnet.pe.kr/2/0/13793




윈도우가 운영하는 2개의 Code Page

Win32 API에는 Code Page를 반환하는 2개의 함수가 있습니다.

GetACP function (winnls.h)
; https://learn.microsoft.com/en-us/windows/win32/api/winnls/nf-winnls-getacp

GetConsoleOutputCP function
; https://learn.microsoft.com/en-us/windows/console/getconsoleoutputcp

문서에도 설명이 나오지만 차이가 있긴 합니다. 간략하게 정리해 볼까요? ^^

우선, 다음의 소스코드로,

#include <iostream>
#include <Windows.h>

int main()
{
    {
        UINT cp = ::GetConsoleOutputCP();
        std::cout << "Console Output Code Page: " << cp << std::endl;
    }

    {
        UINT cp = ::GetACP();
        std::cout << "Code Page: " << cp << std::endl;
    }
}

한글 Windows 11 환경, 또는 "Use Unicode UTF-8 for worldwide language support" 옵션에서 실행해 보면 이런 결과가 나옵니다.

// [한글 Windows 11]
Console Output Code Page: 949
Code Page: 949

// [한글/영문 상관없이 utf-8 설정한 경우]
Console Output Code Page: 65001
Code Page: 65001

2개 함수의 값이 같습니다. 다른 값을 기대했다면 "영문 Windows 11"에서 실행해 보면 됩니다. ^^

// [영문 Windows 11]
Console Output Code Page: 437
Code Page: 1252

이런 결과에 대해 공식 문서의 설명을 찾을 수는 없었지만, 그동안의 경험으로 미뤄 짐작해 볼 수는 있는데요, "GetConsoleOutputCP" 함수가 반환하는 것은 "Command Prompt" 명령행 창의 호환성을 위해 설정된 코드 페이지입니다. 그와 관련해서는 아래의 문서를 보면,

Code page 437
; https://en.wikipedia.org/wiki/Code_page_437

Code page 437 (CCSID 437) is the character set of the original IBM PC (personal computer).[2] It is also known as CP437, OEM-US, OEM 437,[3] PC-8,[4] or DOS Latin US.[5] The set includes all printable ASCII characters as well as some accented letters (diacritics), Greek letters, icons, and line-drawing symbols. It is sometimes referred to as the "OEM font" or "high ASCII", or as "extended ASCII"[4] (one of many mutually incompatible ASCII extensions).


"the original IBM PC"라는 것에서 그 의미를 찾을 수 있습니다. GetConsoleOutputCP 함수가 하위 호환성을 위해 설정된 코드 페이지라면, GetACP 함수는 윈도우 본연의 코드 페이지를 반환합니다. 당시 Windows 3.x나 95 등의 버전이 나오는 시기에는 기존 DOS 환경에서 만들어진 프로그램들과의 호환을 위해 CP437을 채택하는 것이 맞았을 것입니다. 반면 Windows GUI 응용 프로그램이라면 완전히 새롭게 만들어지는 것이므로 굳이 437 코드 페이지를 따를 필요는 없었을 것이고, 가능한 유용한 문자를 가진 코드 페이지를 선택하는 것이 좋았을 것입니다.

실제로, 그 당시 DOS 프로그램들은 "선(Line)" 표현을 위해 437 코드 페이지에서 제공하는 문자들을 제법 사용했었습니다.

[출처: https://en.wikipedia.org/wiki/Code_page_437]
two_code_page_1.png

하지만, Windows GUI 응용 프로그램에서는 어차피 선(Line)을 그리는 GDI 함수가 있으므로 그 영역을 다른 문자로 채운 것이 더 좋았을 것입니다. 실제로 아래는 1252 코드 페이지의 새로운 문자를 보여줍니다.

[출처: https://en.wikipedia.org/wiki/Windows-1252]
two_code_page_2.png

재미있는 건, 1252에 대해서도 사연이 있다는 건데요,

Code Pages
; https://learn.microsoft.com/en-us/windows/win32/intl/code-pages

Originally, Windows code page 1252, the code page commonly used for English and other Western European languages, was based on an American National Standards Institute (ANSI) draft. That draft eventually became ISO 8859-1, but Windows code page 1252 was implemented before the standard became final, and is not exactly the same as ISO 8859-1.


정리해 보면, ANSI 초안이 나중에 ISO 8859-1 표준이 되었지만,

ISO/IEC 8859-1
; https://en.wikipedia.org/wiki/ISO/IEC_8859-1#Code_page_layout

Windows는 그 표준이 나오기 전에 1252 코드 페이지로 구현을 했다고 합니다. 그러니까, ISO 8859-1이 먼저 나왔다면 영문 윈도우의 GetACP 함수는 1252가 아니라 28591 (iso-8859-1 ISO 8859-1 Latin 1; Western European (ISO)) 값이 나왔을 지도 모를 일입니다.

그런데 사실 Windows-1252는 ISO 8859-1의 문자 셋을 그대로 가지고 있고, 8859-1이 사용하지 않은 일부 영역(0x80 ~ 0x9F)에 27개의 문자를 더 채운 차이만 가지고 있습니다. 그렇게 보면 얼핏 8859-1이 먼저 나오고 1252가 나온 것처럼 보이기도 합니다. ^^; 관련해서 검색해 보면 다음의 글도 나오는군요. ^^

Differences between ANSI, ISO-8859-1 and MacRoman character sets
; https://www.alanwood.net/demos/charsetdiffs.html

Of the three main 8-bit character sets, only ISO-8859-1 is produced by a standards organization. The three sets are identical for the 95 characters from 32 to 126, the ASCII character set. The ANSI character set, also known as Windows-1252, has become a Microsoft proprietary character set; it is a superset of ISO-8859-1 with the addition of 27 characters in locations that ISO designates for control codes. Apple’s proprietary MacRoman character set contains a similar variety of characters from 128 to 255, but with very few of them assigned the same numbers, and also assigns characters to the control-code positions.





간단하게 저 2개의 코드 페이지로 인한 차이점을 직접 확인해 볼까요? ^^ (이하, 모든 예제 코드는 '영문 Windows 11'에서 실행하는 것을 전제로 합니다.)

437 코드 페이지에서는 0xf2 문자가 '≥' (Greater-Than or Equal To)입니다. 따라서 이것을 출력하려면 다음과 같이 콘솔에서 출력할 수 있습니다.

printf("Greater-Than or Equal To: \xf2\n");

// 출력 결과: Greater-Than or Equal To: ≥

그런데, '\xf2' escape sequence를 사용하지 않고 직접 '≥'를 출력하면,

printf("Greater-Than or Equal To: \n");

// 출력 결과: Greater-Than or Equal To: ?

의도치 않은 '?' 문자가 출력됩니다. 이유가 뭘까요? 원칙은 지난 글을 그대로 따르면 됩니다.

C/C++ - 소스코드 파일의 인코딩, 바이너리 모듈 상태의 인코딩
; https://www.sysnet.pe.kr/2/0/13778

여기서 소스코드 파일은 utf-8로 인코딩이 됩니다. 그 과정에서 \xf2는 문자열 그대로 '\', 'x', 'f', '2'를 파일에 저장하지만, '≥' 문자는 UTF-8 인코딩에 해당하는 U+2265 값으로, 즉 0xE2 0x89 0xA5 3바이트로 저장됩니다. 이후, C++ 컴파일러는 저 입력을 받아 시스템의 코드 페이지로 변환해서 char 타입에 해당하는 문자열을 바이너리 모듈에 출력합니다. 즉, C++ 언어의 문법에 따라 escape sequence로 표현한 0xf2는 그 값 그대로 바이너리에 저장이 되지만, '≥' 문자의 경우에는 (컴파일러가 실행 중인 영문 윈도우의) 1252 코드 페이지에 없기 때문에 변환에 실패해 fallback 문자가 나온 것입니다.

참고로, 위의 예제 코드는 영문 Windows 11에서 437 코드 페이지로 실행되므로 기본적으로는 다음과 같이 코드를 작성한 것과 같습니다.

SetConsoleOutputCP(437);

printf("Greater-Than or Equal To: \xf2\n");
printf("Greater-Than or Equal To: ≥\n");

이것을 응용하면, 가령 SetConsoleOutputCP로 코드 페이지를 1252로 바꾼다면 당연히 그에 해당하는 문자를 출력할 수 있다는 의미가 됩니다.

테스트를 위해 코드 페이지를 1252로 바꾸고 문자도 그에 속하는 'Euro Sign(0x80)'을 출력해 보면,

SetConsoleOutputCP(1252);

printf("Euro Sign: \x80\n"); // 1252 코드 페이지의 '€' 문자 (U+20AC)
printf("Euro Sign: €\n");

/* 출력 결과: 
Euro Sign: €
Euro Sign: €
*/

의도했던 대로 '€' 문자가 출력됐지만, 그렇다면 이번에는 왜 '\x80'이 아닌 '€' 문자를 직접 쓴 것까지 출력이 된 걸까요? 이제는 답을 하실 수 있겠죠? ^^ 소스코드는 utf-8로 인코딩돼 '€' 문자는 0xE2 0x82 0xAC 바이트로 저장됩니다. C++ 컴파일러는 저 문자열을 시스템의 코드 페이지, 즉 1252 인코딩으로 바이너리에 출력해야 하는데, '€' 문자는 1252 코드 페이지에 있는 문자이므로 0xE2 0x82 0xAC 값이 0x80으로 저장됩니다.

그렇게 만들어진 EXE 파일이 실행되고, 화면의 코드 페이지가 1252이므로 0x80은 '€' 문자로 잘 출력이 됩니다.




(영문 윈도우에서) 콘솔 프로그램의 경우 437 코드 페이지를 사용하지만, GUI 응용 프로그램은 1252 코드 페이지를 사용합니다.

Text - ASCII vs. CP-1252 vs. CP-437
; http://zuga.net/articles/text-ascii-vs-cp-1252-vs-cp-437/

CP-1252 is an 8-bit character encoding based on ASCII (identical up to code point 127). This is the default codepage for graphical applications under Windows.

CP-437 is an 8-bit character encoding based on ASCII (identical up to code point 127). This is the default codepage for console applications under Windows.


다시 말해, 응용 프로그램의 유형이 GUI Application이라면 코드 페이지 1252에 속하는 문자(예를 들어, '€')를 출력해야 할 때 굳이 현재의 코드 페이지를 바꿀 필요가 없습니다.

이에 대한 테스트를 C++ Windows Application 프로젝트를 만든 후, WM_PAINT 메시지에서 다음과 같이 코드를 추가해 보면 됩니다.

LRESULT CALLBACK WndProc(HWND hWnd, UINT message, WPARAM wParam, LPARAM lParam)
{
    switch (message)
    {
    case WM_COMMAND:
        // ...[생략]...
        break;
    case WM_PAINT:
        {
            PAINTSTRUCT ps;
            HDC hdc = BeginPaint(hWnd, &ps);

            char text[] = "\x80\n";
            int len = (DWORD)strlen(text);
            DWORD written = 0;

            ::TextOutA(hdc, 50, 50, text, len);

            EndPaint(hWnd, &ps);
        }
        break;
    // ...[생략]...
    }
    return 0;
}

예상할 수 있듯이, 위의 코드를 실행해 보면 코드 페이지를 변경하지 않았는데도 화면에 '€' 문자가 출력됩니다. 특이하게도, GUI 응용 프로그램의 경우에는 콘솔에서처럼 SetConsoleOutputCP 함수를 이용해 코드 페이지를 변경하는 방법이 없습니다. (변경하려면, 제어판을 이용해 시스템 레벨로 변경해야 합니다.)

그래도 괜찮을 수 있는 이유는, W 버전의 API를 제공하기 때문입니다. 따라서 다른 코드 페이지에 있는 문자를 출력하고 싶다면 그 문자에 해당하는 UTF-16 값을 사용해 TextOutW 함수 등을 이용해 출력하면 됩니다.

(첨부 파일은 이 글의 예제 코드를 포함합니다.)




기타, 코드 페이지와 연관해 2개의 함수가 더 있는데요,

GetConsoleCP function
; https://learn.microsoft.com/en-us/windows/console/getconsolecp

SetConsoleCP function
; https://learn.microsoft.com/en-us/windows/console/setconsolecp

이것은 '입력' 값을 대상으로 코드 페이지를 조회/적용하는 함수입니다. 그런 의미에서 GetConsoleOutputCP, SetConsoleOutputCP 함수는 출력을 대상으로 합니다.




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]

[연관 글]






[최초 등록일: ]
[최종 수정일: 10/27/2024]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer at outlook.com

비밀번호

댓글 작성자
 




[1]  2  3  4  5  6  7  8  9  10  11  12  13  14  15  ...
NoWriterDateCnt.TitleFile(s)
13838정성태12/4/2024645오류 유형: 935. Windbg - Breakpoint 0's offset expression evaluation failed.
13837정성태12/3/2024725디버깅 기술: 204. Windbg - 윈도우 핸들 테이블 (3) - Windows 10 이상인 경우
13836정성태12/3/2024957디버깅 기술: 203. Windbg - x64 가상 주소를 물리 주소로 변환 (페이지 크기가 2MB인 경우)
13835정성태12/2/20241002오류 유형: 934. Azure - rm: cannot remove '...': Directory not empty
13834정성태11/29/20241079Windows: 275. C# - CUI 애플리케이션과 Console 윈도우 (Windows 10 미만의 Classic Console 모드인 경우)파일 다운로드1
13833정성태11/29/20241096개발 환경 구성: 737. Azure Web App에서 Scale-out으로 늘어난 리눅스 인스턴스에 SSH 접속하는 방법
13832정성태11/27/20241111Windows: 274. Windows 7부터 도입한 conhost.exe
13831정성태11/27/2024978Linux: 111. eBPF - BPF_MAP_TYPE_PERF_EVENT_ARRAY, BPF_MAP_TYPE_RINGBUF에 대한 다양한 용어들
13830정성태11/25/20241086개발 환경 구성: 736. 파이썬 웹 앱을 Azure App Service에 배포하기
13829정성태11/25/20241027스크립트: 67. 파이썬 - Windows 버전에서 함께 설치되는 py.exe
13828정성태11/25/20241048개발 환경 구성: 735. Azure - 압축 파일을 이용한 web app 배포 시 디렉터리 구분이 안 되는 문제파일 다운로드1
13827정성태11/25/20241133Windows: 273. Windows 환경의 파일 압축 방법 (tar, Compress-Archive)
13826정성태11/21/20241206닷넷: 2313. C# - (비밀번호 등의) Console로부터 입력받을 때 문자열 출력 숨기기(echo 끄기)파일 다운로드1
13825정성태11/21/20241160Linux: 110. eBPF / bpf2go - BPF_RINGBUF_OUTPUT / BPF_MAP_TYPE_RINGBUF 사용법
13824정성태11/20/20241108Linux: 109. eBPF / bpf2go - BPF_PERF_OUTPUT / BPF_MAP_TYPE_PERF_EVENT_ARRAY 사용법
13823정성태11/20/20241085개발 환경 구성: 734. Ubuntu에 docker, kubernetes (k3s) 설치
13822정성태11/20/20241045개발 환경 구성: 733. Windbg - VirtualBox VM의 커널 디버거 연결 시 COM 포트가 없는 경우
13821정성태11/18/20241172Linux: 108. Linux와 Windows의 프로세스/스레드 ID 관리 방식
13820정성태11/18/20241144VS.NET IDE: 195. Visual C++ - C# 프로젝트처럼 CopyToOutputDirectory 항목을 추가하는 방법
13819정성태11/15/20241154Linux: 107. eBPF - libbpf CO-RE의 CONFIG_DEBUG_INFO_BTF 빌드 여부에 대한 의존성
13818정성태11/15/20241232Windows: 272. Windows 11 24H2 - sudo 추가
13817정성태11/14/20241103Linux: 106. eBPF / bpf2go - (BPF_MAP_TYPE_HASH) Map을 이용한 전역 변수 구현
13816정성태11/14/20241174닷넷: 2312. C#, C++ - Windows / Linux 환경의 Thread Name 설정파일 다운로드1
13815정성태11/13/20241102Linux: 105. eBPF - bpf2go에서 전역 변수 설정 방법
13814정성태11/13/20241215닷넷: 2311. C# - Windows / Linux 환경에서 Native Thread ID 가져오기파일 다운로드1
[1]  2  3  4  5  6  7  8  9  10  11  12  13  14  15  ...