Microsoft MVP성태의 닷넷 이야기
글쓴 사람
정성태 (techsharer at outlook.com)
홈페이지
첨부 파일
 

C# - GC 힙이 아닌 Native 힙에 인스턴스 생성 - 0SuperComicLib.LowLevel 라이브러리 소개

재미있는 라이브러리가 있군요. ^^

[C#] 수동 메모리 관리 객체
; https://blog.naver.com/ekfvoddl3535/222066803012

사용법은, NativeClass를 이용해 감싸고 있기 때문에 그나마 간단하게 다음과 같은 식으로 코딩할 수 있습니다.

using SuperComicLib.LowLevel;
using System;

// Install-Package 0SuperComicLib.LowLevel
class Program
{
    static void Main(string[] args)
    {
        NativeInstance<SmallObject> nobj = NativeClass.InitObj<SmallObject>();

        nobj.Value.Age = 5; // 필드에 쓰레기 값이 있으므로, 사용 전 반드시 값 할당 필요
        Console.WriteLine(nobj.Value.Age); // 출력 결과: 5

        nobj.Dispose(); // 명시적으로 호출해야 메모리 누수가 없음
    }
}

public class SmallObject : IDisposable
{
    public int Age;

    public void Dispose()
    {
        Age = 0;
    }
}

InitObj는 내부적으로 Marshal.AllocHGlobal를 이용해 메모리를 Native Heap으로부터 할당한 후 GC 힙에 할당된 개체처럼 값 구성을 합니다.

C#에서 확인해 보는 관리 힙의 인스턴스 구조
; https://www.sysnet.pe.kr/2/0/1176

따라서, SmallObject 타입이라면 Native 메모리에 다음과 같은 값으로 구성됩니다. (실제로는 해당 라이브러리에서는 값 초기화를 하지 않습니다.)

                            ObjectHeader   TypeHandle   Age                   생성자 실행
GC에서 할당한 경우               00000000   01445574     00000000                  O
InitObj의 경우      ...[garbage_value]...  01445574     ...[garbage_value]...     X

그런 다음 TypeHandle이 위치한 메모리의 주소를 반납하면 CLR에서 실행시 일반적인 개체처럼 사용할 수 있습니다. 이렇게 보면 이 라이브러리가 예전 질문의 답이 될 수도 있을 것 같습니다. ^^

C#에서 대량의 클래스를 빠르게 생성하는 방법이 없을까요?
; https://www.sysnet.pe.kr/3/0/5393




그렇긴 한데, 예제를 약간 변형해 참조 타입의 필드를 하나 추가한 후 사용하면 예외가 발생합니다.

Console.WriteLine(nobj.Value.Name); // 예외 발생

// 또는

nobj.Value.Name = "test"; // 예외 발생

public class SmallObject : IDisposable
{
    public int Age;
    public string Name;

    public void Dispose()
    {
        Age = 0;
        Name = null;
    }
}

즉, Native 메모리에 할당한 개체가 소유한 참조 타입의 필드인 Name을 접근했을 때 AccessViolationException 예외가 발생합니다.

System.AccessViolationException
  HResult=0x80004003
  Message=Attempted to read or write protected memory. This is often an indication that other memory is corrupt.
  Source=mscorlib
  StackTrace:
   at System.IO.TextWriter.WriteLine(String value) in f:\dd\ndp\clr\src\BCL\system\io\textwriter.cs:line 466
   at System.IO.TextWriter.SyncTextWriter.WriteLine(String value) in f:\dd\ndp\clr\src\BCL\system\io\textwriter.cs:line 838
   at System.Console.WriteLine(String value) in f:\dd\ndp\clr\src\BCL\system\console.cs:line 2085
   at Program.Main(String[] args) in C:\temp\ConsoleApp1\ConsoleApp1\Program.cs:line 15

"Console.WriteLine(nobj.Value.Name);" 코드에서 예외가 발생하는 것은 일면 이해가 됩니다. 왜냐하면 이때의 SmallObject 인스턴스의 값은 다음과 같이 구성되어 있으므로,

ObjectHeader            TypeHandle   Name                  Age
...[garbage_value]...   01445574     ...[garbage_addr]...  ...[garbage_value]... 

쓰레기 값으로 채워진 Name을 접근하게 되면 당연히 높은 확률로 AV 예외가 발생합니다. 하지만, nobj.Value.Name = "test"; 코드에서 예외가 발생하는 것은 왜일까요? 그 이유는, 예전에 설명한 Card table의 운용으로 인해 발생합니다.

.NET GC - 하위 세대의 객체를 포함하는 상위 세대의 참조를 추적하기 위한 card-table
; https://www.sysnet.pe.kr/2/0/1670

실제로 AV 오류가 발생한 지점을 추적해 보면,

clr!JIT_WriteBarrierEAX:
74a0ec00 8902            mov     dword ptr [edx],eax
74a0ec02 81f80c109302    cmp     eax,293100Ch
74a0ec08 720d            jb      clr!JIT_WriteBarrierEAX+0x17 (74a0ec17)
74a0ec0a c1ea0a          shr     edx,0Ah
74a0ec0d 90              nop
74a0ec0e 80ba605b6f02ff  cmp     byte ptr [edx+26F5B60h],0FFh
74a0ec15 7503            jne     clr!JIT_WriteBarrierEAX+0x1a (74a0ec1a)
74a0ec17 c3              ret

저 라인에서 예외가 발생합니다. 아마도 저 값은 정상적으로 GC Heap에 할당된 개체만이 (26F5B60h 오프셋으로 연산 시) 접근할 수 있는 위치로 보입니다. 따라서, 결국 타입 내에 참조 타입의 필드는 허용할 수 없는 것입니다.

그런데, 사실 저 문제가 아니어도 참조 개체를 담을 수는 없습니다. 왜냐하면, 저렇게 Native Heap에서 GC 힙에 있는 개체의 주소를 담으면 나중에 GC의 메모리 수집 후 틀어질 수 있기 때문입니다. 즉, GC의 영향으로 기존 개체의 주소는 바뀌겠지만 이때 Native Heap의 존재를 알 수 없는 GC 입장에서는 바뀐 주소를 Native Heap에까지 반영을 하지 않기 때문에 나중에는 필연적으로 AV 예외가 발생할 수밖에 없습니다.

따라서, 저것이 정상적으로 동작하려면 1) 참조 형식의 필드인 경우 JIT_WriteBarrierEAX 호출을 막는 수단이 필요하고, 2) 개체가 NativeClass.InitObj로 생성되었다면 그 내부의 모든 참조 개체 필드들도 NativeClass.InitObj를 이용해 생성한 것만을 담을 수 있게 바꿔야 합니다.

설령 저 기능들을 모두 구현한다고 해도, 과연... 성능을 위해 코드가 그렇게까지 복잡해지는 것을 허용해야 할 것인지는 충분한 고민을 해야 할 것입니다.




결국 인스턴스 내부에 참조 개체를 담을 수 없다는 제약이 있는 것이므로, 반대로 일반적인 값 타입이라면 사용할 수도 있을 것입니다. 그러고 보니 제네릭 제약 중에 그런 타입만을 강제하는 unmanaged가 있었습니다.

C# 7.3 - unmanaged(blittable) 제네릭 제약
; https://www.sysnet.pe.kr/2/0/11558

그러니까, 저 조건에 부합하는 타입은 SuperComicLib.LowLevel 라이브러리를 이용해 스택 대신 Native 메모리로 이전할 수 있는 것입니다. 물론, 값 타입은 애당초 스택에 할당되므로 GC와는 무관하기에 성능 향상을 위해 크게 장점이 될 수는 없습니다. 단지, 일반적인 스택의 기본 크기가 1MB라는 것을 감안했을 때 값 형식의 개체를 제한 없이 생성할 수 있다는 정도가 SuperComicLib.LowLevel의 장점이 될 수 있겠습니다.

하지만 현실적으로 봤을 때 최소 string은 담을 수 있어야 하므로, string만이라도 특별하게 Native 메모리로 할당해 처리해 주는 기능을 추가하면 더 좋을 듯합니다.

개인적으로는, 그래도 SuperComicLib.LowLevel 라이브러리가 이런 작업을 시도해봤다는 것에 더 큰 의미가 있다고 봅니다. ^^




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]

[연관 글]


donaricano-btn



[최초 등록일: ]
[최종 수정일: 3/28/2021 ]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer at outlook.com

비밀번호

댓글 쓴 사람
 



2021-02-19 08시07분
[슈퍼코믹] 앗 이렇게 언급해주셔서 너무너무 감사드립니다!

지적해주신 문제들은 인지하고있던 부분이었습니다 ㅎㅎ
더 세부적으로 분석해주셔서 나름 참고도 되었습니다. 감사합니다^^
물론 아직은 제 자신이 부족해서 제가 더 어떻게 건드릴순 없는 부분이지만,, 언젠간 꼭 고쳐보겠습니다 @@

제가 초등학교 6학년때 vb로 입문한 뒤, 이후 c#으로 넘어갈때 정성태님이 작성하신 몇몇개의 포스트를 하루종일 읽었던 기억도 납니다.
LowLevel 라이브러리에 대한 구상은 고등학교 1학년을 마칠때즈음부터 했던것 같습니다.
당시엔 객체 생성 기능을 추가하리라곤 상상도 못했으나, 어쩌다보니 욕심이생겨 무리하게 추가하게된 것 같습니다 ^^;;

개인적으로 가장 존경하는 분께 이렇게라도 언급되니 부끄러우면서도 기쁩니다 ^^**
[손님]
2021-02-20 11시36분
@슈퍼코믹 어떻게 고쳐질지 기대가 되는군요. ^^ 그리고, 해당 글들을 영문으로 소개해 놓으면 아마도 해외 개발자들도 많이 보게 될 것입니다. 개인적으로 관련 내용에 대한 실제 구현 코드를 다른 곳에서는 본 적이 없는데, 따라서 다른 이들에게 좋은 예시로 회자될 수 있습니다. (아울러, 이후 프로그래머로써의 발전도 기대되고. ^^)
정성태

1  2  3  4  [5]  6  7  8  9  10  11  12  13  14  15  ...
NoWriterDateCnt.TitleFile(s)
12579정성태3/28/2021252오류 유형: 707. 중첩 가상화(Nested Virtualization) - The virtual machine could not be started because this platform does not support nested virtualization.
12578정성태3/27/2021255개발 환경 구성: 560. Docker Desktop for Windows 기반의 Kubernetes 구성 (2) - WSL 2 인스턴스에 kind가 구성한 k8s 서비스 위치
12577정성태3/29/2021423개발 환경 구성: 559. Docker Desktop for Windows 기반의 Kubernetes 구성 - WSL 2 인스턴스에 kind 도구로 k8s 클러스터 구성
12576정성태3/25/2021369개발 환경 구성: 558. Docker Desktop for Windows에서 DockerDesktopVM 기반의 Kubernetes 구성 (2) - k8s 서비스 위치
12575정성태3/24/2021284개발 환경 구성: 557. Docker Desktop for Windows에서 DockerDesktopVM 기반의 Kubernetes 구성
12574정성태3/28/2021361.NET Framework: 1030. C# Socket의 Close/Shutdown 동작 (동기 모드)
12573정성태4/21/2021367개발 환경 구성: 556. WSL 인스턴스 초기 설정 명령어
12572정성태5/17/2021301.NET Framework: 1029. C# - GC 호출로 인한 메모리 압축(Compaction)을 확인하는 방법파일 다운로드1
12571정성태4/1/2021327오류 유형: 706. WSL 2 기반으로 "Enable Kubernetes" 활성화 시 초기화 실패 [1]
12570정성태4/7/2021291개발 환경 구성: 555. openssl - CA로부터 인증받은 새로운 인증서를 생성하는 방법
12569정성태3/18/2021356개발 환경 구성: 554. WSL 인스턴스 export/import 방법 및 단축 아이콘 설정 방법
12568정성태3/18/2021200오류 유형: 705. C# 빌드 - Couldn't process file ... due to its being in the Internet or Restricted zone or having the mark of the web on the file.
12567정성태4/9/2021327개발 환경 구성: 553. Docker Desktop for Windows를 위한 k8s 대시보드 활성화 [1]
12566정성태3/24/2021326개발 환경 구성: 552. Kubernetes - kube-apiserver와 REST API 통신하는 방법 (Docker Desktop for Windows 환경)
12565정성태3/17/2021174오류 유형: 704. curl.exe 실행 시 dll not found 오류
12564정성태3/16/2021215VS.NET IDE: 160. 새 프로젝트 창에 C++/CLI 프로젝트 템플릿이 없는 경우
12563정성태3/16/2021219개발 환경 구성: 551. C# - JIRA REST API 사용 정리 (3) jira-oauth-cli 도구를 이용한 키 관리
12562정성태3/16/2021367개발 환경 구성: 550. C# - JIRA REST API 사용 정리 (2) JIRA OAuth 토큰으로 API 사용하는 방법파일 다운로드1
12561정성태3/12/2021278VS.NET IDE: 159. Visual Studio에서 개행(\n, \r) 등의 제어 문자를 치환하는 방법 - 정규 표현식 사용
12560정성태3/12/2021329개발 환경 구성: 549. ssh-keygen으로 생성한 개인키/공개키 파일을 각각 PKCS8/PEM 형식으로 변환하는 방법
12559정성태3/28/2021255.NET Framework: 1028. 닷넷 5 환경의 Web API에 OpenAPI 적용을 위한 NSwag 또는 Swashbuckle 패키지 사용파일 다운로드1
12558정성태3/28/2021421Windows: 192. Power Automate Desktop (Preview) 소개 - Bitvise SSH Client 제어 [1]
12557정성태3/28/2021153Windows: 191. 탐색기의 보안 탭에 있는 "Object name" 경로에 LEFT-TO-RIGHT EMBEDDING 제어 문자가 포함되는 문제
12556정성태3/9/2021164오류 유형: 703. PowerShell ISE의 Debug / Toggle Breakpoint 메뉴가 비활성 상태인 경우
12555정성태3/28/2021279Windows: 190. C# - 레지스트리에 등록된 DigitalProductId로부터 라이선스 키(Product Key)를 알아내는 방법파일 다운로드2
12554정성태3/28/2021367.NET Framework: 1027. 닷넷 응용 프로그램을 위한 PDB 옵션 - full, pdbonly, portable, embedded
1  2  3  4  [5]  6  7  8  9  10  11  12  13  14  15  ...