C# - Hyper-V Socket 통신(AF_HYPERV, AF_VSOCK)의 VMID Wildcards 유형
이전에 설명한 Hyper-V Socket 통신은,
C# - Hyper-V Socket 통신(AF_HYPERV, AF_VSOCK)을 위한 EndPoint 사용자 정의
; https://www.sysnet.pe.kr/2/0/13657
서버와 클라이언트 간의 다양한 응용이 가능하도록 미리 지정된 HV GUID 값을 지원합니다.
HV_GUID_ZERO 00000000-0000-0000-0000-000000000000 Listeners should bind to this VmId to accept connection from all partitions.
HV_GUID_WILDCARD 00000000-0000-0000-0000-000000000000 Listeners should bind to this VmId to accept connection from all partitions.
HV_GUID_BROADCAST FFFFFFFF-FFFF-FFFF-FFFF-FFFFFFFFFFFF
HV_GUID_CHILDREN 90db8b89-0d35-4f79-8ce9-49ea0ac8b7cd Wildcard address for children. Listeners should bind to this VmId to accept connection from its children.
HV_GUID_LOOPBACK e0e16197-dd56-4a10-9195-5ee7a155a838 Loopback address. Using this VmId connects to the same partition as the connector.
HV_GUID_PARENT a42e7cda-d03f-480c-9cc2-a4de20abb878 Parent address. Using this VmId connects to the parent partition of the connector.*
사실 이름만으로도 역할들을 대충 눈치챌 수 있지만, 그래도 정말 그런지 테스트를 해보고 싶습니다. ^^ 이를 위해
지난 글에 설명한 코드를 다음과 같이 확장해서 만들어 봤습니다.
using Microsoft.Win32;
using System.Net.Sockets;
using System.Text;
namespace ConsoleApp1;
internal class Program
{
// 윈도우 VM과만 연동하는 경우
// public static readonly Guid GcsGuid = new Guid("9866C7BC-0C89-4CB0-9427-5B526D1AE83B");
// 리눅스 VM도 함께 연동하는 경우,
public static readonly Guid GcsGuid = new Guid("00004A38-facb-11e6-bd58-64006a7986d3");
public const string GcsName = "MyGcs";
static void Main(string[] args)
{
Console.WriteLine($"Process ID: {Environment.ProcessId}");
if (args.Length == 0)
{
args = new[] { "/server", "lo" };
}
Guid serviceGuid = GcsGuid;
if (args.Length >= 3)
{
if (Guid.TryParse(args[2], out Guid guid))
{
serviceGuid = guid;
}
}
if (args.Length >= 1)
{
Guid vmid = HyperVSocket.HV_GUID_LOOPBACK;
if (args.Length >= 2)
{
if (Guid.TryParse(args[1], out Guid guid))
{
vmid = guid;
}
else
{
switch (args[1])
{
case "any":
case "wildcard":
vmid = HyperVSocket.HV_GUID_WILDCARD;
break;
case "loopback":
case "lo":
vmid = HyperVSocket.HV_GUID_LOOPBACK;
break;
case "child":
case "children":
vmid = HyperVSocket.HV_GUID_CHILDREN;
break;
case "parent":
case "host":
vmid = HyperVSocket.HV_GUID_PARENT;
break;
}
}
}
switch (args[0])
{
case "/register":
Register();
return;
case "/server":
RunAsServer(serviceGuid, vmid);
return;
case "/client":
RunAsClient(serviceGuid, vmid);
return;
}
}
Console.WriteLine($"Usage: {nameof(ConsoleApp1)} /register");
Console.WriteLine($"Usage: {nameof(ConsoleApp1)} [/server | (empty)] [lo|any]");
Console.WriteLine($"Usage: {nameof(ConsoleApp1)} /client [lo|vmid|parent]");
}
private static void RunAsClient(Guid serviceGuid, Guid vmId)
{
Socket client;
if (OperatingSystem.IsLinux())
{
throw new NotSupportedException();
}
else
{
using (client = new Socket(HyperVSocket.AF_HYPERV, SocketType.Stream, HyperVSocket.HV_PROTOCOL_RAW))
{
client.Connect(new HVEndPoint(serviceGuid, vmId));
Console.WriteLine($"Connected to {serviceGuid}, {vmId}");
byte[] buffer = Encoding.UTF8.GetBytes("World!");
client.Send(buffer);
buffer = new byte[1024];
int recvBytes = client.Receive(buffer);
string response = Encoding.UTF8.GetString(buffer, 0, recvBytes);
Console.WriteLine(response);
}
}
}
private static void RunAsServer(Guid serviceGuid, Guid vmId)
{
Socket server;
if (OperatingSystem.IsLinux())
{
throw new NotSupportedException();
}
else
{
server = new Socket(HyperVSocket.AF_HYPERV, SocketType.Stream, HyperVSocket.HV_PROTOCOL_RAW);
}
server.Bind(new HVEndPoint(serviceGuid, vmId));
server.Listen(5);
ServerLoop(server);
}
private static void ServerLoop(Socket server)
{
while (true)
{
Socket socket = server.Accept();
Console.WriteLine($"connected: {socket.RemoteEndPoint}");
byte[] buffer = new byte[1024];
int recvBytes = socket.Receive(buffer);
string text = Encoding.UTF8.GetString(buffer, 0, recvBytes);
Console.WriteLine(text);
byte[] response = Encoding.UTF8.GetBytes($"Hello: {text}");
socket.Send(response);
socket.Close();
}
}
private static void Register()
{
Console.WriteLine("Registering...");
if (!OperatingSystem.IsWindows())
{
Console.WriteLine("This feature is only supported on Windows.");
return;
}
RegistryKey? gcsKey = Registry.LocalMachine.OpenSubKey(@"SOFTWARE\Microsoft\Windows NT\CurrentVersion\Virtualization\GuestCommunicationServices", true);
var subKey = gcsKey?.CreateSubKey($"{GcsGuid:D}", true);
subKey?.SetValue("ElementName", GcsName);
Console.WriteLine($"Registered: {GcsGuid}");
}
}
테스트 방법은, 우선 Hyper-V를 호스팅하는 윈도우 측에 서비스를 등록한 다음,
// 관리자 권한으로 실행
C:\temp> ConsoleApp1.exe /register
기본적으로 /server, /client 옵션을 통해 역할을 지정하면서 두 번째 인자로 HV_* GUID 모드를 지정할 수 있습니다. 이에 기반해 다양한 실험을 해볼까요? ^^
1. 소켓 서버에서 HV_GUID_ZERO, HV_GUID_WILDCARD 바인딩
HV_GUID_ZERO, HV_GUID_WILDCARD 2개는 모두 Guid.Empty로 같은 값인데요, 소켓 서버 측에서 이 값을 지정해 바인딩하면,
server = new Socket(HyperVSocket.AF_HYPERV, SocketType.Stream, HyperVSocket.HV_PROTOCOL_RAW);
server.Bind(new HVEndPoint(GcsGuid, HyperVSocket.HV_GUID_WILDCARD));
저 소켓 서버를 응용한 연결은 다음과 같은 유형으로 가능합니다.
[Host에서 서버를 실행하는 경우]
c:\temp> ConsoleApp1.exe /server wildcard
* (O) VM에서 클라이언트를 실행해 연결 가능 (HV_GUID_PARENT)
c:\temp> ConsoleApp1.exe /client parent
* (O) 같은 호스트에서도 클라이언트를 실행해 연결 가능 (HV_GUID_LOOPBACK)
c:\temp> ConsoleApp1.exe /client loopback
[VM에서 서버를 실행하는 경우]
c:\temp> ConsoleApp1.exe /server wildcard
* (O) 호스트에서 클라이언트 실행해 연결 가능 (HV_GUID_LOOPBACK)
c:\temp> ConsoleApp1.exe /client loopback
* (O) VM 내에서 클라이언트 실행해 연결 가능 (이때 VM ID가 B50F20E6-CF19-1796-BA60-D9CFE2D8FE29인 것으로 가정)
c:\temp> ConsoleApp1.exe /client B50F20E6-CF19-1796-BA60-D9CFE2D8FE29
그러니까, HV_GUID_WILDCARD는 마치 TCP 소켓의 IPAddress.Any와 같은 역할을 하는 것입니다.
2. 소켓 서버에서 HV_GUID_LOOPBACK 바인딩
그 이름에 따라 HV_GUID_LOOPBACK 바인딩은 IPAddress.Loopback을 연상시키는데요, 따라서 원래는 같은 VM 또는 Host 내에서만 연결이 가능해야 할 거라고 생각할 수 있지만, 실제로 해보면 이런 결과가 나옵니다.
[Host에서 서버를 실행하는 경우]
c:\temp> ConsoleApp1.exe /server loopback
* (O) VM에서 클라이언트 실행해 연결 가능 (HV_GUID_PARENT)
c:\temp> ConsoleApp1.exe /client parent
* (O) 같은 호스트에서도 클라이언트 실행해 연결 가능 (HV_GUID_LOOPBACK)
c:\temp> ConsoleApp1.exe /client loopback
[VM에서 서버를 실행하는 경우]
c:\temp> ConsoleApp1.exe /server loopback
* (X) 호스트에서 클라이언트 실행해 연결 실패 (이때 VM의 ID가 B50F20E6-CF19-1796-BA60-D9CFE2D8FE29인 것으로 가정)
c:\temp> ConsoleApp1.exe /client B50F20E6-CF19-1796-BA60-D9CFE2D8FE29
* (O) VM 내에서 클라이언트 실행해 연결 가능 (HV_GUID_LOOPBACK)
c:\temp> ConsoleApp1.exe /client loopback
그러니까, 특이하게도 Host에서 서버를 HV_GUID_LOOPBACK으로 바인딩해도, VM 내의 클라이언트는 HV_GUID_PARENT를 이용해 자유롭게 접근이 가능합니다. 반면, VM에서 서버를 실행하면 일반적인 소켓의 Loopback처럼 VM 내에서만 접근이 가능합니다.
참고로, 같은 호스트 및 VM 내에서도 연결이 된다는 점에서, 어쩌면 파일 관리를 해야 하는
Unix Domain 소켓보다 더 편리한데요, 여차하면 이걸로 그냥 대체하는 것이 더 나을 듯합니다. ^^
3. 소켓 서버에서 HV_GUID_CHILDREN 바인딩
HV_GUID_CHILDREN도 일단은 위의 2번 결과(HV_GUID_LOOPBACK)와 같습니다.
[Host에서 서버를 실행하는 경우]
c:\temp> ConsoleApp1.exe /server children
* (O) VM에서 클라이언트 실행해 연결 가능 (HV_GUID_PARENT)
c:\temp> ConsoleApp1.exe /client parent
* (O) 같은 호스트에서도 클라이언트 실행해 연결 가능 (HV_GUID_LOOPBACK)
c:\temp> ConsoleApp1.exe /client loopback
[VM에서 서버를 실행하는 경우]
c:\temp> ConsoleApp1.exe /server children
* (X) 호스트에서 클라이언트 실행해 연결 실패 (이때 VM의 ID가 B50F20E6-CF19-1796-BA60-D9CFE2D8FE29인 것으로 가정)
c:\temp> ConsoleApp1.exe /client B50F20E6-CF19-1796-BA60-D9CFE2D8FE29
* (O) VM 내에서 클라이언트 실행해 연결 가능 (HV_GUID_LOOPBACK)
c:\temp> ConsoleApp1.exe /client loopback
음... 어떻게 테스트를 해야 다른 점을 부각시킬 수 있을지 잘 모르겠군요. ^^; (혹시 아시는 분은 덧글 부탁드립니다.)
그래도 이 정도면 Hyper-V Socket에 대한 이해를 어느 정도 하셨으리라 생각합니다. ^^
(
첨부 파일은 이 글의 예제 코드를 포함합니다.)
부가적으로 아래의 소스 코드를 보면,
HyperVSockets/Program.cs
; https://github.com/Wraith2/HyperVSockets/blob/master/Program.cs
"// are we running as a hyper-v guest with integration services enabled?" 이런 주석과 함께 레지스트리 키 값을 하나 조사하고 있습니다.
경로: HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Virtual Machine\Guest\Parameters
이름: VirtualMachineId
타입 REG_SZ
값: (...vm-id...)
VM 내에서 저 레지스트리 값이 있다면 해당 VM은 Hyper-V 호스트 측의 Integration Services가 활성화된 상태라고 판단하는 것 같습니다. 그 외에도, VM 스스로 자신의 VM ID를 알아낼 레지스트리 값이 있다는 정도만 기억하셔도 좋겠습니다.
당연한 이야기지만 Hyper-V 소켓은 TCP 통신이 아니므로 (TCP/IP network connections 정보를 열거하는) netstat로는 연결 정보를 알 수 없습니다. (혹시 열거 방법을 아시는 분은 덧글 부탁드립니다. ^^) (2024-07-06 업데이트:
ETW를 이용한 추적이 가능한 것 같습니다.)
대신, 리눅스에서는 ss를 이용해 vsock 연결 정보를 확인할 수 있는데요, 가령 socat 서버를 열어 둔 상태라면 LISTEN 항목을 볼 수 있고,
$ ss -f vsock -p -la | grep 19000
v_str LISTEN 0 0 *:19000 *:* users:(("socat",pid=19178,fd=5))
저 vsock에 연결하면 다음과 같이 ESTAB 항목이 보입니다.
$ ss -f vsock -p -la | grep 19000
v_str ESTAB 0 0 *:19000 2:1140818933 users:(("socat",pid=19178,fd=6))
마지막으로, 아래의 글을 보면,
Hyper-V sockets internals
; https://hvinternals.blogspot.com/2017/09/hyperv-socket-internals.html
"netsh winsock show catalog" 명령으로 Hyper-V 소켓을 구현한
Layered Service Provider(LSP)를 확인할 수 있다고 합니다. (개인적으로는 LSP가 더 이상 사용하지 않는 기술이라고 여겼는데, 이런 식으로 또 보게 되는군요. ^^;)
Winsock Catalog Provider Entry
------------------------------------------------------
Entry Type: Base Service Provider
Description: Hyper-V RAW
Provider ID: {1234191B-4BF7-4CA7-86E0-DFD7C32B5445}
Provider Path: %SystemRoot%\system32\mswsock.dll
Catalog Entry ID: 1011
Version: 2
Address Family: 34
Max Address Length: 36
Min Address Length: 36
Socket Type: 1
Protocol: 1
Service Flags: 0x20026
Protocol Chain Length: 1
...[생략]...
Winsock Catalog Provider Entry
------------------------------------------------------
Entry Type: Base Service Provider (32)
Description: Hyper-V RAW
Provider ID: {1234191B-4BF7-4CA7-86E0-DFD7C32B5445}
Provider Path: %SystemRoot%\system32\mswsock.dll
Catalog Entry ID: 1011
Version: 2
Address Family: 34
Max Address Length: 36
Min Address Length: 36
Socket Type: 1
Protocol: 1
Service Flags: 0x20026
Protocol Chain Length: 1
출력에 보면, 코드에서 사용했던 "Max Address Length"와 Address Family가 각각 36, 34라는 값들과 일치합니다.
// Address Family: AF_HYPERV == 34
// Socket Type: SocketType.Stream == 1
// Protocol: HV_PROTOCOL_RAW == 1
server = new Socket(HyperVSocket.AF_HYPERV, SocketType.Stream, HyperVSocket.HV_PROTOCOL_RAW);
// Max Address Length == Marshal.SizeOf<SOCKADDR_HV>() == 36
또한, Service Flags를 해당 문서에서는 다음의 조합이라고 알려주고 있는데요,
0x20026 = XP1_GUARANTEED_DELIVERY | XP1_GUARANTEED_ORDER | XP1_GRACEFUL_CLOSE | XP1_IFS_HANDLES
아무래도 메모리를 통한 직접 전송이다 보니, "DELIVERY"와 "ORDER"가 보장이 된다는 점은 충분히 수긍이 되는 내용입니다.
그나저나, 2016년부터 ws2def.h에 AF_HYPERV 상수가 추가되었다고 하니 거의 8년이 넘는 기술이었던 것을 저는 이제야 알게 되었군요. ^^;
[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]