英文原文：https://lwn.net/Articles/658511/。本文在翻译的基础上加了一些自己的理解。

qemu、virtual box、vmware、xen都是虚拟机，一般用户接触到的virtual box和vmware比较多，都是用来ubuntu中跑windows，或者windows中跑ubuntu的。

qemu其实是鼎鼎大名的最基础的开源模拟器，可以纯软件模拟x86、arm、mips，这一点完虐其它模拟器；也可以使用硬件加速，比如linux下kvm和windows以及mac下的haxm。这些硬件加速又是基于initel VT-x, intel VT-d，以及amd对应的技术，这些技术提供了vCPU，以及硬件的影子页表(intel EPT)，大大减轻了qemu软件模拟的工作量。

virtual box，qemu-kvm都使用到了qemu，但是仅仅用到了它的设备模拟功能。qemu对于gpu的模拟比较渣，所以基于qemu的android emulator自己实现了opengles 的qemu pipe，使用host电脑上的opengl进行绘图。

xen在云计算中用的比较多，在这里不做详细介绍。其它模拟器基本都是运行在普通操作系统之上的一个进程，每一个核是其中的一个线程。

本文介绍kvm的使用，在intel平台下ubuntu12.04中实现一个最简单的模拟器，计算2+2的结果并通过io端口输出。

内核中kvm api的介绍可以看：Documentation/virtual/kvm/api.txt，其它的一些文档：Documentation/virtual/kvm/。完整的源码：https://lwn.net/Articles/658512/。

使用kvm的真正的虚拟机，模拟了很多虚拟的设备和固件，还有复杂的初始化状态(各个设备的初始化，CPU寄存器的初始化等)，以及内存的初始化。本文所述的模拟器demo，将使用如下16bit的x86的代码(为什么是16bit呢，因为x86一上电是实模式，工作于16bit；之后再切换到32bit的保护模式的)：

    mov $0x3f8, %dx
    add %bl, %al
    add $'0', %al
    out %al, (%dx)
    mov $'\n', %al
    out %al, (%dx)
    hlt

我们把这段代码对应的二进制存到数组里面：

    const uint8_t code[] = {
	0xba, 0xf8, 0x03, /* mov $0x3f8, %dx */
	0x00, 0xd8,       /* add %bl, %al */
	0x04, '0',        /* add $'0', %al */
	0xee,             /* out %al, (%dx) */
	0xb0, '\n',       /* mov $'\n', %al */
	0xee,             /* out %al, (%dx) */
	0xf4,             /* hlt */
    };

shuyin.wsy@10-101-175-19:~$ cat simple_os.asm
    mov $0x3f8, %dx
    add %bl, %al
    add $'0', %al
    out %al, (%dx)
    mov $'\n', %al
    out %al, (%dx)
    hlt
shuyin.wsy@10-101-175-19:~$ as -o simple_os.o simple_os.asm
shuyin.wsy@10-101-175-19:~$ objdump -d  simple_os.o

simple_os.o:     file format elf64-x86-64


Disassembly of section .text:

0000000000000000 <.text>:
   0:	66 ba f8 03          	mov    $0x3f8,%dx
   4:	00 d8                	add    %bl,%al
   6:	04 30                	add    $0x30,%al
   8:	ee                   	out    %al,(%dx)
   9:	b0 0a                	mov    $0xa,%al
   b:	ee                   	out    %al,(%dx)
   c:	f4                   	hlt

http://wiki.osdev.org/X86-64_Instruction_Encoding里面的Prefix group 3

所以我们需要在simple_os.asm文件的开头添加.code16，这样的话就对了，但是objdump显示的又不对了，需要这样使用才行：

shuyin.wsy@10-101-175-19:~$ objdump -d -Mintel,i8086 simple_os.o

simple_os.o:     file format elf64-x86-64


Disassembly of section .text:

0000000000000000 <.text>:
   0:	ba f8 03             	mov    dx,0x3f8
   3:	00 d8                	add    al,bl
   5:	04 30                	add    al,0x30
   7:	ee                   	out    dx,al
   8:	b0 0a                	mov    al,0xa
   a:	ee                   	out    dx,al
   b:	f4                   	hlt

https://sourceware.org/binutils/docs/as/i386_002d16bit.html

http://stackoverflow.com/questions/1737095/how-do-i-disassemble-raw-x86-code

我们会把这段代码，放到虚拟物理内存，也就是GPA(guest physical address)的第二个页面中(to avoid conflicting with a non-existent real-mode interrupt descriptor table at address 0)，防止和实模式的中断向量表冲突。al和bl初始化为2，cs初始化为0，ip指向第二个页面的起始位置0x1000。

除此之外，我们还有一个虚拟的串口设备，端口是0x3f8，8bit，用于输出字符。

为了实现一个虚拟机，我们首先需要打开/dev/kvm：

kvm = open("/dev/kvm", O_RDWR | O_CLOEXEC);

    ret = ioctl(kvm, KVM_GET_API_VERSION, NULL);
    if (ret == -1)
	err(1, "KVM_GET_API_VERSION");
    if (ret != 12)
	errx(1, "KVM_GET_API_VERSION %d, expected 12", ret);

检查完api版本后，可以使用KVM_CHECK_EXTENSION ioctl()去检查其它extensions是否可用，比如KVM_SET_USER_MEMORY_REGION，用来检查kvm是否支持硬件影子页表(http://royluo.org/2016/03/13/kvm-mmu-virtualization/)：

    ret = ioctl(kvm, KVM_CHECK_EXTENSION, KVM_CAP_USER_MEMORY);
    if (ret == -1)
	err(1, "KVM_CHECK_EXTENSION");
    if (!ret)
	errx(1, "Required extension KVM_CAP_USER_MEM not available");

vmfd = ioctl(kvm, KVM_CREATE_VM, (unsigned long)0);

我们先在host中申请一页内存，然后把guest os裸奔的代码拷贝过去：

mem = mmap(NULL, 0x1000, PROT_READ | PROT_WRITE, MAP_SHARED | MAP_ANONYMOUS, -1, 0);
memcpy(mem, code, sizeof(code));

    struct kvm_userspace_memory_region region = {
	.slot = 0,
	.guest_phys_addr = 0x1000,
	.memory_size = 0x1000,
	.userspace_addr = (uint64_t)mem,
    };
    ioctl(vmfd, KVM_SET_USER_MEMORY_REGION, &region);

现在，我们有了一个虚拟机vm，有了一些虚拟物理内存，内存里面有guest os的代码，那么我们需要给虚拟机添加一个核(vCPU)，对应一个线程。当然也可以多核(vCPUs，调用多次KVM_CREATE_VCPU)：

vcpufd = ioctl(vmfd, KVM_CREATE_VCPU, (unsigned long)0);

mmap_size = ioctl(kvm, KVM_GET_VCPU_MMAP_SIZE, NULL);
run = mmap(NULL, mmap_size, PROT_READ | PROT_WRITE, MAP_SHARED, vcpufd, 0);

    ioctl(vcpufd, KVM_GET_SREGS, &sregs);
    sregs.cs.base = 0;
    sregs.cs.selector = 0;
    ioctl(vcpufd, KVM_SET_SREGS, &sregs);

    struct kvm_regs regs = {
	.rip = 0x1000,
	.rax = 2,
	.rbx = 2,
	.rflags = 0x2,
    };
    ioctl(vcpufd, KVM_SET_REGS, &regs);

    while (1) {
	ioctl(vcpufd, KVM_RUN, NULL);
	switch (run->exit_reason) {
	/* Handle exit */
	}
    }

    case KVM_EXIT_HLT:
	    puts("KVM_EXIT_HLT");
	    return 0;

    case KVM_EXIT_FAIL_ENTRY:
	    errx(1, "KVM_EXIT_FAIL_ENTRY: hardware_entry_failure_reason = 0x%llx",
		 (unsigned long long)run->fail_entry.hardware_entry_failure_reason); 
    case KVM_EXIT_INTERNAL_ERROR:
	    errx(1, "KVM_EXIT_INTERNAL_ERROR: suberror = 0x%x",
	         run->internal.suberror);

case KVM_EXIT_IO:
	    if (run->io.direction == KVM_EXIT_IO_OUT &&
		    run->io.size == 1 &&
		    run->io.port == 0x3f8 &&
		    run->io.count == 1)
		putchar(*(((char *)run) + run->io.data_offset));
	    else
		errx(1, "unhandled KVM_EXIT_IO");
	    break;

测试结果：

tree@tree-OptiPlex-7010:~/Desktop$ gcc -o kvmtest kvmtest.c
tree@tree-OptiPlex-7010:~/Desktop$ ./kvmtest 
4
KVM_EXIT_HLT

ubuntu12.04环境下使用kvm ioctl接口实现最简单的虚拟机