Date: 23-25 May 2012

Venue: Chiang Mai University, Chiang Mai, Thailand

ANSCSE (Annual Symposium on Computational Science and Engineering) is an international forum for computational scientist and engineer held annually. The goal is to foster the collaboration among researchers in the field of computational science and engineering. ANSCSE also acts as a forum for researchers in Thailand and international partners to exchange new ideas, findings, and best practices.

ANSCSE 16 scientific program covers the most recent and advanced research on areas of computational science, computational engineering, and related disciplines. Authors are invited to submit extended abstracts or manuscripts that present original unpublished research in all areas of computational science and engineering. Topics of interest include, but are not limited to
Computational Biology
Computational Chemistry
Computational Mathematics
Computational Physics including Crystallographic computing and modeling
Computational Fluid Dynamics and Solid Mechanics
High Performance Computing and Grid computing, Computer Science and Engineering: Neuron Network, Artificial Intelligence, Data Mining, Digital Signal Processing, Image Processing and Algorithm for CSE

Official Site
http://anscse.lsr.nectec.or.th

- ในตัวอย่างนี้จะทำการ Migrate จาก Source VM ไปยัง Destination VM บนเครื่องเดียวกัน โดยแต่ละ VM จะทำงานอยู่คนละ Directory
- Source VM อยู่ที่ ~/Homework/CS797/src มีไฟล์ Base Image ชื่อ centos_base.img
- Destination VM อยู่ที่ ~/Homework/CS797/dst สร้างไฟล์ Image ชื่อ centos_migrate.img

Destination VM

- เริ่มจากส่วนของ Destination VM โดยทำการสร้าง Disk Image เปล่า ๆ แบบ QCOW2 ให้มีขนาดเท่ากับ Image ของ Source VM
$ qemu-img create -f qcow2 centos_migrate.img 8G
Formatting 'centos_migrate.img', fmt=qcow2 size=8589934592 encryption=off cluster_size=0

- ตรวจสอบขนาดของ Disk Image
$ ls -lh
total 512
-rw-r--r-- 1 phithak staff 256K Oct 5 21:28 centos_migrate.img

- รอการเชื่อมต่อที่พอร์ต 4444 เพื่อแสดงให้เห็นว่าเป็น Destination VM จึงเพิ่ม -name “CS797 Destination VM”
$ qemu -hda centos_migrate.img -boot c -m 256 -name "CS797 Destination VM" -incoming tcp:0:4444

- ภาพประกอบ (คำสั่งที่ใช้)

- ภาพประกอบ (Destination VM แสดงหน้าจอว่างเปล่า)

- เปิด Terminal ขึ้นมาใหม่ ทำการตรวจสอบพอร์ตที่เปิดรอ ด้วยคำสั่ง lsof -i:4444

Source VM

- เปิด VM ตามปกติ โดยเพิ่ม -name “CS797 Source VM” เพื่อแสดงให้เห็นว่าเป็น Source VM
$ qemu -hda centos_base.img -boot c -m 256 -name "CS797 Source VM"

- หน้า Source VM

- กด ctrl+alt+2 เพื่อเข้า monitor console

- เริ่มทำการ Migrate
(qemu) migrate -d -b tcp:127.0.0.1:4444

- ตรวจสอบสถานะการ Migrate
(qemu) info migrate

Destination VM

- หลังจากเริ่ม Migrate แล้ว สังเกตที่ Destination VM จะแสดงเปอร์เซ็นต์ของการ Copy Disk Image จาก Source VM

- รอจนครบ 100% จากนั้นหน้า Destination VM จะเหมือนกับ Source VM

- ตรวจสอบ ขนาด Disk Image ของ Destination VM
$ ls -lh
$ qemu-img info centos_migrate.img

Source VM

- ตรวจสอบสถานะของ Source VM อีกครั้ง หลังจาก Migrate เสร็จแล้ว พบว่า Source VM หยุดทำงาน
(qemu) info migrate
(qemu) info status

References

- http://wiki.qemu.org/download/qemu-doc.html
- http://www.linux-kvm.org/page/Migration

Laboratory

- http://vasabilab.cs.tu.ac.th

Mirror Site

- http://phithak.com/study-kvm-internal-4
- http://phithak.wordpress.com/2010/10/05/study-kvm-internal-4/

(ที่มา: การบ้าน หัวข้อ CS797 Exercise 8 – Study KVM internal 4 วิชา CS797 Advanced Topics in Computer Science – Introduction to Computer Virtualization ภาคเรียนที่ 1/2553 อาจารย์ผู้สอน ดร.กษิดิศ ชาญเชี่ยว ภาควิชาวิทยาการคอมพิวเตอร์ คณะวิทยาศาสตร์และเทคโนโลยี มหาวิทยาลัยธรรมศาสตร์)

 _______________________________
(                               )
(     !!! Coming Soon !!!       )
(_______________________________)
  o
   o   \_\_    _/_/
    o      \__/
           (oo)\_______
           (__)\       )\/\
               ||----w |
               ||     ||

Edited by

 _____  _    _ _____ _______ _    _          _  __
|  __ \| |  | |_   _|__   __| |  | |   /\   | |/ /
| |__) | |__| | | |    | |  | |__| |  /  \  | ' /
|  ___/|  __  | | |    | |  |  __  | / /\ \ |  <
| |    | |  | |_| |_   | |  | |  | |/ ____ \| . \
|_|    |_|  |_|_____|  |_|  |_|  |_/_/    \_\_|\_\

Laboratory

- http://vasabilab.cs.tu.ac.th

Mirror Site

- http://phithak.com/study-kvm-internal-3
- http://phithak.wordpress.com/2010/09/05/study-kvm-internal-3/

(ที่มา: การบ้าน หัวข้อ CS797 Exercise 7 – Study KVM internal 3 วิชา CS797 Advanced Topics in Computer Science – Introduction to Computer Virtualization ภาคเรียนที่ 1/2553 อาจารย์ผู้สอน ดร.กษิดิศ ชาญเชี่ยว ภาควิชาวิทยาการคอมพิวเตอร์ คณะวิทยาศาสตร์และเทคโนโลยี มหาวิทยาลัยธรรมศาสตร์)

- เพื่อให้ทำความเข้าใจ Code ของ KVM ได้ดียิ่งขึ้น จึงศึกษาเกี่ยวกับ Preprocessor เพิ่มเติม ที่ The C Preprocessor ยกตัวอย่างบางส่วนที่น่าสนใจและมีอยู่ใน Code ของ KVM คือ Macros ซึ่งมีสัญลักษณ์แปลก ๆ เช่น ## ที่ปรากฏอยู่ในหัวข้อ Concatenation

- เพื่อให้เข้าใจถึงกลไกของ Compiler ในการจัดการกับ Preprocessor ให้มากขึ้น จึงทดลองเขียนโปรแกรมที่มี Preprocessor อยู่ใน Code และทดลองใช้ Compiler ทำการ Compile แล้วดูผลลัพธ์ที่ได้จาก Preprocessor

- เขียนโปรแกรมภาษา C ง่าย ๆ

- ทำการ Compile โดยใช้คำสั่ง gcc -E เพื่อให้ Compiler ทำงานเฉพาะในส่วนของ Preprocessor ได้ผลดังภาพ

- สังเกตผลที่ได้ และ นำความรู้ในส่วนนี้ ไปประยุกต์ใช้ในการศึกษา Code ของ KVM ในหัวข้อต่อ ๆ ไป

Study block_init()

- ศึกษา block_init() จากไฟล์ module.h

 16 ...
 17 /* This should not be used directly.  Use block_init etc. instead.  */
 18 #define module_init(function, type)
 19 static void __attribute__((constructor)) do_qemu_init_ ## function(void) {
 20     register_module_init(function, type);
 21 }
 22
 23 typedef enum {
 24     MODULE_INIT_BLOCK,
 25     MODULE_INIT_DEVICE,
 26     MODULE_INIT_MACHINE,
 27     MODULE_INIT_MAX
 28 } module_init_type;
 29
 30 #define block_init(function) module_init(function, MODULE_INIT_BLOCK)
 31 #define device_init(function) module_init(function, MODULE_INIT_DEVICE)
 32 #define machine_init(function) module_init(function, MODULE_INIT_MACHINE)
 33
 34 void register_module_init(void (*fn)(void), module_init_type type);
 35 ...

- เขียนโปรแกรมอย่างง่าย โดยทำการ #include “module.h” เข้าไปด้วย บันทึกชื่อ block_init.c
- เรียกใช้ block_init(bdrv_qcow2_init) และ block_init(bdrv_raw_init)

- ใช้ Compiler ตรวจสอบการทำงานของ Preprocessor ด้วยคำสั่ง gcc -E block_init.c

- ผลที่ได้พบว่าเมื่อเรียกใช้ block_init(bdrv_qcow2_init) จะถูกเปลี่ยนเป็น

static void __attribute__((constructor)) do_qemu_init_bdrv_qcow2_init(void) {
    register_module_init(bdrv_qcow2_init, MODULE_INIT_BLOCK);
};

- และ block_init(bdrv_raw_init) ก็เช่นกัน

static void __attribute__((constructor)) do_qemu_init_bdrv_raw_init(void) {
    register_module_init(bdrv_raw_init, MODULE_INIT_BLOCK);
};

- ศึกษาเกี่ยวกับ Program Library Howto ในส่วนของ ((constructor)) พบว่า ฟังก์ชันที่ได้จาก Preprocessor ดังกล่าว อันได้แก่ do_qemu_init_bdrv_qcow2_init() และ do_qemu_init_bdrv_raw_init() จะทำงานในขณะโปรแกรมกำลังโหลดเข้าสู่ระบบ นั่นคือ ก่อนที่ dlopen() จะ return หรือก่อนเข้าฟังก์ชัน main()

- เพื่อให้เข้าใจมากขึ้นจึงเขียนโปรแกรม ที่มีการเรียกใช้ ((constructor))

- ทำการ Compile และ Run พบว่า ฟังก์ชัน hello() ทำงานก่อน main()

Study bdrv_open() and bdrv_close()

- ศึกษา Data Structure ที่เกี่ยวข้องกับฟังก์ชัน bdrv_open() และ bdrv_close() มีดังนี้

 ...
 356 int bdrv_open2(BlockDriverState *bs, const char *filename, int flags,
 357                BlockDriver *drv)
 ...
 ...
 507 void bdrv_close(BlockDriverState *bs)
 ...

- มี 4 ตัว แต่ที่โครงสร้างค่อนข้างซับซ้อนมี 2 ตัว ได้แก่ BlockDriverState และ BlockDriver

- ศึกษา BlockDriverState จาก block_int.h

125
126 struct BlockDriverState {
127     int64_t total_sectors; /* if we are reading a disk image, give its
128                               size in sectors */
129     int read_only; /* if true, the media is read only */
130     int removable; /* if true, the media can be removed */
131     int locked;    /* if true, the media cannot temporarily be ejected */
132     int encrypted; /* if true, the media is encrypted */
133     int valid_key; /* if true, a valid encryption key has been set */
134     int sg;        /* if true, the device is a /dev/sg* */
135     /* event callback when inserting/removing */
136     void (*change_cb)(void *opaque);
137     void *change_opaque;
138
139     BlockDriver *drv; /* NULL means no media */
140     void *opaque;
141
142     char filename[1024];
143     char backing_file[1024]; /* if non zero, the image is a diff of
144                                 this file image */
145     char backing_format[16]; /* if non-zero and backing_file exists */
146     int is_temporary;
147     int media_changed;
148
149     BlockDriverState *backing_hd;
150     /* async read/write emulation */
151
152     void *sync_aiocb;
153
154     /* I/O stats (display with "info blockstats"). */
155     uint64_t rd_bytes;
156     uint64_t wr_bytes;
157     uint64_t rd_ops;
158     uint64_t wr_ops;
159
160     /* Whether the disk can expand beyond total_sectors */
161     int growable;
162
163     /* the memory alignment required for the buffers handled by this driver
164     int buffer_alignment;
165
166     /* do we need to tell the quest if we have a volatile write cache? */
167     int enable_write_cache;
168
169     /* NOTE: the following infos are only hints for real hardware
170        drivers. They are not used by the block driver */
171     int cyls, heads, secs, translation;
172     int type;
173     char device_name[32];
174     unsigned long *dirty_bitmap;
175     BlockDriverState *next;
176     void *private;
177 };
178

- และศึกษา BlockDriver

 47
 48 struct BlockDriver {
 49     const char *format_name;
 50     int instance_size;
 51     int (*bdrv_probe)(const uint8_t *buf, int buf_size, const char *filename
 52     int (*bdrv_probe_device)(const char *filename);
 53     int (*bdrv_open)(BlockDriverState *bs, const char *filename, int flags);
 54     int (*bdrv_read)(BlockDriverState *bs, int64_t sector_num,
 55                      uint8_t *buf, int nb_sectors);
 56     int (*bdrv_write)(BlockDriverState *bs, int64_t sector_num,
 57                       const uint8_t *buf, int nb_sectors);
 58     void (*bdrv_close)(BlockDriverState *bs);
 59     int (*bdrv_create)(const char *filename, QEMUOptionParameter *options);
 60     void (*bdrv_flush)(BlockDriverState *bs);
 61     int (*bdrv_is_allocated)(BlockDriverState *bs, int64_t sector_num,
 62                              int nb_sectors, int *pnum);
 63     int (*bdrv_set_key)(BlockDriverState *bs, const char *key);
 64     int (*bdrv_make_empty)(BlockDriverState *bs);
 65     /* aio */
 66     BlockDriverAIOCB *(*bdrv_aio_readv)(BlockDriverState *bs,
 67         int64_t sector_num, QEMUIOVector *qiov, int nb_sectors,
 68         BlockDriverCompletionFunc *cb, void *opaque);
 69     BlockDriverAIOCB *(*bdrv_aio_writev)(BlockDriverState *bs,
 70         int64_t sector_num, QEMUIOVector *qiov, int nb_sectors,
 71         BlockDriverCompletionFunc *cb, void *opaque);
 72     BlockDriverAIOCB *(*bdrv_aio_flush)(BlockDriverState *bs,
 73         BlockDriverCompletionFunc *cb, void *opaque);
 74
 75     int (*bdrv_aio_multiwrite)(BlockDriverState *bs, BlockRequest *reqs,
 76         int num_reqs);
 77     int (*bdrv_merge_requests)(BlockDriverState *bs, BlockRequest* a,
 78         BlockRequest *b);
 79
 80
 81     const char *protocol_name;
 82     int (*bdrv_truncate)(BlockDriverState *bs, int64_t offset);
 83     int64_t (*bdrv_getlength)(BlockDriverState *bs);
 84     int (*bdrv_write_compressed)(BlockDriverState *bs, int64_t sector_num,
 85                                  const uint8_t *buf, int nb_sectors);
 86
 87     int (*bdrv_snapshot_create)(BlockDriverState *bs,
 88                                 QEMUSnapshotInfo *sn_info);
 89     int (*bdrv_snapshot_goto)(BlockDriverState *bs,
 90                               const char *snapshot_id);
 91     int (*bdrv_snapshot_delete)(BlockDriverState *bs, const char *snapshot_i
 92     int (*bdrv_snapshot_list)(BlockDriverState *bs,
 93                               QEMUSnapshotInfo **psn_info);
 94     int (*bdrv_get_info)(BlockDriverState *bs, BlockDriverInfo *bdi);
 95
 96     int (*bdrv_save_vmstate)(BlockDriverState *bs, const uint8_t *buf,
 97                              int64_t pos, int size);
 98     int (*bdrv_load_vmstate)(BlockDriverState *bs, uint8_t *buf,
 99                              int64_t pos, int size);
100
101     /* removable device specific */
102     int (*bdrv_is_inserted)(BlockDriverState *bs);
103     int (*bdrv_media_changed)(BlockDriverState *bs);
104     int (*bdrv_eject)(BlockDriverState *bs, int eject_flag);
105     int (*bdrv_set_locked)(BlockDriverState *bs, int locked);
106
107     /* to control generic scsi devices */
108     int (*bdrv_ioctl)(BlockDriverState *bs, unsigned long int req, void *buf
109     BlockDriverAIOCB *(*bdrv_aio_ioctl)(BlockDriverState *bs,
110         unsigned long int req, void *buf,
111         BlockDriverCompletionFunc *cb, void *opaque);
112
113     /* List of options for creating images, terminated by name == NULL */
114     QEMUOptionParameter *create_options;
115
116
117     /* Returns number of errors in image, -errno for internal errors */
118     int (*bdrv_check)(BlockDriverState* bs);
119
120     /* Set if newly created images are not guaranteed to contain only zeros
121     int no_zero_init;
122
123     struct BlockDriver *next;
124 };
125

- สังเกต ตัวแปรที่ขีดเส้นใต้ จะเห็นได้ว่าเป็น Pointer และส่วนใหญ่เป็น Pointer ที่ชี้หา Data Type ชนิดเดียวกัน ดังนั้น Data Structure จึงเป็นไปในลักษณะ Linked List โดย BlockDriver และ BlockDriverState มีความสัมพันธ์กันดังนี้

                     +----+----------------------+----+
                     |    |                      |    |
         *backing_hd |    |                      |    | *next
 ... <-----------------o  |   BlockDriverState   |  o-----------------> ...
                     |    |                      |    |
                     +----+----------------------+----+
                     |                o               |
                     +----------------|---------------+
                                      | *drv
                                      |
                                      V
                          +----------------------+----+
                          |                      |    |
                          |      BlockDriver     |    | *next
                          |                      |  o-----------------> ...
                          |                      |    |
                          +----------------------+----+

- Find out ‘WHEN” and “WHERE” the bdrv_open() function is called (!!! กำลังดำเนินการ ยังไม่แล้วเสร็จ !!!)
- Draw the function call graph for the bdrv_open() function (!!! กำลังดำเนินการ ยังไม่แล้วเสร็จ !!!)
- Describe what happen to the data structure in 2) when the bdrv_open() function is called to open an overlay hard disk image (!!! กำลังดำเนินการ ยังไม่แล้วเสร็จ !!!)

- ศึกษา bdrv_open() โดยเพิ่ม Code ในฟังก์ชัน bdrv_open2() ดังนี้

 356 int bdrv_open2(BlockDriverState *bs, const char *filename, int flags,
 357                BlockDriver *drv)
 358 {
 359     // Add by Phithak Thaenkaew
 360     int phithak_seq = rand() % 10000;   // Sequence number
 361     printf("Enter bdrv_open2(), Seq %04d, Flag %2d, Filename: %s\n",
 362         phithak_seq, flags, filename);
 363
 364     printf(" Before --\n");
 365     printf("  filename: %s\n", bs->filename);
 366     printf("  backing_file: %s\n", bs->backing_file);
 367     printf("  backing_format: %s\n", bs->backing_format);
 368     printf("  read_only: %d\n", bs->read_only);
 369     printf("  removable: %d\n", bs->removable);
 370
 371     printf("  *drv: %s\n", (bs->drv==NULL)?"NULL":"NOT NULL");
 372     if (!(bs->drv==NULL)) {
 373         printf("   ->format_name: %s\n", bs->drv->format_name);
 374         printf("   ->protocol_name: %s\n", bs->drv->protocol_name);
 375     }
 376
 377     printf("  *backing_hd: %s\n", (bs->backing_hd==NULL)?"NULL":"NOT NULL");
 378     if (!(bs->backing_hd==NULL)) {
 379         printf("   ->filename: %s\n", bs->backing_hd->filename);
 380         printf("   ->backing_file: %s\n", bs->backing_hd->backing_file);
 381         printf("   ->backing_format: %s\n", bs->backing_hd->backing_format);
 382         printf("   ->read_only: %d\n", bs->backing_hd->read_only);
 383         printf("   ->removable: %d\n", bs->backing_hd->removable);
 384     }
 385
 386     printf("  *next: %s\n", (bs->next==NULL)?"NULL":"NOT NULL");
 387     if (!(bs->next==NULL)) {
 388         printf("   ->filename: %s\n", bs->next->filename);
 389         printf("   ->backing_file: %s\n", bs->next->backing_file);
 390         printf("   ->backing_format: %s\n", bs->next->backing_format);
 391         printf("   ->read_only: %d\n", bs->next->read_only);
 392         printf("   ->removable: %d\n", bs->next->removable);
 393     }
 ...
 ...
 ...
 540     printf(" After -- \n");
 541     printf("  filename: %s\n", bs->filename);
 542     printf("  backing_file: %s\n", bs->backing_file);
 543     printf("  backing_format: %s\n", bs->backing_format);
 544     printf("  read_only: %d\n", bs->read_only);
 545     printf("  removable: %d\n", bs->removable);
 546
 547     printf("  *drv: %s\n", (bs->drv==NULL)?"NULL":"NOT NULL");
 548     if (!(bs->drv==NULL)) {
 549         printf("   ->format_name: %s\n", bs->drv->format_name);
 550         printf("   ->protocol_name: %s\n", bs->drv->protocol_name);
 551     }
 552
 553     printf("  *backing_hd: %s\n", (bs->backing_hd==NULL)?"NULL":"NOT NULL");
 554     if (!(bs->backing_hd==NULL)) {
 555         printf("   ->filename: %s\n", bs->backing_hd->filename);
 556         printf("   ->backing_file: %s\n", bs->backing_hd->backing_file);
 557         printf("   ->backing_format: %s\n", bs->backing_hd->backing_format);
 558         printf("   ->read_only: %d\n", bs->backing_hd->read_only);
 559         printf("   ->removable: %d\n", bs->backing_hd->removable);
 560     }
 561
 562     printf("  *next: %s\n", (bs->next==NULL)?"NULL":"NOT NULL");
 563     if (!(bs->next==NULL)) {
 564         printf("   ->filename: %s\n", bs->next->filename);
 565         printf("   ->backing_file: %s\n", bs->next->backing_file);
 566         printf("   ->backing_format: %s\n", bs->next->backing_format);
 567         printf("   ->read_only: %d\n", bs->next->read_only);
 568         printf("   ->removable: %d\n", bs->next->removable);
 569     }
 570     // Add by Phithak
 571     printf(" Exit bdrv_open2(), Seq %04d, Flag %2d, Filename: %s\n",
 572         phithak_seq, flags, filename);
 573     printf("----------------------------------------------------------\n");
 574
 575     return 0;
 576 }

- ผลที่ได้จากจากเรียกใช้โปรแกรมที่ทำการแก้ไข โดยกำหนดให้ใช้ centos_ovl2.img คือ

phithak@phithak-laptop hw04 $ qemu-system-x86_64 -hda centos_ovl2.img -boot c -m 256
Enter bdrv_open2(), Seq 9383, Flag  0, Filename: centos_ovl2.img
 Before --
  filename:
  backing_file:
  backing_format:
  read_only: 0
  removable: 0
  *drv: NULL
  *backing_hd: NULL
  *next: NULL
Enter bdrv_open2(), Seq 0886, Flag 16, Filename: centos_ovl2.img
 Before --
  filename:
  backing_file:
  backing_format:
  read_only: 0
  removable: 0
  *drv: NULL
  *backing_hd: NULL
  *next: NULL
 After --
  filename: centos_ovl2.img
  backing_file:
  backing_format:
  read_only: 1
  removable: 0
  *drv: NOT NULL
   ->format_name: raw
   ->protocol_name: (null)
  *backing_hd: NULL
  *next: NULL
 Exit bdrv_open2(), Seq 0886, Flag 16, Filename: centos_ovl2.img
----------------------------------------------------------
Enter bdrv_open2(), Seq 2777, Flag 18, Filename: centos_ovl2.img
 Before --
  filename:
  backing_file:
  backing_format:
  read_only: 0
  removable: 0
  *drv: NULL
  *backing_hd: NULL
  *next: NULL
 After --
  filename: centos_ovl2.img
  backing_file:
  backing_format:
  read_only: 0
  removable: 0
  *drv: NOT NULL
   ->format_name: raw
   ->protocol_name: (null)
  *backing_hd: NULL
  *next: NULL
 Exit bdrv_open2(), Seq 2777, Flag 18, Filename: centos_ovl2.img
----------------------------------------------------------
Enter bdrv_open2(), Seq 6915, Flag  2, Filename: centos_base.img
 Before --
  filename:
  backing_file:
  backing_format:
  read_only: 0
  removable: 0
  *drv: NULL
  *backing_hd: NULL
  *next: NULL
Enter bdrv_open2(), Seq 7793, Flag 16, Filename: centos_base.img
 Before --
  filename:
  backing_file:
  backing_format:
  read_only: 0
  removable: 0
  *drv: NULL
  *backing_hd: NULL
  *next: NULL
 After --
  filename: centos_base.img
  backing_file:
  backing_format:
  read_only: 1
  removable: 0
  *drv: NOT NULL
   ->format_name: raw
   ->protocol_name: (null)
  *backing_hd: NULL
  *next: NULL
 Exit bdrv_open2(), Seq 7793, Flag 16, Filename: centos_base.img
----------------------------------------------------------
Enter bdrv_open2(), Seq 8335, Flag 18, Filename: centos_base.img
 Before --
  filename:
  backing_file:
  backing_format:
  read_only: 0
  removable: 0
  *drv: NULL
  *backing_hd: NULL
  *next: NULL
 After --
  filename: centos_base.img
  backing_file:
  backing_format:
  read_only: 0
  removable: 0
  *drv: NOT NULL
   ->format_name: raw
   ->protocol_name: (null)
  *backing_hd: NULL
  *next: NULL
 Exit bdrv_open2(), Seq 8335, Flag 18, Filename: centos_base.img
----------------------------------------------------------
 After --
  filename: centos_base.img
  backing_file:
  backing_format:
  read_only: 0
  removable: 0
  *drv: NOT NULL
   ->format_name: qcow2
   ->protocol_name: (null)
  *backing_hd: NULL
  *next: NULL
 Exit bdrv_open2(), Seq 6915, Flag  2, Filename: centos_base.img
----------------------------------------------------------
 After --
  filename: centos_ovl2.img
  backing_file: centos_base.img
  backing_format:
  read_only: 0
  removable: 0
  *drv: NOT NULL
   ->format_name: qcow2
   ->protocol_name: (null)
  *backing_hd: NOT NULL
   ->filename: centos_base.img
   ->backing_file:
   ->backing_format:
   ->read_only: 0
   ->removable: 0
  *next: NULL
 Exit bdrv_open2(), Seq 9383, Flag  0, Filename: centos_ovl2.img
----------------------------------------------------------

Tools

– grep, vi editor, gcc

References

– http://gcc.gnu.org/onlinedocs/gcc-2.95.3/cpp_1.html
– http://www.faqs.org/docs/Linux-HOWTO/Program-Library-HOWTO.html#INIT-AND-CLEANUP

Mirror Site

- http://phithak.com/study-kvm-internal-2
- http://phithak.wordpress.com/2010/08/26/study-kvm-internal-2/

(ที่มา: การบ้าน หัวข้อ CS797 Exercise 6 – Study KVM internal 2 วิชา CS797 Advanced Topics in Computer Science – Introduction to Computer Virtualization ภาคเรียนที่ 1/2553 อาจารย์ผู้สอน ดร.กษิดิศ ชาญเชี่ยว ภาควิชาวิทยาการคอมพิวเตอร์ คณะวิทยาศาสตร์และเทคโนโลยี มหาวิทยาลัยธรรมศาสตร์)

Study the file “vl.c”

- ศึกษาไฟล์ vl.c เมื่อมีการเรียก -hda
- ตัวแปรที่เกี่ยวกับ -hda option คือ hda_opts เป็น pointer to QemuOpts (ประกาศบรรทัดที่ 4921)

4921     QemuOpts *hda_opts = NULL, *opts;

- QemuOpts เป็น struct มีการประกาศในไฟล์ qemu-option.c

483 struct QemuOpts {
484     char *id;
485     QemuOptsList *list;
486     QTAILQ_HEAD(QemuOptHead, QemuOpt) head;
487     QTAILQ_ENTRY(QemuOpts) next;
488 };

- QemuOptsList ศึกษาเพิ่มเติมได้ที่ qemu-option.h
- QTAILQ_HEAD และ QTAILQ_ENTRY ศึกษาเพิ่มเติมได้ที่ qemu-queue.h

- เมื่อมีการเรียก -hda จะมีการเรียกใช้ฟังก์ชัน drive_add() ในไฟล์ vl.c

1985 QemuOpts *drive_add(const char *file, const char *fmt, ...)
1986 {
1987     va_list ap;
1988     char optstr[1024];
1989     QemuOpts *opts;
1990
1991     va_start(ap, fmt);
1992     vsnprintf(optstr, sizeof(optstr), fmt, ap);
1993     va_end(ap);
1994
1995     opts = qemu_opts_parse(&qemu_drive_opts, optstr, NULL);
1996     if (!opts) {
1997         fprintf(stderr, "%s: huh? duplicate? (%s)\n",
1998                 __FUNCTION__, optstr);
1999         return NULL;
2000     }
2001     if (file)
2002         qemu_opt_set(opts, "file", file);
2003     return opts;
2004 }

- ศึกษา main(), main_loop(), main_loop_wait()

...
4207 static void main_loop(void)
4208 {
4209     int r;
4210
4211     if (kvm_enabled()) {
4212         kvm_main_loop();
4213         cpu_disable_ticks();
4214         return;
4215     }
4216
...

...
3954 void main_loop_wait(int timeout)
3955 {
3956     IOHandlerRecord *ioh;
3957     fd_set rfds, wfds, xfds;
3958     int ret, nfds;
3959     struct timeval tv;
3960
...

- main() เรียกใช้งาน main_loop()
- main_loop() เรียกใช้งาน main_loop_wait()
- ข้อสังเกต หาก Hardware รองรับ KVM ฟังก์ชัน main_loop() จะไปเรียก kvm_main_loop()

Study the “bdrv_open()”

- เปิดไฟล์ block.c
- ทำการตรวจสอบฟังก์ชัน bdrv_open() แล้ว พบว่า มีการเรียกใช้ bdrv_open2()
- ทำการแก้ไข bdrv_open2() โดยเพิ่ม printf เข้าไปในส่วนต้นและท้ายของฟังก์ชัน โดยแสดงค่า Sequence และ Filename สำหรับแยกแยะความแตกต่าง
- ในภาพเป็นการแทรก printf ในส่วนต้นของฟังก์ชัน (บรรทัดที่ 359-362)

- ในภาพเป็นการแทรก printf ในส่วนท้ายของฟังก์ชัน (บรรทัดที่ 509-511)

- จากนั้นทำการ Compile และติดตั้ง เหมือนกับการบ้านที่ผ่านมา
$ ./configure --prefix=/opt/kvm-ex5
$ make
$ sudo make install

- เมื่อเรียกใช้ KVM โดยใช้ Disk centos_base.img พบว่ามีการเรียกฟังก์ชัน bdrv_open2() จำนวน 3 ครั้ง เป็นการอ่าน centos_base.img ทั้ง 3 ครั้ง
- เมื่อเรียกใช้ KVM โดยใช้ Disk centos_ovl2.img พบว่ามีการเรียกฟังก์ชัน bdrv_open2() จำนวน 6 ครั้ง โดยอ่าน centos_base.img และ centos_ovl2.img อย่างละ 3 ครั้ง

- จากภาพ สังเกตเลข Sequence พบว่าเมื่อใช้ centos_base.img มีลำดับการเรียกฟังก์ชันดังนี้

bdrv_open2(centos_base.img)
  `-bdrv_open2(centos_base.img)
  `-bdrv_open2(centos_base.img)

- และเมื่อใช้ centos_ovl2.img มีลำดับการเรียกใช้ฟังก์ชันดังนี้

bdrv_open2(centos_ovl2.img)
  `-bdrv_open2(centos_ovl2.img)
  `-bdrv_open2(centos_ovl2.img)
  `-bdrv_open2(centos_base.img)
      `-bdrv_open2(centos_base.img)
      `-bdrv_open2(centos_base.img)

Mirror Site

- http://phithak.com/study-kvm-internal-1
- http://phithak.wordpress.com/2010/08/21/study-kvm-internal-1/

(ที่มา: การบ้าน หัวข้อ CS797 Exercise 5 – Study KVM internal 1 วิชา CS797 Advanced Topics in Computer Science – Introduction to Computer Virtualization ภาคเรียนที่ 1/2553 อาจารย์ผู้สอน ดร.กษิดิศ ชาญเชี่ยว ภาควิชาวิทยาการคอมพิวเตอร์ คณะวิทยาศาสตร์และเทคโนโลยี มหาวิทยาลัยธรรมศาสตร์)

 __________________________
(                          )
(        INTERNET          )
(__________________________)
    |
    |
    |
    |
    | eth0 172.22.5.20
+---+--------------------+
| Front-end              |
| `- Cloud Controller    |
|  - Cluster Controller  |
+---+--------------------+
    | eth1 192.168.40.1
    |
    |
    | eth1,br1 192.168.40.2
+---+--------------------+
| Compute node           |
| `- Node Controller     |
|                        |
+------------------------+

Problem

- พบปัญหาเกี่ยวกับ VM ที่กำหนด Harddisk ให้เป็นแบบ SCSI
- จะทำการทดลองอีกครั้ง กับ Linux ที่มี Kernel เวอร์ชันใหม่ ๆ (Ubuntu 10.04, Fedora 13, etc.)

Mirror Site

- http://phithak.com/eucalyptus-and-kvm-on-centos-1
- http://phithak.wordpress.com/2010/08/19/eucalyptus-and-kvm-on-centos-1/

จึงทดลอง Compile อีกครั้ง โดย Compile บน Linux ที่ติดตั้งบน Laptop (BenQ S32W) พบว่าไม่มีข้อความ Error แล้ว รายละเอียด ดังนี้

Prerequisites

- ทำเหมือน Compile and Install KVM on Linux หรือ Compile and Install KVM on Linux

- สิ่งที่ติดตั้งเพิ่มเติม
$ sudo apt-get install uuid uuid-dev curl libcurl4-dev libaio-dev libbluetooth-dev libvdeplug2-dev texi2html perl

Unpacking and Configuring

kvm-kmod

- ดาวน์โหลดและติดตั้งเหมือนเดิม จนกระทั่งถึงขั้นตอน add module ให้กับ kernel
$ sudo /sbin/modprobe kvm-intel

- ผลที่ได้คือ ไม่มีข้อความ Error แล้ว

qemu-kvm

- ดาวน์โหลดไฟล์เดิม – แก้ไขส่วนของ configure โดยเพิ่มให้ enable หลาย ๆ อย่าง
$ ./configure --prefix=/opt/kvm --enable-debug --enable-sdl --enable-curses --enable-kvm --enable-system --enable-system --enable-linux-user --enable-guest-base --with-kvm-trace --enable-uuid --enable-curl --enable-linux-aio --target-list=x86_64-softmmu,i386-softmmu --audio-drv-list=oss,alsa,sdl,esd,pa --audio-card-list=ac97,es1370,sb16,cs4231a,adlib,gus --enable-mixemu --enable-bluez --enable-vde

Using KVM

- ใช้งาน kvm ที่ได้จากการ Compile พบว่า ไม่มีข้อความ Error

Mirror Site

- http://phithak.com/compile-and-install-kvm-on-linux-improve
- http://phithak.wordpress.com/2010/08/01/compile-and-install-kvm-on-linux-improve/

+-------------------------+
|     Overlay Image 1     |
|                         |
| - Update to CentOS 5.5  |     +-------------------------+
| - Update kernel         |     |     Overlay Image 2     |
| - Install web server    |     |                         |
| - Add new user          |     | - Do nothing            |
|                         |     |                         |
|   167 MB after commit   |     |         256 kB          |
+-------------------------+     +-------------------------+
                    ^                  ^
                    |                  |
                    |                  |
             +---------------------------------+
             |                                 |
             |           Base Image            |
             |                                 |
             |       (CentOS 5.4 i386)         |
             |                                 |
             |             680 MB              |
             |                                 |
             +---------------------------------+

ในตัวอย่างนี้ เป็นการทดลองสร้าง Overlay Disk Image 2 ตัว บน Base Image ที่ติดตั้ง CentOS 5.4 โดยที่ตัวที่ 1 มีการเปลี่ยนแปลงข้อมูลใน Disk (Update/Install Software, Add User) หลังจากทำการ Commit แล้วพบว่า Overlay Disk มีขนาดเพิ่มขึ้น ในขณะที่ตัวที่ 2 ไม่มีการเปลี่ยนแปลงข้อมูลใด ๆ พบว่ามีขนาดเท่าเดิม รายละเอียดการทดลองมีดังนี้

PATH

เพื่อความสะดวกในการพิมพ์คำสั่ง kvm ที่ได้จากการ compile ในการบ้านที่ 3 (cs797-ex3) จึงมีการกำหนดตัวแปร PATH โดยใช้คำสั่ง export

$ export PATH=/opt/kvm/bin:$PATH

Create Base Image

สร้าง Disk Image สำหรับติดตั้ง Guest OS โดยกำหนดให้มีขนาด 2GB ในรูปแบบ qcow2

$ qemu-img create -f qcow2 centos_base.img 2G

Install Guest OS on Base Image

ทำการติดตั้ง CentOS 5.4 ลงบน Base Image โดยมีขั้นตอนดังนี้

- ดาวน์โหลดไฟล์สำหรับติดตั้ง ในตัวอย่างนี้เป็นการติดตั้งผ่าน http
$ wget http://mirror.issp.co.th/centos/5.4/isos/i386/CentOS-5.4-i386-netinstall.iso

- ทำการติดตั้ง OS โดยเรียกใช้คำสั่ง qemu-system-x86_64 (ติดตั้งแบบ Text Mode โดยการพิมพ์ linux text ที่ boot prompt)
$ qemu-system-x86_64 -hda centos_base.img -cdrom CentOS-5.4-i386-netinstall.iso -boot d -m 256

- ติดตั้งโดยไม่เลือกกลุ่มของซอฟต์แวร์ใด ๆ เลย เพื่อให้ Guest มีขนาดเล็ก

- ดำเนินการติดตั้งจนแล้วเสร็จ

- ทำการ Reboot

- ทำการตรวจสอบข้อมูลของ Guest (Release, Kernel Version, Disk Usage, etc.)

Create Overlay Disk Image

- สร้าง Overlay Disk Image ขึ้นมา 2 ตัว
$ qemu-img create -f qcow2 -b centos_base.img centos_ovl1.img
$ qemu-img create -f qcow2 -b centos_base.img centos_ovl2.img

Modify Guest OS on Overlay 1

- เปิด Guest ขึ้นมาโดยใช้ Overalay 1 (Disk Image) ในคำสั่งเพิ่ม Option -snapshot ด้วย
$ qemu-system-x86_64 -hda centos_ovl1.img -boot c -m 256 -snapshot

- Install/Update ซอฟต์แวร์บน Guest
$ yum update centos-release
$ yum update kernel
$ yum install httpd
$ yum install finger

- Add user ชื่อ phithak
$ mkdir -p /home/users
$ useradd -g users -c "Phithak Thaenkaew" -d /home/users/phithak phithak
$ passwd phithak
$ finger phithak

- เข้าสู่ Command Mode ด้วยการกดปุ่ม Ctrl + Alt + 2

- ทำการ Commit ด้วยคำสั่ง commit all เพื่อบันทึกความเปลี่ยนแปลงลงบน Overlay 1

- ปิด Guest ด้วยคำสั่ง quit ในหน้า Command Mode
(qemu) quit

Guest OS on Overlay 2

- เปิด Guest ขึ้นมาโดยใช้ Overalay 2 (Disk Image)
$ qemu-system-x86_64 -hda centos_ovl2.img -boot c -m 256 -snapshot

- ตรวจสอบข้อมูลของ Guest พบว่า เหมือนกับที่ติดตั้งให้ Base Image โดยไม่ได้มีการ Update ใด ๆ ทั้งสิ้น

- จากนั้น Shutdown

Guest OS on Overlay 1 (Again)

- เปิด Guest ขึ้นมา โดยใช้ Overlay 1 อีกครั้ง พบว่า Version ตอน Boot เป็น 5.5

- ตรวจสอบ Guest แล้วพบว่า ข้อมูลที่ได้ทำการ Update/Install ไว้ ยังอยู่ครบถ้วน

Image Size

- เปรียบเทียบขนาดของ Image ทั้งสาม (ก่อนและหลัง Commit) พบว่า Base Image มีขนาด 680 MB, Overlay 1 มีขนาดเพิ่มขึ้นเป็น 167 MB, Overlay 2 มีขนาด 256 KB เท่ากับตอนที่สร้าง

(ที่มา: การบ้าน หัวข้อ CS797 Exercise 4 – Create a COW Overlay Disk and use QEMU’s commit command วิชา CS797 Advanced Topics in Computer Science – Introduction to Computer Virtualization ภาคเรียนที่ 1/2553 อาจารย์ผู้สอน ดร.กษิดิศ ชาญเชี่ยว ภาควิชาวิทยาการคอมพิวเตอร์ คณะวิทยาศาสตร์และเทคโนโลยี มหาวิทยาลัยธรรมศาสตร์)

References

- http://wiki.qemu.org/download/qemu-doc.html
- http://www.h7.dion.ne.jp/~qemu-win/HowToFloppyCdrom-en.html

Mirror Site

- http://phithak.com/kvm-overlay-disk-image
- http://phithak.wordpress.com/2010/07/18/kvm-overlay-disk-image/

Prerequisites

- ทำการ remove โปรแกรม kvm ที่เคยติดตั้งไปแล้ว (จากการบ้าน cs797-ex1)

$ sudo apt-get remove qemu-kvm
Reading package lists... Done
Building dependency tree
Reading state information... Done
...

- ติดตั้งโปรแกรมที่จำเป็นสำหรับการ Compile

$ sudo apt-get install gcc libsdl1.2-dev zlib1g-dev libasound2-dev linux-kernel-headers pkg-config libgnutls-dev libpci-dev

- ตรวจสอบ Kernel Version ของ Ubuntu (พบ 2.6.32-23) เป็นข้อมูลไว้สำหรับเลือกดาวน์โหลด KVM ให้ตรงกับ Kernel

$ uname -a
Linux ubuntu 2.6.32-23-generic #37-Ubuntu SMP Fri Jun 11 07:54:58 UTC 2010 i686 GNU/Linux

Unpacking and Configuring

kvm-kmod

- ดาวน์โหลด kvm-kmod-2.6.32.12 จาก http://sourceforge.net/projects/kvm/files/ และทำการ extract


$ bunzip2 kvm-kmod-2.6.32.12.tar.bz2
$ tar xvf kvm-kmod-2.6.32.12.tar
$ cd kvm-kmod-2.6.32.12


- Compile และ Install
$ ./configure
$ make
$ sudo make install

- ภาพตัวอย่าง

- ทำการ Reboot เครื่อง

- เปิด Terminal แล้วพิมพ์คำสั่ง เพื่อ add module ให้กับ kernel

$ sudo /sbin/modprobe kvm-intel

- ปรากฏว่าพบ Error เกี่ยวกับ Hardware ที่ไม่รองรับ ซึ่งจะมองข้ามตรงนี้ไปก่อน

qemu-kvm

- ดาวน์โหลด qemu-kvm-0.12.4 จาก http://sourceforge.net/projects/kvm/files/ และทำการ extract

$ tar xvfz qemu-kvm-0.12.4.tar.gz
$ cd qemu-kvm-0.12.4

- Compile และ Install (ติดตั้งไว้ที่ /opt/kvm)
$ ./configure --prefix=/opt/kvm
$ make
$ sudo make install


- ภาพประกอบ

Creating a disk image for the guest

- สร้าง disk image ด้วยคำสั่ง qemu-img ที่ได้จากการ compile โดยสร้างให้มีขนาด 3 GB ในรูปแบบของ qcow2
$ /opt/kvm/bin/qemu-img create -f qcow2 hda.img 3G

- ภาพประกอบ

Installing DSL (Damn Small Linux)

- ดาวน์โหลด DSL จาก http://www.damnsmalllinux.org/download.html

- ติดตั้งลงบน disk image ที่สร้างไว้ (hda.img) โดยใช้ตัวติดตั้งจาก DSL iso ที่ดาวน์โหลดมา ใช้คำสั่งดังนี้
$ /opt/kvm/bin/qemu-system-x86_64 -hda hda.img -cdrom dsl-4.4.10.iso -boot d -m 256

- ขั้นตอนการติดตั้ง สามารถดูได้ที่ Install Damn Small Linux (DSL) in QEMU VM หรือ Install Damn Small Linux (DSL) in QEMU VM
- ภาพประกอบ (คลิกเพื่อดูภาพใหญ่)

Running DSL (Damn Small Linux)

- หลังจากติดตั้งเสร็จแล้ว พิมพ์คำสั่งเพื่อใช้งาน DSL โดยกำหนดให้ boot จาก harddisk

$ /opt/kvm/bin/qemu-system-x86_64 -hda hda.img -boot c -m 256

- ภาพประกอบ (คลิกเพื่อดูภาพใหญ่)

References

- http://www.linux-kvm.org/page/HOWTO1

Mirror Site

- http://phithak.com/compile-and-install-kvm-on-linux

- http://phithak.wordpress.com/2010/07/08/compile-and-install-kvm-on-linux/

(ที่มา: การบ้าน หัวข้อ CS797 Exercise 3 – Compile and Install KVM on your Ubuntu System วิชา CS797 Advanced Topics in Computer Science – Introduction to Computer Virtualization ภาคเรียนที่ 1/2553 อาจารย์ผู้สอน ดร.กษิดิศ ชาญเชี่ยว ภาควิชาวิทยาการคอมพิวเตอร์ คณะวิทยาศาสตร์และเทคโนโลยี มหาวิทยาลัยธรรมศาสตร์)

                                  +------------------------+
                                  |                        |
                                  |     Application A      |
                                  |                        |
+------------------------+        +------------------------+
|                        |        |                        |
|     Application A      |        |     Something Layer    |
|                        |        |                        |
+------------------------+        +------------------------+
|                        |        |                        |
|     Architecture A     |        |   Other Architecture   |
|                        |        |                        |
+------------------------+        +------------------------+

Computer Virtualization คืออะไรบางอย่างที่ทำให้สามารถนำซอฟต์แวร์หนึ่ง (ที่ไม่ได้ดัดแปลง) ไปใช้งานบนสถาปัตยกรรมต่าง ๆ ได้ โดยผู้ใช้ไม่รู้สึกถึงความแตกต่างของการทำงาน

2. จงอธิบายประโยชน์และข้อเสียของ Virtualization ว่ามีอะไรบ้าง
ข้อดี
– เพิ่ม Utilization
– มีคุณสมบัติ Sandboxing
– Multiple execution environments
– Virtual hardware
– Debugging/Testing
– Software migration (Mobility)
ข้อเสีย
– Reduced Speed เนื่องจากเกิด Overhead
– Security เพิ่มเครื่อง = เพิ่มช่องโหว่
– ปัญหาลิขสิทธิ์

3. Process Virtual Machine มีลักษณะอย่างไร
เป็น Virtual Machine ในระดับ ABI เรียกอีกชื่อว่า Runtime System/Environment

4. System Virtual Machine มีลักษณะอย่างไร
เป็น Virtual Machine ในระดับ ISA สามารถจำลอง Hardware ต่าง ๆ ได้ สามารถจำลองเครื่องคอมพิวเตอร์หลาย ๆ เครื่องแยกกันได้

5. Classic Virtual Machine Monitor (VMM) แตกต่างจาก Hosted Virtual Machine อย่างไร
VMM คล้าย ๆ จะเป็น HostOS เอง จัดการทรัพยากรของเครื่องโดยตรง สำหรับ Hosted Virtual Machine จะเป็น Virtualization Software ที่รันอยู่บน HostOS

6. จงอธิบายว่า Vitrualization Software ต่อไปนี้มีลักษณะอย่างไรและสร้าง Virtual Machine แบบไหน
– Xen เป็น System VM → VMM (Paravirtualization & HW-assisted Virtualization)
– Hyper-V เป็น System VM → VMM (ของ Microsoft เดิมคือ Windows Server Virtualization)
– Vmware-ESX เป็น System VM → VMM
– Kernel-based Virtual Machine เป็น System VM → Hosted VM (ติดตั้งบน HostOS)
– OpenVZ เป็น System VM → Hosted VM (OS-level virtualization) Host & Guest เป็น Linux

(ที่มา: การบ้าน หัวข้อ CS797 Exercise 2 – Virtualization Concepts วิชา CS797 Advanced Topics in Computer Science – Introduction to Computer Virtualization ภาคเรียนที่ 1/2553 อาจารย์ผู้สอน ดร.กษิดิศ ชาญเชี่ยว ภาควิชาวิทยาการคอมพิวเตอร์ คณะวิทยาศาสตร์และเทคโนโลยี มหาวิทยาลัยธรรมศาสตร์)

Mirror Site

- http://phithak.com/virtualization-concepts
- http://phithak.wordpress.com/2010/07/08/virtualization-concepts/