Мне часто приходится общаться с заказчиками и видеть проекты связанных с виртуализацией на платформе x86. Я хотел бы поделиться некоторыми своими ощущениями и немного опытом: каковы особенности настройки СУБД в виртуализированном окружении, и вообще что дает виртуализация в итоге.
В качестве гипервизора я использую OracleVM for x86, хотя все идеи применимы к любой системе виртуализации.
Итак, вот ситуация из жизни реального заказчика из сегмента middle-бизнеса (фильм основан на реальных событиях, - любые совпадения абсолютно случайны :-) ):
- есть два приложения, которые сейчас работают каждое на своем сервере;
- первое приложение представляет собой систему учета персонала, этот софт разработан независимым поставщиком, работает под управлением Oracle Database версии 10.2 на Linux ;
- второе приложение было разработано собственными силами: использутся Oracle Database 11.2, Oracle HTTP Server 11.1 и APEX (все на платформе Windows x64), эта система автоматизирует вспомогательные бизнес-процессы в компании;
- от этих двух СУБД не требуется экстремальной производительности, и они не являются business-critical (допустимое время простоя измеряется парой часов).
Пришло время менять оборудование - серверы морально и физически устарели. Возникла идея разместить эти две СУБД на одном сервере с помощью виртуальных машин (производительности обычного 2-х сокетного сервера на последних процессорах Intel для этих задач вполне достаточно).
Только факты:
На сервере установлено 4 жестких диска:
- два SAS диска по 300 Гб (15000 об/м)
- два SATA диска по 2 Тб (7200 об/м)
Оперативная память - 16Гб.
Два сетевых интерфейса 1Гб/сек.
Каждая пара дисков была объединена в зеркало, таким образом имеется 300 Гб пространства на быстрых дисках и 2 Тб - на медленных.
Вообщем обычный и недорогой 2-х сокетный сервер начального уровня.
На первом этапе было спланирована структура виртуальных машин (каждая ВМ состоит из 4-х дисков):
Образ диска ВМ с операционной системой (файл system.img);
Образ диска ВМ с выполняемыми файлами (файл orahome.img);
Образ диска ВМ с файлами данных СУБД (размещен напрямую на физическом разделе быстрого жесткого диска);
Образ диска ВМ с файлами flash recovery area и архивными логами (размещен напрямую на физическом разделе медленного жесткого диска).
На сервер был установлен Oracle VM 2.2.1.
Быстрый жесткий диск был разбит на разделы (partitions) следующим образом:
1-ый раздел: 20Гб - для операционной системы Oracle VM (отформатирован);
2-ый раздел: 70Гб - (НЕ форматирован);
3-ый раздел: 70Гб - (НЕ форматирован);
4-ый раздел: 70Гб - (НЕ форматирован);
5-ый раздел: 70Гб - (НЕ форматирован).
Что касается медленного жесткого диска, то он был разбит вот так:
1-ый раздел: 750Гб - для хранения файлов образов ВМ (отформатирован);
2-ый раздел: 250Гб - (НЕ форматирован);
3-ый раздел: 250Гб - (НЕ форматирован);
4-ый раздел: 250Гб - (НЕ форматирован);
5-ый раздел: 250Гб - (НЕ форматирован);
6-ый раздел: 250Гб - (НЕ форматирован).
Думаю идея вам понятна: данные, к которым не требуется быстрого доступа, размещаются на дешевых и медленных SATA-дисках, данные к которым нужен быстрый доступ (файлы данных СУБД) - на дорогих и быстрых SAS-дисках. При этом, для увеличения скорости ввода-вывода в вмртуальном окружении, гостевая машина работает с данными необходимыми СУБД напрямую, - виртуальный диск напрямую размещен на физическом разделе быстрого жесткого диска).
Вот строки из конфигурационного файла гостевой машины:
disk = [
'file:' + root_dir + '/system.img,hda,w',
'file:' + root_dir + '/orahome.img,hdb,w',
'phy:/dev/sda5,hdc,w!',
'phy:/dev/sdb5,hdd,w!'
]
Я уже писал ранее, что 10.2.0.4 с некоторыми ограничениями сертифицирован под Oracle VM. А вот и свежая статья как именно стоит его устанавливать. Тут же Вам наверняка будет интересно, как Использовать Clusterware для защиты Oracle VM Manager.
И поскольку Oracle VM - это бесплатный продукт, мы совершенно не получаем денег за его рекламу :). Просто этот вариант сертифицирован, а значит идеально подходит для разработки и тестирования. С другой стороны, Oracle VM ставится на "голое железо", что может быть не очень удобно для первого ознакомления. Именно поэтому, Игорь Мельников (igor.melnikov) всегда поддерживает параллельно и образы наших машин для VMware.
Семинар по Oracle VM пока отложен - нужно время, чтобы переварить полученные новости.
Update 08.10.2008
Поправлена ссылка на статью. Извините за очепятки.
На днях вышла новая версия Oracle VM - 2.1.2
В номере версии изменилась лишь третья цифра, но перечень новых возможностей довольно значителен:
Понравилась подборка ссылок:
Oracle Linux Home Page: http://oracle.com/linux
Linux Technology Center: http://www.oracle.com/technology/tech/linux/
Unbreakable Linux Network: https://linux.oracle.com
Unbreakable Linux Network: An Overview: http://www.oracle.com/technologies/linux/uln-whitepaper.pdf
Oracle VM Home Page: http://oracle.com/virtualization
Virtualization Technology Center: http://www.oracle.com/technology/tech/virtualization/
Oracle VM Wiki: http://wiki.oracle.com/page/Oracle+VM?t=anon
Oracle VM templates http://www.oracle.com/technology/products/vm/templates.html
На metalink появилась инструкция (567407.1) как установить RAC под Oracle VM. К сожалению, пока сертификации нет, эта нота закрытая. Следите за Note:464754.1 "Certified Software on Oracle VM"
PS
По секрету - я поставил. Работает как часы. Гораздо удобнее и конфортнее, чем с VmWare. Производительность не сравнивал, да и бесполезно, но на глаз - небо и земля. Однозначно можно рекомендовать такую конструкцию для средств разработки, как только будет сертификация. Инструкцию выложу.
Первый семинар ORACLE VM: INTRODUCTION FOR PARTNERS прошел, на мой взгляд успешно. Был выбран парнер, в техническом уровне специалистов которого сомневаться не приходится. И действительно, я узнал не меньше нового, чем слушатели :)
Пара вопросов, оставшися на презентации без ответа, на которые я нашел ответы:
Q. Можно ли аллокировать место под виртуальную машину не сразу, а по мере необходимости ?
A Можно с помощью sparse файлов
dd if=/dev/zero of=vm1disk bs=1k seek=2048k count=1 disk = ['file:/full/path/to/vm1disk,sda1,w']
Такой файл реально занимает только 1k на диске.
Искать по слову File-backed VBD в документации XEN
Q. Как изменить кол-во памяти, занимаемое доменом Dom0 ?
A. В grub.conf есть параметр dom0 mem=xxx
Над остальными **цатью - думаю :))))
PS. Комментарий одного из слушателей
"Продолжение традиций и формата семианар RAC DD4D - большой плюс"
Действительно я показал на ноутбуке полностью все компоненты Oracle VM, мы поставили Oracle VM server и гостевую ОС в режиме паравиртуализации. Мелочь - но приятно увидеть что-то кроме слайдов :)
PS2. Если Вы партнер Oracle и хотели бы провести у себя такой семинар - обращайтесь пожалуйста к своему менеджеру в партнерский отдел Oracle.
Удалось изменить мнение об Oracle VM в лучшую сторону. Наш консалтинг из Голландии провел семинар, на котором показал некоторые очень полезные трюки.
Трюк N1.
Как известно, Oracle VM необходимо ставить на голое железо. А значит, нужно как то разбивать существующий жесткий диск, или вообще терять его содержимое. Это неудобно. Тогда берется внешний USB диск и Oracle VM ставиться на него :)
Трюк N2.
Нет внешнего USB диска ? Не беда, берем VMware и ставим Oracle VM под VMware. А затем ставим paravirtualized OEL5.1. И все замечательно работает ! Конечно, в такой ситуации, мы не можем запускать full virtualized guest, поскольку Oracle VM не имеет контроля над физической машиной. Никаких проблем с созданием вирутальных интерфейсов для кластера нет.
Трюк N3.
Хочется запусть 11g RAC ? Никаких проблем. Где угодно в сети ставим openfiler и наши ноды замечательно работают с общей БД по протоколу ISCSI. Openfiler требует всего лишь 256mb памяти. Производительность для демо целей вполне достаточная.
Итого, на ноутбуке с 2 gb памяти у меня стоит и работает одновременно openfiler, oracle vm manager, oracle VM c OEL5. Более чем достаточно, для изучения всей инфраструктуры.
Кстати, не слишком дорого приобрести внеший диск скажем 1 Tb, который подключается по Ethernet и изображает из себя NFS. 11g RAC сертифицирован с некоторыми NFS устройствами, что позволяет надеяться, что для тестовых целей можно взять не сертифицированное устройство. В интернете легко можно найти подробности установки. Берете машину с 3 Ghz 2 core, 4 gb памяти, грузитесь в внешнего винта, всю базу размещаете на NFS. Если поставите паравиртуализационное ядро производительность будет более чем достаточной для разработки.
В заключении приведу несколько полезных ссылок по Oracle VM.
http://www.oracle.com/technology/software/products/virtualization/vm_templates.html
http://www.oracle.com/technology/software/products/virtualization/vm_templates_other.html
http://wiki.oracle.com/page/Oracle+VM?t=anon
http://wiki.oracle.com/page/Oracle+VM+Server+use+case%3A+multiple+networks%2C+multipathed+SAN+storage
https://metalink.oracle.com/metalink/plsql/f?p=130:7:1569024644646411356:::::
http://www.google.com/ncr :))))
Вот например такой трюк я нашел пользуясь перечисленными выше ссылками:
xm list дает список всех доменов
/usr/lib/xen/bin/xenconsole
ctrl+] - выйти из консоли.
Анонс:
Готовится к выходу первый семинар для партнеров по Oracle VM.
Можно будет "заказывать" начиная со второй половины апреля.
Обновили описание Partitioning'а. Теперь в разделе hard partitioning появилась Oracle VM. Т.е. при условии указания в конфигурационном файле виртуальной машины кол-ва процессоров лицензию можно приобретать только на указанное кол-во процессоров. Может быть и появятся какие-то доп. разъяснения, но в принципе уже все понятно и должно работать. Сделан сильный шаг в сторону продвижения Oracle VM. Пока не появилось дополнительного документа, стоит предполагать, что использование Oracle VM, как и любое hardware partitioning не дает возможности обойти правило "maximum capacity of" прайс-листа. Т.е. перед попытками лицензировать семейство SE* необходимо соблюсти правила лицензирования на физическую машину, а затем уже оплачивать процессоры, выделенные виртуальной машине.
PS. Если не указывать кол-во процессоров, то Oracle VM будет Software partitioning, о чем сказано все в том же pdf.
Только я собирался пожаловаться в очередной раз на документацию по Oracle VM, как я нашел великолепную серию статей Oracle VM Server use case: multiple networks, multipathed SAN storage
Очень подробно, с картинками, рассказывается как построить производственную среду на основе Oracle VM. Подробные и точные инструкции, как настроить сеть, ocfs2 , SAN под Oracle VM.
Документация очень высокого уровня. Далеко не всегда, выполняя проекты для заказчика (за деньги, и не маленькие !) пишут столь же подробно. Очень рекомендую.
И мне кажется, теперь не осталось преград на пути внедрения Oracle VM :)
Кстати, если Вы захотите поучиться Oracle VM в нашем ISV Migration Center'е - и Ваша организация - ISV- напишите мне (Dmitry.Volkov) . В IMC серьезное "железо", поэтому можно будет попробовать почти все описанное в выше приведенных ссылках.
Удалось немного познакомиться с Oracle VM. В него входят два продукта - Oracle VM Server (xen) и Oracle VM manager. Oracle VM Server - это известный open source продукт Xen, очень интересный своей возможностью выполнять паравиртуализационные ядра и Oracle VM manager - web интерфейс управления, написанный Oracle. Oracle также разрабатывает паравиртуализационные драйвера и готовит ядра (HVM и PVM) .
Oracle VM Server ставится очень быстро и легко (15 минут), представляет собой модифицированное ядро Linux 2.6.18-8.1.6.0.18.el5xen и должен ставится только на "голое" железо, что конечно неудобно тем, кто хотел бы попробовать.
Oracle VM manager ставиться на Oracle Enterprise Linux и его установка поистине ужасна. Он обязательно поставит для своего репозитория Oracle XE (упадет, если она уже стоит), не умеет создавать репозиторий в уже существующей БД, развернет oc4j, потребует создать сертификат с помощью именно своего keytool (иначе упадет). Поменять пароль можно только если у Вас есть mail сервер. Если нет - ваши проблемы.
Таким образом, в промышленной эксплуатации нам нужно как минимум 2 отдельных сервера. Но компонента Oracle VM не является строго обязательной. Она для удобства, ага.
Но все можно было бы пережить, если не качество документации по Oracle VM. Это ужасно. Авторы явно считают, что все в должны знать Linux, VNC, OC4J, ocfs2 и очень желательно xen. Просто пропустили описание того что во время старта домена стартует vncserver (или я не понял). Один из предложенных шаблонов (напишу какой) падает при загрузке. Я полдня гадал почему я не погу подключиться по vnc и все ли я делаю правильно. Спасла xen console. Не могу рекомендовать пробовать на данном этапе Oracle VM тем, кто не знает Linux.
Надеюсь в ближайшее время попробовать Live Migration - для этого я установил еще один Oracle VM Server. Обещают , что время простоя, за счет специального алгоритма копирования памяти будет небольшим. Вот и посмотрим. Live Migration кстати требует общего дискового пространства. В инструкции по подключению iscsi забыли упомянуть, что возможно необходимо выдать права хосту. Если Вы все это делали раньше - зачем Вам инструкция, а если нет - вам придется до многого догадаться самому.
Несмотря на документацию :( - продукт очень интересный. И мне кажется будет применяться в промышленных системах из-за политики поддержки. См. предыдущий пост и полный список в Metalink Note 464754.1
В январе пройдет моя презентация и демонстрация Oracle VM для сотрудников Oracle. Если Вам интересно ее послушать - напишите мне. Если я соберу аудиторию - проведу и для всех .
На картинке Вы видете домен OVM_EL4US_X86_HVM_ORACLE_11G - поднятый из шаблонов и Oracle VM manager
Я думаю, что Вы скоро услышите термин Grid 2.0. Не пугайтесь, это всего лишь... Oracle VM. Расскажу подробнее при встрече :)
В январском номере Oracle Magazine опубликована статья Oracle News: Making Virtual Servers a Reality
Как мне кажется, мне удалось подобрать иллюстрацию к ней - очень показательный пример для руководства.
И наконец, для руководства, у Oracle VM совершенно неубиваемый козырь перед конкурентами - поддержка.
Цитата из Note:249212.1 "Oracle has not certified any of its products on VMware virtualized environments". И напротив, список из поддерживаемых продуктов из Note:464754.1, включающих в себя
Сообщения
Все комментарии
