|
соображения об их недостатках
"В презентации рассказывается по мотивам презентаций IBM и MS на 16 конф Корпоративные БД об архитектуре и функциях конкурентшв Exadata - Data Allegro и Netezza, даются мои соображения об их недостатках по сравнению с Exadata"
Сама презентация
Давайте ее почитаем. Начиная со слайда 10 идет сравнение Exadata c IBM Netezza. Дело в том, что я ничего не понимал в Netezza, но на прошлой неделе я совершенно случайно столкнулся с командой IBM из штаб-квартиры которая отвечает за решения по аналитике, в том числе Netezza и просидел вместе с ними 3 дня. Теперь у меня знаний больше -) Для начала разговора (я же парень простой), я начал их "мочить" этой презентацией Марка. Они страшно смеялись, и вот что получилось (см таблицу ниже)
Марк Ривкин о Netezza | Как на самом деле |
не OLTP | спасибо кэп, Netezza это специальный appliance для хранилищ данных и аналитики |
плохое сжатие | мы много обсуждали это в блоге, 10-кратное (и выше) сжатие достигается за счет первоначальной сортировки данных. По информации разработчиков в Netezza каждый блок с диска после декомпрессии превращается в 4-8 блоков в памяти, что есть ровно то же самое что у Exadata (без сортировки). Netezza использует поколоночное сжатие данных, как и Exadata (я знаю про разницу в алгоритмах, но подход то один). Все данные в Netezza сжаты всегда по умолчанию. Там неоткуда взяться особенной разнице в сжатии, тем более некорректно писать 'плохое сжатие'. |
нет процедурного языка, только SQL | Чисто формально есть JDBC и ODBC драйвера, но...мы вроде бы договорились обсуждать хранилища ? Что-то мне подсказывает что pl/sql не используется широко в хранилищах (за исключением возможно ETL), потому что это неэффективно. Ну представьте себе загрузку 1Tb таблицы в pl/sql таблицу...У Netezza есть возможность написать UDX code (the X stands for one of [Function | Aggregate | TableFunction | AnalyticProcess ]). Но если все вышесказанное - это гнилые отмазки, то стоит открыть для себя nzPL/SQL. |
спец. железо | IBM blade и Xeon стали спец железом ? Linux ? SAS диски ? В Netezza eсть FPGA, у Oracle Sun Flash, и тот и другой ящик нельзя открывать чтобы не потерять поддержку. О чем речь то ? |
не учитывает специфику данных | не понял проблемы |
Host 24 ядра против 128 Exadata | 128 Core это Exadata X2-8 (+ 168 Cell Core). Тут Марк не разобрался где проводится основная работа с данными. А она ведется на стороне S-Blade, где 192 ядра Xeon + 192 ядра в FPGA + 24 на стороне Host. Именно S-Blade производит скажем операцию sum. Host в понятиях Netezza не выполняет большой работы над данными. Ну и у кого ядер больше ? Мое мнение, сравнивать по кол-ву ядер вообще не стоило. |
Данные с неск дисков должны Join на 1 HOST | Это совсем странное заявление. Очевидно стоит прочитать как работает Parallel Execution в RAC - а именно, точно также, parallel slave вынуждены передавать всю прочитанные данные координатору на 1 хост. Дальше, если вчитаться в то какую оптимизацию предлагает Netezza для того чтобы снизить этот эффект, то..точно такие же методы появились в 11g. Я имею в виду например broadcast меньшей таблицы между узлами при join. Т.е. тут явно видно не понимание работы собственного продукта, Oracle RAC. |
Но вот что действительно интересно, так это схема лицензирования. Netezza лицензируется по объему ...пользовательских данных (только данных, никаких индексов ) после сжатия. Как вы знаете, Exadata - требуется лицензировать все диски на cell, даже те которые содержат SYSTEM_DG, а уж сколько там будет данных - дело ваше -)
Что же получается, Netezza идеальна ? Нет, у нее есть несколько архитектурных проблем, которые сейчас решают, даже вроде анонсы уже есть. Но их требовалось заметить -)))
Читать дальше...
Отправил
Dmitry Volkov
дата:
13.7.11
42
комментариев
Метки: COOPERTITION, Netezza
IBM AIX: Enabler or roadblock?
Интересная тема из комментариев к предыдущему сообщению:
Есть экспертное мнение Дмитрия Волкова:
>> Oracle делает лучшую в мире СУБД
>> и непревзойденный RAC, Solaris, Java
>> IBM - все остальное
Из этого экспертного мнения следует, что Solaris круче AIX.
Вопрос 1: Означет ли это, что техника IBM в чем-то теряет от возможности использовать на ней только AIX, но не Solaris, а техника Sun что-то приобретает от того, что на ней есть Solaris?
Теперь поверх операционной системы устанавливается лучшая в мире СУБД Oracle.
Вопрос 2: Означает ли это, что с точки зрения пользователя СУБД Oracle цепочка IBM-AIX-Oracle работает хуже чем цепочка Sun-Solaris-Oracle из-за наличия более слабого звена в виде AIX?
Пожалуйста, интересует анализ по всем направлениям: производительность, масштабируемость, управляемость и двоичная совместимость, безопасность и надежность. Если можно, отвечайте не ссылками на документы, а развернуто по теме. По ссылкам читать долго и не интересно. Спасибо.
P.S. На фотке замечательно сохранившийся римский и средневековый город в провинции Прованс -- центре парфюмерной промышленности Франции. Называется этот город очень красиво и поэтично: AIX-en-Provence :^) Если будете в этих местах обязательно посетите. Волшебный запах лаванды и трав Прованса, стрекот цекад и шарм средневековья.
Читать дальше...
Отправил
Анонимный
дата:
1.7.11
24
комментариев
Метки: AIX, COOPERTITION, Solaris
something about cloud, part 2
Цитата: Инфраструктура которая обслуживает web сайт wimbledon.com построена по принципу cloud. IBM обеспечивает cloud инфраструктуру мирового уровня для обеспечения максимальной масштабируемости. IBM обладает возможностью быстрого развертывания сервисов в общей инфраструктуре - эти сервисы являются критичными для теннисного турнира.
IBM определяет Cloud как новую модель IT для потребления и доставки IT сервисов:
- Возможность управлять большим количеством виртуальных ресурсов.
- Прозрачный доступ к ресурсам
- Стандартизация ресурсов
- Консолидация, виртуализация, автоматизация ресурсов
- Обеспечение динамического выделение/прекращение IT сервисов
Сходите на сайт, почитайте. Огромная разница между решением, которое можно увидеть даже по телевизору и рассказами про какие-то небесные технологии, без всякой демонстрации, что с ними делать. Надо отдать должное IBM - технологии сначала отрабатываются в сумасшедших по сложности проектах и только потом запускаются для общего пользования.
PS на фотографии (с официального сайта) Мария Шарапова, которая вчера вышла в полуфинал Wimbledon и я искренне желаю ей его выиграть.
Update 1. Маша в финале !
Update 2. Маша прекрасно выглядела, было собранной, показывала великий теннис, но к сожалению проиграла. Ее победы хотели все, ей специально аплодировали - но соперница была сильнее. Все равно наша Маша лучшая !
Читать дальше...
Отправил
Dmitry Volkov
дата:
29.6.11
20
комментариев
Метки: Cloud Computing, IBM
something about cloud
Про cloud в этом блоге писалось неоднократно, но чтобы не утомлять читателя подробностями сразу приведу картинку (слева) которая на мой взгляд сразу описывает что же такое cloud.
Итак, наше приложение работает поверх системного ПО, которые обеспечивает полную вирутализацию нашей инфраструктуры.
Простыми словами, я как бизнес- пользователь хочу выдавать в IT запросы типа: "мне пожалуйста 16 быстрых ядер, 0.5 Tb быстрых дисков и 1 Tb памяти" или "мне все равно каких 8 ядер, 2 TB средних по скорости дисков и памяти 1 Tb к ним". Ну а теперь, небольшой обзор как решают эту проблему Oracle ( в этом сообщении) и IBM ( в следующем).
Итак, я заказчик, у которого немного HP Linux машинок, Sun T3, M5000, Hitachi Storage, HP Storage, начинаю строить Cloud. Сервера приложений на Windows под управлением VMware. А что, таких заказчиков навалом. Следите пожалуйста за руками.
Читать дальше...
Отправил
Dmitry Volkov
дата:
27.6.11
34
комментариев
Метки: Cloud Computing
weekend movie, part 2
Я не знаю, смогут ли они переиграть скажем Александра Друзя, но идея применения такого компьютера в медицине для постановки диагноза мне кажется уже вполне реальной.
Watson использует стандартные сервера Power 750, Linux в качестве ОС, и насколько я знаю собственную БД. И я, честно говоря, преклоняюсь перед людьми, которые решают такие задачи.
PS Теперь если вы сравните это видео и предыдущее, вы поймете разницу в менталитете и подходах.
Читать дальше...
Отправил
Dmitry Volkov
дата:
26.6.11
7
комментариев
Метки: COOPERTITION
"СНГшным САПерам в мире равных нету"
Какой IBM, о чем Вы? Приз за лучший отжиг недели получает SAP, старый бизнес-партнер компании Oracle.
Я больше чем уверен, что недавняя сертификация SAP под Exadata является ключевой частью корпоративной стратегии SAP СНГ по достижению 150.000.000 :^)
SAP прекрасно понимает, что без Exadata таких амбициозных целей достигнуть просто не-воз-мож-но. Эти ребята конструктивны -- они не стали платить нечистым на руку аналитикам за написание крамольных статей про Exadata -- они ее просто сер-ти-фи-ци-ро-ва-ли :^)
Ни что не может быть лучше лояльного и замотивированного бизнес-партнера, играющего по правилам :^)
Обсуждение на Cnews. Текст новости на Cnews. Ждем ответного ролика от IBM !
UPDATE 1: YouTube удалил ролик, сославшись на жалобу SAP СНГ по нарушению авторского права. Забегали. Засуетились. Замельтешили. Стыдно стало :^)Но ролик еще лежит локально на Сnews.
UPDATE 2: Cnews снял со своего сайта ролик "по требованию правообладателя - SAP CIS". Наслаждайтесь последней возможностью посмотреть шедевр :^)
Читать дальше...
Отправил
Анонимный
дата:
24.6.11
16
комментариев
Метки: COOPERTITION, Exadata, SAP
другие мнения..
Первая из них (также доступная для скачивания с этой страницы) мне кажется наиболее взвешенной, содержит описание как Exadata так и различных моделей систем IBM Smart Analitics и откуда вы можете получить отдельное удовольствие от например, просмотра модели 5600 with SSD Option, которая совершенно случайно содержит от 2-х до 8-ми узлов, 5 Tb flash, извините SSD, 100 TB raw пространства, что совершенно случайно совпадает с Exadata Full Rack. Еще раз, все совпадения совершенно случайны -)
Вторая, замечательна тем, что есть ее перевод на русский язык. Ее можно положить на стол вашему руководителю. Конечно, она содержит несколько милых
"Обратите внимание, что масштабирование [Exadata] невозможно без добавления дополнительных дисков: это означает, что вы не сможете просто добавить новую вычислительную мощность, если у вас имеется «бутылочное горлышко» на процессоре: вам придется приобретать дополнительные мощности для хранения данных, даже если они вам не нужны" стр 6.
Если коротко - поставить сейчас flash или ssd диски - это не проблема. Сделать так чтобы 'горячие данные' туда заползали сами - также (Exadata flash cache, IBM Storwise easy tier). Единственное, что действительно сейчас недостижимо с помощью аппаратных средств - это сжатие больше чем в 2-3 раза. Exadata действительно здорово сжимает данные в хранилищах. Правда, есть и другие мнения...


Читать дальше...
Отправил
Dmitry Volkov
дата:
22.6.11
20
комментариев
Метки: COOPERTITION, Exadata, IBM
Itanuim again (to whom it may concern)
Кстати, если вы пользователь Itanium, вы возможно услышите страшилки про 2013 год (действительно число так себе). Однако, если пойти по ссылке, откуда найти Oracle's Technical Support Policies и наконец перейти к Lifetime Support Policy, то вы увидете что для Oracle Database 11.2 Premier support закончится в 2015 году, а extended в 2018 (отличия смотри в Oracle Tech Support Policy). Так что 2013 год для тех, кто на 10.2.
Поднятый в декабре 2010 года коэффициент на Itanium 93XX на мой взгляд делает даже обновление hardware систем на Itanium весьма дорогостоящим. Так же дата окончания support на Oracle тут уже не так уже и важна. Так что начинаем потихоньку медитировать, и в частности, на Oracle Database Cross Platform Migration to AIX -)). Не нравится статья IBM ? Ну пожалуйста, вот блог Oracle -). Даже там уже поняли, куда надо мигрировать -)
Update 1. Wow, согласно ID
Update 2. From Intel: 'We made a strategic flaw in artificially protecting Itanium and not making Xeon 64-bit'. Дальше там также интересно написано про E7, сравнения произвожительности и тд
Читать дальше...
Отправил
Dmitry Volkov
дата:
20.6.11
7
комментариев
COOPERTITION 2: Oracle Exadata Now Certified by SAP
Забудем на секундочку про IBM. Есть еще один замечательный пример COOPERTITION. На этот раз между SAP и Oracle: 10 июня 2011г. SAP совместно с Oracle сертифицировали Database Machine под SAP (включая SAP BI/BW).
Новость на сайте SAP. FAQ на сайте Oracle.
Мне лично сразу вспомнилась рекламная компания под лозунгом CLEAR, которую SAP запустил в мае 2009 года, и которую разработало крутое американское рекламное агентство Ogilvy & Mather Worldwide. Как ни старайся -- без Oracle не получится :^)
Теперь если на SAP есть проблемы с инфраструктурой может и не обязательно мигрировать на OeBS. Достаточно переехать на Exadata, а SAP пусть поживет пока.
So let's make it clear: "The best-run businesses run SAP on Oracle Exadata" :^)
Читать дальше...
Отправил
Анонимный
дата:
14.6.11
19
комментариев
Метки: COOPERTITION, Exadata, SAP
something stupid
ASM has the following limits:
- 4 PB maximum storage for each ASM disk
Что было грубо разрушено: Bug 6453944: ORA-15196 WITH ASM DISKS LARGER THAN 2TB
Выпущенные патчи всего лишь перестали давать создавать такие диски и предотвращали потерю данных. Ладно, с кем не бывает.
Теперь документация 11.2 говорит нам:
Without any Oracle Exadata Storage, Oracle ASM has these storage limits:
- 2 terabytes (TB) maximum storage for each Oracle ASM disk
Ну это уже за гранью добра и зла. Я понимаю, что HCC compression специально для Exadata, я понимаю, что Database Flash Cache только для Linux и Solaris, но оставить дурацкое ограничения в 2 Tb для всех кроме Exadata понять не могу. Почему это важно - хотелось бы иметь возможность устанавливать ASM поверх LVM томов без таких дурацких ограничений, хотя бы на некоторых операционных системах, например AIX. Тут есть тонкость - не всякие LVM тома одинаково полезны, подходят только raw logical volume, сами volume group не подходят, поскольку ASM хранит свои метки в самом начале диска. Описание как собрать ASM поверх именно raw logical volume вы найдете здесь. Почему LVM ? Потом, что у нее есть масса своих достоинств (и даже больше, в AIX 7 includes enhanced support in the AIX Logical Volume Manager (LVM) for SSD) включая и нормальный мониторинг I/O (iostat из asmcmd также пока за гранью разумного). Ограничение в 2 Tb оставляет нам возможность использовать только hdisks, на которые ASM еще накрутит свой strip'инг - если бы такого ограничения не было бы просто сделали бы для каждой группы ASM один большой raw logical volume, все были бы счастливы. Смысла накручивать поверх hdisks LVM, а затем еще и ASM я пока не вижу. Тут поневоле задумаешься о том, что 'подавить' кэш файловой системы уж не такая и дурацкая задача даже для больших баз данных...
Читать дальше...
Отправил
Dmitry Volkov
дата:
14.6.11
10
комментариев
Метки: ASM
как я провел лето
Особенно доставил комментарий к патчу "the changes are complicated and involve legacy code that has not been touched in 20 years". Проблема оказалась в том, что нагрузочный тул запускал работу всех сессий одновременно, а не давал им работать сразу после входа. Понятно, что ситуация нежизненная, а искусственная. Надо сказать, что почти одновременно был поставлен и патч Bug 11800170 - ASM IN KSV WAIT AFTER APPLICATION OF 11.2.0.2 GRID PSU, и возможно он также помог.
Немедленно после того как удалось справиться с kernel time, почта доставила вот такой AWR:
с исконно русским вопросом - кто виноват и что делать ? Тема mutex X беспокоит народ очень давно, и кажется что каждый новый пачтсет привносит свои изменения. В нашем случае у меня сложилось убеждение что новый PSU не исключение. Поиск по My Oracle Support навел на Bug 12431716 - Mutex waits may cause higher CPU usage in 11.2.0.2.2 PSU / GI PSU [ID 12431716.8] и рекомендацией to apply Patch:12431716 on top of the 11.2.0.2.2 PSU. В нашем случае применение патча - никаких изменений к лучшему. Внимательное чтение вышеприведенного привело к обнаружению Bug 10411618 - Enhancement to add different "Mutex" wait schemes [ID 10411618.8] и понимаю наличия параметра _mutex_wait_scheme. Проводились эксперименты с установкой этого параметра в 0, и надо отметить, что поведение системы меняется. Поэтому если мы поставили уже PSU, и mutex вдруг появились - можно это попробовать. По молчанию _mutex_wait_scheme = 2, так мы и решили продолжать.
Продолжать кстати оказалось удобно с помощью весьма известного скрипта snapper by Tanel Poder:
SQL> @snapper ash=sql_id+event+wait_class+blocking_session+p2+p3 5 1 all Sampling SID all with interval 5 seconds, taking 1 snapshots... -- Session Snapper v3.52 by Tanel Poder @ E2SN ( http://tech.e2sn.com ) ------------------------------------------------------------------------------------------------------------------------------------ Active% | SQL_ID | EVENT | WAIT_CLASS | BLOCKING_SES | P2 | P3 ------------------------------------------------------------------------------------------------------------------------------------ 5175% | 5xqa6qnbagf2b | ON CPU | ON CPU | | | 3200% | | db file parallel write | System I/O | | 0 | 2147483647 2725% | ampvmj3gx3n16 | ON CPU | ON CPU | | | 1475% | 06bfg06g97f27 | ON CPU | ON CPU | | | 1050% | gvzx29hj54zfm | library cache: mutex X | Concurrency | 7374 | 60073707569152 | 82 900% | gvzx29hj54zfm | library cache: mutex X | Concurrency | | 60073707569152 | 82 850% | gvzx29hj54zfm | library cache: mutex X | Concurrency | 15371 | 54885387075584 | 82 700% | gvzx29hj54zfm | library cache: mutex X | Concurrency | | 54885387075584 | 82 625% | gvzx29hj54zfm | library cache: mutex X | Concurrency | | 29781303230464 | 82 600% | | ON CPU | ON CPU | | | SQL> @snapper ash 5 1 12062 Sampling SID 12062 with interval 5 seconds, taking 1 snapshots... -- Session Snapper v3.52 by Tanel Poder @ E2SN ( http://tech.e2sn.com ) ----------------------------------------------------------------------- Active% | SQL_ID | EVENT | WAIT_CLASS ----------------------------------------------------------------------- 68% | gvzx29hj54zfm | library cache lock | Concurrency 32% | gvzx29hj54zfm | library cache: mutex X | Concurrency
Wow. Найден проблемный sql_id ! Не тут то было. Обнаружить этот sql_id в v$sql не удалось. Это интересный момент кстати, и что это было не очень понятно. Чуть позже разработчик признался, что был ошибочный запрос (в котором была указана несуществующая таблица) и возможно это и было причиной всех бед и это и был наш 'непойманный' sql_id.
А пока я провел несколько дней на замечательном блоге Андрея Николаева (РДТЕХ), который описал возможность пометить некоторые объекты как горячие в библиотечном кэше. Обязательно прочитайте, крайне рекомендую. Описанная в блоге Андрея технология была приведена в действие.
Поскольку паника нарастала, делалось несколько изменений сразу, и сказать однозначно, что привело к результату, который вы видите ниже, сложно.
Update 1: Убедитесь в том то у вас стоит Patch 10190759: PROCESSES CONSUMING ADDITIONAL MEMORY DUE TO 'USLA HEAP'
Update 2: Коллеги предложили немного другой AWR, за другой диапазон времени, в которой история представляется не такой счастливой как показалось мне:
Так что to be continued по полной программе -(
Читать дальше...
Отправил
Dmitry Volkov
дата:
9.6.11
4
комментариев
Метки: dba
RAC is Simple
В компании Форс, Партнерской Академии закончился семинар под кодовым названием 'RAC is Simple'. Семинар идет 3 дня и содержит помимо теоретической части 12 (!) лабораторных работ. Ведет семинар независимый консультант Дмитрий Кучугуров, который уже проводил серию из трех семинаров RAC: от мифов к реальности около двух лет назад.
Особенность 'RAC is Simple' в том, что каждый студент получает кластер из 4-х виртуальных машин (2 узла, клиент, Openfiler), за 3 дня учится его ставить, тестировать, настраивать, и узнает много чего нового про taf, fan, контексы и прочее. Это наиболее быстрое и практическое погружение в RAC в настоящее время.
Пишет Дмитрий Кучугуров: "Мы проводили на этом оборудовании тренинг в первый раз. Программу удалось пройти полностью. Но не все прошло гладко, создание базы данных шло конечно очень долго. К следующему семинару мы изменим конфигурацию оборудования чтобы дать больше времени студентам для практики".
Насколько я знаю, это единственный сейчас полноценный живой семинар по RAC (за исключением Oracle University конечно) в России. Если я ошибаюсь - пожалуйста сообщите где еще идут семинары по RAC.
Ну а пока атакуйте FORS, Партнерскую Академию Oracle и лично Андрея Тамбовского с тем чтобы попасть на этот семинар -) Следующий семинар объявлен в июле -)
Это снимок отзыва с первого семинара, слушатель решил написать на английском языке:
Update by Sergey Danilov: Я нескончаемо рад, что семинар продолжает функционировать. Интересно, что Дмитрий Кучугуров участвовал в первом семинаре серии RAC DD4D и держал флаг Oracle на той самой первой фотке:

Читать дальше...
Отправил
Dmitry Volkov
дата:
27.5.11
6
комментариев
Метки: RAC
40
Пост должен был быть опубликован в понельник, но задержался -- я все это время сидел с откртытым ртом и наблюдал как IBM и Oracle машут шашками.
Хочу сердечно поздравить Диму Волкова с юбилейным днем варенья. Долгих лет и здоровья тебе, Дима. И еще удачи тебе. Удача -- это тоже важно.
Желаю:
1. Чтобы Oracle все-таки выпустил Exadata под IBM P7 и в блоге вновь наступила гармония :^)
2. Чтобы мы увидели больше проектов IBM P7 под RAC с твоим участием (а то китайский оптоизолятор 4N33 часто ломается :^)
3. Чтобы компрессия компрессовала данные минимум в 15 раз, на IBM P7 и чисто аппаратно :^)
Дима, продолжай радовать нас интересными постами.
Update 1 by Dmitry Volkov: Спасибо. Сегодня я хочу опубликовать весьма официальную информацию, что очень важно, подписанную обеими компаниями:
"IBM® and Oracle® share a strong commitment to business and technology innovation."
"Senior IBM and Oracle architects work together to influence technical product direction for each company and continually look years ahead when developing future advanced solutions".
Так что мы заменим оптоизолятор, RAC включим в AIX 8, и будет аппаратно сжимать все в 20 раз. Дайте только years ahead....-)))))))
Читать дальше...
Отправил
Анонимный
дата:
25.5.11
1 комментариев
cpu - work in progress, part II
Легко видеть по ссылке выше, что 6 ядер Power 7 дают 213,523 попугаев, а 2 x 3.33 GHz Intel® Xeon™ Six-Core X5680 processors (12-cores) дают 185,643 попугаев.
Итого ядро Power7 в два раза производительнее Xeon 5680. Или я чего-то не догоняю ? -)
Я нашел два подвоха, мне интересно видите ли вы их -) Потратьте 15 минут на просмотр статистики (отчеты и AWR), это даже полезно чтобы получить представление о том, как следует оформлять результаты тестов.
Я обновлю пост через какое-то время на основе того, что найдут читатели.
PS. Обратите внимание на времена ответа массивов. Из AWR репорта P710 можно извлечь что log file parallel write/db file parallel write ~1 ms, log file sync ~ 4 ms, db file sequential read ~ 3 ms, db file scattered read ~ 7. В тесте использовался DS5000 который вообще-то дает до 700,000 IOPS. DS5000 это mid-range.
Читать дальше...
Отправил
Dmitry Volkov
дата:
25.5.11
8
комментариев
1 июня 2011 года, Форум AIX - 25 лет успеха.
Цитата из приглашения:
"У Вас есть уникальная возможность получить информацию о самых значительных событиях и интересных технологических достижениях из истории AIX и POWER, открыть для себя преимущества, доступные пользователям AIX и IBM Power Systems сегодня, и одним из первых узнать о технологиях будущего! "
Ссылка на регистрацию и программа - здесь. Пожалуйста приходите. Мы будем показывать демонстрацию с Oracle Database -)
Читать дальше...
Отправил
Dmitry Volkov
дата:
23.5.11
2
комментариев
Метки: AIX
Shit may happen...pls install PSU !
SQL>alter system checkpoint local;
srvctl stop instance -i racdb1 -d racdb -o abort
Fixed in 11.2.0.2 PSU 2. Все подробности в MOS ID 1318986.1.
Читать дальше...
Отправил
Dmitry Volkov
дата:
23.5.11
1 комментариев
Метки: RAC
x10 или кое-что о событиях ожидания

Некоторые события ожидания вместе с примечанием (Foreground и/или Background) процесс могут их испытывать (картинка из книги Oracle Wait Interface)

Что можно сказать - у базы данных явно проблемы с log file sync, и следовало бы обратить внимание на эту проблему. Read by Other Sesson = 7 ms это очень много, больше времен ввода-вывода. Это надо срочно исправлять, искать сегмент за который идет такая конкуренция. Улучшились времена по вводу - выводу ? Да, соглашусь. Теперь, если вы обратите внимание на предыдущий слайд, стр 22, вы увидите что DB CPU это 89% от всего времени, а I/O ~6%. На основании имеющихся данных, у данной базы I/O не является узким местом.Показатель Parse Cpu to Parse Elapsed ~50% косвенно подтверждает что присутствуют проблемы с процессорным временем (возможно из-за парсинга)
Возвращаясь к Response time formula Service time занимает у нас 89% времени ожидания (например logical reads, parsing), мы же в это время пытаемся сократить в 10 раз I/O что не даст нам видимого пользователями эффекта.
PS Мне стало интересно, как же Oracle допустил такой ляп ? Поиск подсказывает, что данная презентация сделана на основе вот этой, с OpenWorld. И конечно оригинальная версия не содержит ничего такого и никаких в 10 раз. Видимо 10 раз появляется исключительно в результате пересечения атлантического океана -)
Читать дальше...
Отправил
Dmitry Volkov
дата:
20.5.11
16
комментариев
интересное чтиво
- Она написана простым и понятным языком
- Большинство (если не все) примеры очень простые, их легко воспроизвести и понимать
- Я могу рекомендовать эту книгу не только администраторам но и разработчикам
Я бы наверно сформулировал так - если вы понимаете в целом архитектуру Oracle DB и теперь вам интересна производительность - пожалуйста в качестве первой книги прочитайте эту. Я бы даже сказал криминальное - до Perfomance Tuning Guide, потому что эта книга написана простым языком. Потом, когда основное уложится в голове, детали вы сможете прочитать в документации или в Lewis.
PS Я не знаю где ее 'скачать' или есть ли перевод на русский.
Читать дальше...
Отправил
Dmitry Volkov
дата:
20.5.11
6
комментариев
Oracle 11gR2 on AIX
Читать дальше...
Отправил
Dmitry Volkov
дата:
14.5.11
8
комментариев
Метки: IBM
cpu speed - work in progress
Все остальные - пожалуйста комментируйте - ваше мнение важно для меня и ваших коллег. Будьте вежливы, но комментарии все равно модерируются -) Вместе с завершением появится и картинка к этому посту.
Читать дальше...
Отправил
Dmitry Volkov
дата:
9.5.11
1 комментариев
I need 10 sec of your time. Well, 10 your cpu seconds..
SET SERVEROUTPUT ON SET TIMING ON DECLARE n NUMBER := 0; BEGIN FOR f IN 1..10000000 LOOP n := MOD (n,999999) + SQRT (f); END LOOP; DBMS_OUTPUT.PUT_LINE ('Res = '||TO_CHAR (n,'999999.99')); END; /
И написать в комментарии
- OS
- время, за которое он прошел
- тип процессора
Как видно из ссылки выше лучший результат пока 8.21
У меня дома:
- OEL 5,
- Elapsed: 00:00:16.45
- Intel(R) Core(TM)2 Duo CPU E6850 @ 3.00GHz
(в виртуальной машине, поэтому так плохо)
Никаких выводов тут делаться не будет, результаты просто будут сведены в табличку. Да и нельзя сделать выводов на основании 10 сек теста 1-го ядра, все это понимают. Но интересно ...
Спасибо !
Читать дальше...
Отправил
Dmitry Volkov
дата:
5.5.11
50
комментариев
the magic of calculations
Короткий ответ на провокацию должен бы быть такой: "это не важно, в 10 или в 8, или в 4. У нас есть только 3 варианта: 45 Tb, 22 Tb, 9 Tb и ты обязательно поместишься в один из них. После того как ты поместишься в один из вариантов мы сожмем несколько важных таблиц для увеличения скорости критических бизнес отчетов, но так, чтобы не убить процессоры для остальных задач. Насколько мы сожмем зависит от природы данных конкретной таблицы и характера твоего приложения. Нужно будет посильнее - отсортируем. Пока можешь оценить сам с помощью dbms_advisor.". Точка. Ну если я купил 9 Tb ну нахрена мне держать там пережатым 1Tb и ждать пока они декомпрессуются если у меня есть еще 8 ? Что там, картошку хранить ? Ну конечно же лучше пожать что-то сильнее, что -послабее чтобы был лучше баланс между IO и CPU. Размер БД когда есть всего 3 варианта поставки вообще не важен - никакой экономии вы не получите все равно. Но для этого надо знать архитектуру, лицензирование и прочее...
Вместо этого, началось доказательство что обязательно в 10 раз, что точно и ни разом меньше, но обещать не можем. В довершении в лучших традициях перешли на личности. Это значит, что если в проекте с вами не получится в 10 раз, или вы не дай бог начнете задавать вопросы - то вы узнаете о себе много нового. Подумайте об этом -)
------------------------------------------------------------------------------------------------------------------------
Берем пост про миграцию на Tukcell. Читаем презентацию. Видим, что с 250 Tb база стала 25 Tb. Т.е. в Hybrid Columnar Compression сжала БД в 10 раз. Аплодисменты. Шампанское. Выпив, я рассудил трезво:
в презентации находим ссылку на блог. Смотрим на табличку, понимаем что сортировать таблицу перед компрессией все таки не слишком честно, делим 137/21 получаем ~ 6.5. Отличный результат, между прочим, OLTP Compression дает примерно 2-3.
Я решил заняться пересчетом коэффициентов потому что вчера послушал специальный Webcast про Hybrid Columnar Compression. В нем приводятся коэффициенты от 4-х до 6. При этом если почитать презентацию станет понятно что использовали они в production for archive low, т.е. 4.3. Также Real Customer Case между прочим.
Кстати, вы можете использовать advisor compression и без Exadata чтобы получить оценки. Как вы видите, он хотят и занижает результат, но в принципе дает очень близкий. Вот что я делал еще давно - взял TPC-H схему и попробовал advisor. Получил примерно ~ 5 раз.
Видно, что очень зависит HCC компрессия от природы данных, от того захотите ли вы их сортировать каждый месяц или нет. Что точно неправильно - это рассчитывать что ВСЯ БД будет сжата во сколько-то раз на постоянной основе. Возможно если у Вас есть бесконечно много времени вы и вправду будете переезжать на Exadata сортируя данные. В презентации есть детали, 36 часов им понадобилось на основные 40 Tb, переливали они их с помощью pl/sql процедур, но сортировали они их или нет и когда - не ясно -(. Понятно что остальные 60 Tb им тоже пришлось переливать когда-то. Я уверен что Сергей Данилов выкрутиться и в этот раз, просто интересно как -))))
PS Чего нельзя отнять - так это то что турки молодцы. Все таки они клево пробились, переливать такие объемы вручную (pl/sql процедуры) - это сильно по ковбоиски ...
Update 1. 07 Мая
Я сделал скринщот оригинального поста про Туркселл:
Всем видно что написано "Технология HCC сжала данные в 10 раз "? Теперь в комментариях (там треш) читайте как следует на самом деле это понимать -))))
Правда заключается в том, что у турков было 100 Tb (сжатых компрессией 10g, стр 3 презентации), они перевели на Exadata 90 Tb (стр 11 презентации), для улучшения компрессии они сортировали данные в момент перелива, получили 25 Tb. 90 / 25 каждый делит для себя сам.
Теперь пояснение для чего я это написал изначально - приходят заказчики, которым уже пообещали, что их базы будут сжаты в 10 раз. Так как заказчик всегда прав, то теперь у вас есть возможность решить так это или нет.
Сергей Данилов знает о компрессии примерно столько же, сколько о жизни на Луне :^) Сергей Данилов объясняет бизнесу как вон тот ящик сделает бизнес качественнее, поэтому Сергей Данилов срезает технические углы. Нет ничего проще, чем аппелировать к технической неточности в словах Сергея Данилова. Это "как два байта переслать" :^)
Читаем что пишет сам Ферхат в своем техническом документе. Это данные от человека, который сделал проект своими руками.
Compression in Action
Old System 10gR2 Compression
• ~2-3 times ~250TB raw data to 100TB
Exadata V2 with EHCC
• Raw Data 250TB to 25TB (Data) + 5TB (Temp) = 30TB
• EHCC - Compress ratio ~7-10x
• Archive compression is efficient but high CPU consumption
Там все четко написано Raw Data 250TB to 25TB (Data). Там также отдельно выделена эффективность технологии сжатия: ~7-10х. Метрика 10x при переезде на Exadata была реально достигнута (как совершенно правильно пишет Ферхат, "при помощи HCC"). И аппелировать к неточностям надо в материале Ферхата, а не Сергея Данилова.
Под Oracle сжатие 10х никак, я повторюсь, никак не достижимо без Exadata.
Читать дальше...
Отправил
Dmitry Volkov
дата:
5.5.11
43
комментариев
Метки: Exadata
nmon + rrdtool
- Excel не умеет работать с файлами длиннее 65,000 строк
- Сам Excel -(
В принципе альтернативы есть, и первая называется nmon2rrd. В данном случае все заливается в rrdtool и с его помощью отстраиваются графики. Небольшое отвлечение, почему rddtool - она умеет консолидировать данные и вы совершенно бесплатно получите позже trend для ваших данных !
Вот примерная последовательность действий:
- Я решил что хочу анализировать данные на своей рабочей станции. Сейчас. А потом не знаю. Возможно отдать кому-нибудь. Или переставить где-нибудь. Поэтому - мой выбор виртуалка. Я скачал Virtual Box (это бесплатно и есть для всех мыслимых платформ).
- Затем я поставил туда Oracle Linux 5.6 (опять бесплатно), и соединил с репозиторием yum-public.
- Следующий шаг - установка rrdtool.
- yum install cairo-devel libxml2-devel pango-devel pango libpng-devel freetype freetype-devel libart_lgpl-devel make -y
- wget http://oss.oetiker.ch/rrdtool/pub/rrdtool-1.4.4.tar.gz
- gunzip, tar
- ./configure --disable-tcl
- make
- make install
- ln -sf /usr/local/rrdtool-1.4.4/bin/rrdtool /usr/bin/rrdtool
- Теперь пора скачать nmon2rrd, увидеть что он под AIX, скомпилить его под Linux.
- Быстренько ставим Apache: yum install httpd
- Генерим графики nmon2rrd -f xxx_db.nmon -d /var/www/html/xx_db -x
- Наслаждаемся просмотром
Достоинства: процесс можно автоматизировать, потому что с этим Excel руками каждый день строить графики не очень приятно.
Недостатки: не слишком удобный index.html строится по умолчанию. Придется работать напильником, или я чего-то не дополнял.
Есть альтернативный подход (подход N2) основанный на скрипте nmon2web. Он правда также использует rrdtool. И хотя этот скрипт уже почти готовое решение, раскладывает все по дням, умеет находить что появился новый сервер - график он построил чуть с худшим качеством чем nmon2rrd. Возможно я и придираюсь, все таки сервис явно получше.
Вам есть что выбрать -))
В следующих сериях мы будет грузить в rrdtool statspack -)
Читать дальше...
Отправил
Dmitry Volkov
дата:
4.5.11
7
комментариев
Метки: AIX
"Life in Oracle" by Igor Menlikov
В это же время настоящие пацаны ведут простые технические блоги - welcome to Life in Oracle by Igor Melnikov !
Читать дальше...
Отправил
Dmitry Volkov
дата:
3.5.11
Сколько у Вас DBA и сколько у Вас баз данных?
Аналитическая компания Forrester проводит много разных исследований. Одно из исследований было такое: Сколько баз данных (инстансов в понятии Oracle) в среднем администрит один DBA.
Forrester несколько раз публиковал график, который говорит нам, что например в 2000 году на одного DBA в среднем приходилось 15 баз данных (инстансов в понятии Oracle), в 2007 24 баз данных, и в 2010 году 40 баз данных на одного DBA. За всем этим нет какой-то большой науки. Они просто профессионально проводят опросы и публикуют статистику.
Я спросил один очень крупный американский инвестиционный банк сколько у них DBA и сколько у них баз данных (объяснив им при этом, что под базой данных я подразумеваю instance в понятиях Oracle). И большой IT-начальник того банка сказал мне, что у них глобально в мире около 5000 баз данных (Oracle, DB2, SQL Server, Sybase и т.д.) и 346 DBA, которые администрят эти 5000 баз данных. Я тупо разделил одно число на другое, получилось 15 баз данных на одного DBA. И тогда я наложил это число на график Forrester и сказал тому начальнику, что их компания живет в состоянии, в котором большинство компаний были 10 лет назад (по данным Forrester). И начальник меня понял, так как раньше он работал в другом инвестиционном банке, где это число получалось намного выше. Теперь банк разворачивает программу повышения уровня автоматизации работы DBA, чтобы достичь метрику 40 баз на DBA.
Мне просто интересно что мы имеем в России, и я думаю всем будет очень интересно, если читатели этого блога на правах анонимности оставят комментарии к этому посту, написав сколько у Вас DBA и сколько у Вас баз данных.
Вопрос в общем-то очень простой :^)
Пояснения:
- Всех баз данных, не только Oracle. (Под базой данных мы понимаем instance в понятиях Oracle. Я знаю, что в SQL Server, например, базой данных называется что-то похожее на schema в Oracle).
- Я знаю что в маленьких организациях метрика будет меньше, чем в больших организациях, поэтому если можно опишите также размер организации любыми доступными Вам словами.
- Пожалуйста, постарайтесь не писать в комментариях к этому посту ничего кроме запрошенной информации. Подискутировать можно в других постах -- их здесь навалом.
UPDATE 2: Черт, ну любит у нас народ пообсуждать. Иногда цифры намного и интереснее чем рассуждения "так ли мы живем" и "к тому ли мы стремимися". Всем будет интересно. Хотя бы просто понять порядки цифр. Религиозные приверженцы MS SQL могут прислать данные "в понятиях MS SQL" но тогда пожалуйста укажите еще сколько у Вас физических серверов :^)
Читать дальше...
Отправил
Анонимный
дата:
3.5.11
13
комментариев
Метки: Databases-Per-DBA
1,000,000
Читать дальше...
Отправил
Dmitry Volkov
дата:
3.5.11
7
комментариев
Are You ready ? Yes, We are !
-))
Но конечно же по настоящему интересное видио тут, когда про Power 7 рассказывает команда из Германии, которая принимала участие в разработке. Один из инженеров честно говорит - "мне просто было офигенно интересно".
Читать дальше...
Отправил
Dmitry Volkov
дата:
3.5.11
12
комментариев
Метки: IBM
turbo core
Включается эта возможность весьма легко - но конечно же потребует перезагрузки машины.
Основной (для меня) вопрос - как этот режим влияет на производительность СУБД остается непонятным.
Ниже вы найдете картинку (я не знаю ее источника и даже не до конца понимаю что там нарисовано) из которой вроде бы следует что производительность single thread возрастает незначительно (~ частоте), а вот SMT4 здорово добавляют. Не знаю, можно ли из этого сделать вывод что если у нас уж больно много потоков то лучше не переключаться с SMT2 а перейти в turbo.
Но есть и интересная деталь к Turbo Core режиму - это примечание из Oracle Overview of licensing policies for partitioned environments:
"Using IBM processors in TurboCore mode is not permitted as a means to reduce the number of software licenses required; all cores must be licensed"
В интернете считается что это значит что Oracle требует оплаты всех (для Power 7) 8 ядер, хотя на самом деле у меня всего 4 в turbo. Так вот нет, я уверен что есть вполне легальный способ заплатить за 4 ядра и называется он LPAR. Переводя процессор (или ядра) в turbo вам необходимо выделить capped LPAR с 4 ядрами и заплатить за 4 ядра. Где еще 4 ядра - никого не волнует. Их может и не быть (как в случае с turbo), а могут быть заняты App Server'ом - главное что Oracle использует всего 4 ядра. В чем же тогда смысл фразы ? Он очень простой, (ведь вы помните что мы читаем про partitioned enviroment) - пожалуйста если в вашей LPAR 8 ядер не нужно рассказывать что на самом деле их 4 и они в turbo - Oracle не будет в этом разбираться. Так что делайте как я написал выше и все в порядке. Это мое оценочное мнение, если что -).
Читать дальше...
Отправил
Dmitry Volkov
дата:
1.5.11
10
комментариев
Метки: IBM
Oracle on Power
Для меня событие началось еще вчера вечером со звонка инженера из центра Montpellier - мол, давай, надо тестировать демо. Подготовка всего вечером накануне мероприятия становится доброй традицией. Установили VPN, применили напильник, прошли сценарий, - все работает. Заработало и на семинаре - я показывал Live Partition Mobility одного из узлов RAC с хоста на Power 6 на хост с Power 7. Все on-line. Swingbecnh ничего почти и не заметил. Слушатели хором подсказывали мне как работать с HMC консолью -))
Cлухи о кончине центра Montpellier сильно преувеличины, все работает и даже развивается. Они готовят еще демонстрации, ну а я постараюсь их здесь показывать. В глубоких планах - позвать их сюда к нам, с семинаром про RAC.
Таким образом у нас есть демо стенд здесь, в ICC центре, в Москве и VPN в Montpellier. Можем тестироваться -)
Мне лично понравилось выступление Алексея Перевозчикова, а конкретно про turbo-core, постараюсь написать про это отдельно. Юра Степанов упомянул интересную деталь, что в машинах с большим количеством процессоров рекомендуют уменьшать SMT c 4-х до 2-х. Буду потихоньку разбираться. У меня не заработал Orion, скачанный с otn. Из зала сказали что надо было взять его из дистрибутива -)
Ссылка на материалы, по старой традиции пароль сообщался на мероприятии -)
Форум
Update 1. В архиве нашлись ошибки - извините - архив был обновлен. Если вы уже скачали, скачивать заново смысла нет.
Update 2. Рекомендую прочитать презентацию Илья Деева про псевдосекционирование, которую Илья делал для RuOUG.
Update 3. Отзывы:
"Как ни странно содержание докладов соответствовало заявленной теме"
Читать дальше...
Отправил
Dmitry Volkov
дата:
29.4.11
5
комментариев
Метки: IBM
Are YOU ready?
Тем, кто не смотрит прямую трансляцию королевской свадьбы принца Уильяма и Кейт Миддлтон Ваш английский джентельмен предлагает посмотреть классное маркетинговое видео про Exadata. Мне понравились там некоторые мертики и смелые сравнения. По дизайну чем-то напоминает пост про пищу для размышления.
Читать дальше...
Отправил
Анонимный
дата:
29.4.11
5
комментариев
Метки: Exadata
FUD: Fear, Uncertainty and Doubt
В 2004 году, когда Oraсle только выпустил 10g я провел несколько десятков презентаций "Введение в Oracle Enterprise Grid", которая, как всегда, начиналась "издалека". Я рассказывал о том, что давным-давно, когда я еще не родился на свет, единственным серьезным игроком на рынке IT была компания IBM. Еще не было Oracle, не было Microsoft и еще никто не мог утереть нос голубому гиганту.
В 1964 году в компании IBM был изобретен первый mainframe. Компьютер, на котором эта компания построила свое будущее. Человека, которые изобрел первый mainframe, и возглавлял ключевую группу инженеров, звали Gene Amdahl. Интересно, что через некоторое время после изобретения mainframe, Gene Amdahl ушел из IBM и оcновал собственную компанию Amdahl Corp. Как мы знаем, хорошие инженеры долго не засиживаются на одном месте :^). Так вот, Джин Эмдал ушел со своей прекрасной, высоокооплачиваемой позиции в IBM, чтобы создать свои собственную компанию. Смелый шаг и редкое явления для 60-х годов. И сделал он это только для того, чтобы разработать еще более крутой компьютер, чем mainframe. И тут началась гонка. Гонка по созданию все более и более мощных серверов. В гонку включились все игроки IT и борьба пошла не на жизнь а на смерть. Дальше я рассказывал, сами понимаете, про RAC :^)
Но сейчас я про другую часть этой истории. Когда Джин Эмдал ушел из IBM, и фактически начал конкурировать с голубым гигантом, он столкнулся с интерсным феноменом, который он определил как FUD (Fear, Uncertainty, Doubt). Феномен заключался в том, что сейлы IBM, впервые столкнувшить с реальной конкуренцией, начали распространять среди заказчиков неподкрепленную реальными фактами дезинформацию о продуктах Amdahl Corp., а именно элементы страха (fear), неуверенности (uncertainty) и сомнений (doubts) или попросту говоря FUD.
Классический пример FUD можно почитать в моем комментарии к посту "про золушку-2", где я пишу про некачественный опто-изолятор 4N25, который в любой момент может оставить материнскую плату большого компьютера без питания. Мы сталкиваемся с FUD, когда сейл говорит: "Не покупайте эти сервера компании XXX, так как они часто ломаются", но при этом не подкрепляет информацию реальными фактами.
Еще примеры: "это плохой продукт, так как он делается на заводе в Китае", "а что будет, если с Китаем начнется война? Вы хоть понимаете какой Вы на себя берете риск?" или "заводы Fujistu расположены в Японии, а там часто бывают землетрясения", "если в компьютере не дублированы все PCI-карты то он не надежен", "эти сервера радиоактивные", и т.д. В общем, не полностью обоснованные утверждения, направленные на внедрение в мозг заказчика неуверенности, сомнений и страха быть уволенным за покупку некачественного товара :^)
Читать дальше...
Отправил
Анонимный
дата:
27.4.11
2
комментариев
Метки: FUD
is Oracle the Apple ?
Совсем заболтался и забыл ради чего я все это написал - сегодня же день рождения опции Real Application Clusters и Сергея Данилова ! Сергей, поздравляю !
Читать дальше...
Отправил
Dmitry Volkov
дата:
27.4.11
7
комментариев