Презентация с RuOUG

Моя презентация с RuOUG посвященная OpenWorld, написанная "по мотивам" постов в блоге.

На мероприятии мы также стали обсуждать, что возможно сделать мероприятие по типу RAC Attack. Дело за малым :

1. Нужен кворум
2. Нужна техника чтобы развернуть кластера

Буду раз если появятся комментарии на эту тему. 

Читать дальше...

...is up to 100x faster than its predecessor

Я никогда не думал, что возможно создать систему быстрее чем предыдущее поколение в 10 раз. Ну это как признать, что над  предыдущем поколении работали ..не очень умные люди ? Инженерно это практически невозможно. Можно сделать новые диски, или новую память, но ускорить всю систему в 10 раз ? Всегда найдется очередное узкое место. Но вот уже несколько дней, как я был вынужден изменить свое мнение.

Внимание, цитата с сайта HP: "...is up to 100x faster than its predecessor and features a unique production number...".

Они просто сделалали это. Это гениально.
Wall Street Journal, цитата: "Ignorance of the  ... can flash more warning signs than a scuffed pair of shoes.", что в вольном переводе звучит: продай последние трусы, ходи в потертых ботинках,  но без этой штуки ты никто.

Все стало на свои места. Вот почему Ларри так сильно напирал в своей речи  на OpenWorld на то, что 10x10 = 100. Он знал что конкуренты догоняют ..


PS Фото с сайта HP и презентации Ларри.
PS2. Вы понимаете юмор, ведь да ? -)

Читать дальше...

секретный соус Power 7

Скачать презентацию.

Современные процессоры не только содержат ядрa, но и каждое ядро содержит много потоков. Так, например, процессор Oracle Sun T4 содержит  8  потоков на каждое ядро, а  процессор Power 7 содержит 4 потока на ядро. Intel называет эту технологию Hyper-Threading  и, например,  последние E7 содержат два потока.  Надо отметить, что поскольку Oracle Database лицензируется по ядрам (Enterprise Edition), то наличие этих самых потоков 'скрыто' от политики лицензирования и может быть весьма существенным фактором выбора платформы.  Но оказывается, что наличие потоков в ядре еще не означает, что все становится быстрее.  Когда 8 или 4  потока пытаются конкурировать за 1 физическое ядро  это может приводить к тому, что каждый из них  работает медленнее, чем если бы поток был один,  даже  на каком-то  более дешевом процессоре, но каждый поток получал бы больше ресурсов от ядра (Вы можете здесь вспомнить мой пост 10 sec of your time. Там явно всех 'рвет' Sandy Bridge. Данная проблема сейчас часто звучит как "Single Thread Performance"). Оказывается, что необходимо искать баланс межд: количество ядер в процессоре, количеством потоков в ядре, частоте.  И даже это еще не все. В ядре есть понятие execution pipeline - те во сколько реально потоков идет выполнение (на картинке выше).  Наличие 8 потоков не означает что все они работают одновременно !  Смотрите, что получается: то что у нас много потоков, и  это хорошо, потому что мы не тратим время на перегрузку регистров, но мы вынуждены делить одно ядро, да еще и выполняться (на некоторых процессорах)  через узкую калитку.  Угадать правильный баланс сложно, нужен эксперимент. В  Power 7 есть уникальная возможность  менять количество потоков программным образом. А раз так, почему бы не попробовать ?

Я взял свою домашнюю машину (AIX 7, 4 ядра Power 7) и решил посмотреть как работает процессор, который нагружается большим количеством потоков под целочисленной математикой и с плавающей точкой. Чтобы понять теорию процесса. Дальше я применил полученные данные к Oracle Database которую нагружал c помощью Swingbench, причем я брал как OLTP  тесты,  так и DWH.  Пожалуйста посмотрите презентацию, там много разных тестов.

Что у меня получилось (вывод для занятых): на Power 7 для OLTP задачи включение режима SMT=4 дает существенный прирост общей пропускной способности при увеличении числа потоков/на одно ядро, при этом в рамках моей системы мне не удалось замерить ухудшение производительности одного потока.  Также Power 7 имеет специальную оптимизацию в случае однопоточного выполнения даже в режиме SMT=4.

Выводы: Разработчикам P7 удалось реализовать действительно реальную многопоточность и ее использование в большинстве случаев существенно увеличит пропускную способность вашей системы.  

Читать дальше...

про счастие-2

Чувствовали себя неудачником,  потому что попали не попали на OpenWorld ? Надоело смотреть на мир глазами Юрия Сенкевича на происходящее через этот блог ? Тогда это для вас - Oracle открыл доступ к материалам OpenWorld. Для всех. Бесплатно. Пусть себя почувствуют неудачниками те, кто потратил деньги и здоровье на 16 часовой перелет, бу-га-га !

PS Не было времени посмотреть  посмотреть какую все таки выберет этот парень, но идея забавная ...

Читать дальше...

OOW. Заключение

Многие говорят, что это был самый интересный OpenWorld за последнее время. Наверное. Очень много анонсов. Для меня это  был уникальный OOW, поскольку я получил возможность поговорить сразу с разработчиками как Oracle так и IBM. Это очень интересно, когда  технические специалисты аргументируют свое видение стратегии.  

Но у этого OpenWorld есть и еще очень важная для меня лично часть. Те, кто давно читает блог наверняка помнят пост про золушку. Тогда очень многие стали говорить, что я "нападаю" на Oracle. Напомню вкратце, что речь шла о том, что при небольшом количестве дисков при двойном зеркалировании есть достаточно высокая вероятность потери данных.  И что мы видим сейчас - выходит Database Appliance, в котором.. применяется тройное зеркалирование. Это было совершенно очевидное решение проблемы. В best practice по Exadata с недавних пор настоятельно рекомендуют  использовать тройное зеркалирование.

Я писал что сжатие базы данных  в 10 раз - это просто маркетинг.   Что это зависит от данных и в большей степени достигается только когда данные пресортированы. Читайте:
"There’s no question that HCC can give you much better results than basic compression – but it’s important to note that the data patterns and basic content make a big difference to how well the data can be compressed."

Я написал, что стратегии Oracle по cloud немного странная. Нет вполне очевидных на сегодняшний день вещей.  Пожалуйста, в этот OpenWorld целый день был выделен cloud, вышел EM12 (Cloud edition), уже не говоря о cloud.oracle.com

И наконец в комментариях к этому посту я уж совсем стал заговариваться и рассказывать что у  Exadata вполне могут быть проблемы с  OLTP нагрузкой потому что redo logs...лежат вместе с данными и  512Mb кэша обычного диска не хватает. Сразу несколько сотрудников Oracle написали, что проблемы не существует. Но Oracle Dev думал по-другому - и буквально на днях анонсировали Smart Flash Log - теперь redo запись идет параллельно на диск и flash и ответ приложению дается  когда одна из записей прошла. Если бы проблемы не было, то и не было бы нужды делать это изменение. Это значительное улучшение для OLTP.

Я хочу выразить искреннее признательность:

- Oracle Corp за возможность посетить OpenWorld
- IBM - за всестороннюю поддержку и финансовую помощь в этой поездке
- Oracle Dev Team за незабываемый ужин -)
- IBM Dev Team за глубокое погружение в технологии компании

PS На картинке вы видите автограф Rick Greenwald, одного из авторов книги по Exadata.

Читать дальше...

OOW. Day 5

Вообще то предполагалось что все будут слушать про cloud. Но другие сессий были гораздо интереснее.  Сначала я слушал про две новые возможности Enterprise Manager 12c - ASH analitics и Real Time Perfomance Diagnostics (RTPD). Whitepaper про них вот здесь. Если коротко, то RTPD это  возможность прямого соединения Enterprise Manager с БД, а не только через агента. При этом набор возможностей и собираемых статистик понятно отличается. Сделано это по всей видимости чтобы облегчить диагностику ситуаций когда базе плохо и ждать пока агент что-то там пришлет просто некогда. Удобно. Но рекомендую держать открытую сессию локально на сервере все равно. На всякий случай. Это достаточно существенное изменение в архитектуре, и что интересно, так сразу был сделан Veritas I3. Наверно они нашли документацию по нему и все-таки прочитали -). Презентатор также упоминал, что сам агент существенно переписан и конечно же улучшен.

ASH analitics это возможность достаточно удобного (и говорят настраиваемого) анализа данных.  Т.е. теперь прямо в основном окошке закладки Perfomance можно включать вложенные фильтры. Т.е. как бы "проваливаться" вниз по данным. Вы добавляете фильтры в любом порядке пока не достигните нужной степени детализации. 
Все больше причин посмотреть на EM 12c. Прочитать как его установить. 

Супер интересный формат был у секции Real Perfomance Questions and Answers. Прошли по залу, раздали листочки, каждый писал вопросы, которые хотел. А ребята из Real Perfomance Group (Greg Rahn, Graham Wood, and Bob Carlin) отвечали на них. Первый вопрос сразу же взорвал зал - "можно ли удалить все индексы если вы переехали на Exadata ?" - коротко их ответ был: "мы отвечаем на этот вопрос 2 раза в неделю. Переезд на Exadata не означает что можно отключить голову. Если у вас есть oltp нагрузка ей по прежнему нужны индексы". Это не большое открытие, верно  ? Но по их реакции было видно, что они устали отвечать на этот вопрос -) Дальше был вопрос про SSD и их ответ был - скорее всего если у вас есть SDD надо использовать их не под flash cache, а под данные, SSD хороши под random IO, под sequential IO они не дают выигрыша (а значит под redo не имеют смысла). Дальше сказали что кэш дискового  массива лучше чем "голые" SSD. Вроде открытие опять небольшие, но, как видно,  люди интересуются снова и снова. Супер презентация про SSD.

Может нам  тоже попробовать на RuOUG такой формат вопросов и ответов ?

Все. Game Over. Закат ввиду Golden Gate. Такси, самолет, самолет, такси - здравствуй пробки. Остались только фотографии.

Читать дальше...

OOW. Day 4

День начался весьма продуктивно - я обнаружил на в demoground стенд с oracle optimizer, а на нем неизвестное мне слово - cardinality feedback.  Я совершенно был не в курсе, что такое это самое  Cardinality Feedback. Если коротко - то оптимизатор может после выполнения запроса посмотреть, а не ошибся ли он при оценке данных. И если ошибся, то внести коррективы на следующем выполнении и возможно построить новый план.  Найденные коррективы к сожалению нигде кроме памяти не сохраняются, и каждый раз после старта базы придется начинать все сначала. По задумке, после того как один раз переоценку сделали, больше ее не повторяют. Сhristian Antognini пишет, что он видел в уже в версии   11.1 (?) что  оптимизатор никак не мог успокоиться и порождал новый child именно потому что производил переоценку. Workaround: Set _OPTIMIZER_USE_FEEDBACK=FALSE to disable the feature.


Ok, сегодня мы наконец узнали главную новость и интригу текущего OpenWorld - cloud.oracle.com. Возможность держать свой сервер приложений и свою базу данных в облаке Oracle.  В принципе звучит прикольно, но так как это уже есть у Amazon, то теперь надо разбираться в чем отличие. По возможностям, нам дают скорее всего что-то очень близкое к Enterprise Edition (так например включен partitioning). 

Судя по картинке можно даже создавать конфирации типа RAC One или DataGuard.  Но дальше пока странно - конечно можно разрабатывать на pl/sql, а вот Web Interface нам дают стоящий в cloud WebLogic, либо Apex. Apex вообще выглядит как основное средство для разработки для cloud, и есть даже целый набор готовых приложений.  Странности начинаются дальше, когда вы начинаете высматривать как же к ней, родной,  подключиться через sql*Net. Пока описаны только jdbc, да и то с оговоркой что только из (соседнего) cloud с сервером приложения. Вопрос пока открытый.
Объявлено, что все построено на технологиях Exadata/Exalogic, но, опять, странно что на странице спецификации не указаны такие возможности как гибридная компрессия или smart scan.  В любом случае пока даже попробовать ничего нельзя - можно лишь сходить зарегистрироваться для получения информации когда все станет доступным. К сожалению пока цены также не понятны. Отдельно мне интересно как хранение данных в Cloud совместимо с нашим законом о персональных данных. Без относительно даже конкретного Oracle Cloud.
  
Следующую инициативу - oracle social network я комментировать не хочу. Перефразируя Gwen Shapira - "facebook - для друзей который помогут вам, oracle social network - для друзей которые помогут вам закрыть сделку".

Читать дальше...

про веселых и находчивых. часть 2

Я писал ранее про веселых и находчивых. И конечно такие нашлись и с другой стороны.
Предлагаю вам интересное упражнение. Возьмем две системы (данные о  cpu специально замаскированы, отгадка ниже):

Первая стоит примерно $1mln, имеет 4 процессора, делает 200K  попугаев

Вторая, стоит  $2 mln долларов, имеет 16 процессоров, делает те же 200K попугаев
















Надеюсь всем очевидно, что первая имея в 4 раза (!)   меньше процессоров и стоит в 2 раза меньше и делает столько же попугаев сколько вторая ?   4*2 = 8 раз (!)  разница.  Мы сравниваем кстати в обоих случаях один размер базы данных, одну базу данных - Oracle Database 11gR2, разница между датами публикаций 3 месяца. То есть ну ближе уже невозможно найти системы. Из приведенных данных как бы очевидно, что только идиет будет приобретать систему 2. Я мог бы сделать лучший в мире пресс-релиз на основании этих данных.

Теперь отгадки: первая система, вторая система.  Надеюсь теперь не так очевидно какая из систем лучше ?

Правда заключается в том, что все эти тесты очень похожи на ситуацию, когда у вас спрашивают какой сегодня день и сколько времени, а вы отвечаете сколько сейчас показывает секундная стрелка. Те конечно это тоже правда, но совсем не та. Увы, сейчас тесты стали средством войны, а на войне, как известно все средства хороши.

PS Хочу выразить признательность Masood Heydari, Oracle VP, который был сегодня предельно корректен во время презентации Sparc Enterprise стратегии. Он кстати сказал, что per thread performance системы 1 равен per thread performance системы 2 но как мы видим это не так. Хотя опять таки, см. предыдущий абзац.


Update 1. Отгадка: Правда в тесте, та, что системе 1 понадобилось в два раза больше потоков чтобы достичь того же результата. Это значит, если мы мигрируете на эту систему то ваша БД будет работать медленнее. Он будет тянуть больше пользователей, но каждый из них будет работать медленнее. Это нормально. Просто на мой взгляд происходит подмена понятий - больше пользователей <-> быстрее работает.

Storage  стоит в 4 раза ($625K)  больше, чем сам сервер ($125K). Мне кажется что вообще все эти тесты большие про Storage, чем про CPU speed. Ну и наконец, чтобы сделать систему 1 выгоднее ее посчитали по метрике  Named Users, против метрики Processor системы 2.  Пожалуйста помните, что Enterprise система это всегда Enterprise система со своей высокой надежностью, возможностями по горячей замене и масштабируемостью. 

Update 2.  Лучше и не скажешь:
"The M-Series are designed with Mainframe-class RAS features (Reliability, Availability, Serviceability). They are based on the Sparc64-VII+ CPUs, excelling at single threaded performance.
The T-Series are the CoolThread servers, with the CMT (chipmultithreading) design, they are designed to run heavily parallel workloads, concentrating on throughput"

Читать дальше...

OOW. Day 3

Update 1. Все таки сделали сделают columnar compression в TimesTen ! В текущей версии этого нет, обещают в следующей. Наверно в Exalytics стоит какая-то специальная пока версия TimesTen.

День  начинается хорошими  техническими (наконец-то) новостями. Совершенно чумной блог команды Ksplice - нового приобретения Oracle, которое позволяет проводить обновления ядра  linux   без перезагрузки. Настоящее сумасшедствие - очень рекомендую. Откройте для себя OEL Beta Kernel Release 2 for Oracle Linux 6. Клевая white paper как работает Dynamic Threading в T4 под LDOM.

Update: Объявлены DTrace for Linux, Linux Containters.

Oracle Cloud - основные продукты на которых базируется Oracle Cloude - EM 12c (можно скачать здесь) и  Oracle VM (скачать здесь)

Специальные возможности Solaris для Oracle !

Еще раз повторили что HCC возможна без Exadata но с ZFS Storage Appliance.

Общают бесплатный Hardware Management с каждым новым котрактом.



Посмотрите выступление John Fowler - мне понравилось. Нормально,  без истерики.  Solaris is a best и все такое. Одно осталось непонятным - где M-series (8000/9000)  ???? Я вообще не услышал про них ни одного слова. Кто-нибудь может объяснить что с ними происходит ?


PS На картинке - вот эта яхта.

Читать дальше...

OOW. Day 2

Сегодня удалось наконец прорваться к демо room Oracle Hardware. Далее со слов специалиста, который отвечал на мои вопросы. На картинке слева видно что там все таки внутри Super Cluster - 6 Exadata Cell для СУБД,  ZFS Appliance как shared пространство для серверов. Дальше предлагается из  2 узлов Sun T4-4 собрать два кластера - один на основе Solaris 10 для web серверов, другой на основе Solaris 11 для Database. Также можно заказать карточку и подключить сервера к существующему SAN. На вопрос - только на время миграции или навсегда -  помялись, но сказали - что навсегда тоже можно.

Дальше удалось поговорить про Exalytics. Там одновременно OBI EE, TimesTen и Esbasse. Будет лицензироваться по пользователям. На вопрос где же там компрессия x10 раз - был ответ в TimesTen (?) Update - да, таки сделали !

Интересно было про масштабирование - что если не хватает двух таких машинок. Вреде бы как нужно начинать строить кластер над Weblogic, который в OBI EE. Хочу напомнить, что подключать эту штуку можно будет к любой БД, но лучше всего конечно к Exadata. Никто и не сомневался в последнем -)

Показали новенький Enterprise Manager 12c - красиво. На одной из секций показали что можно будет сравнивать не только AWR отчеты но и ADDM. И сохранять в offline. Это клево, спору нет.


Анонсировали Big Data Appliance. Отдельная большая тема, но если приглядется прикрутили бесплатные тулзы конечно к Exadata. Никого не хотел обидеть, наверное  все остальные делают также -)  Если у вас другое мнение  - можете начинать -). Update 1. Читать здесь

Сходил на несколько сессий, которые вроде про базу данных, и даже назывались internals. Даже слайды с прошлого года не поменяли. Я чувствую что что-то пропускаю, но ничего нового в/около  БД  (кроме EM) не объявляют.

Читать дальше...

OOW. Day 1

На фотографии слева   - demo room Oracle hardware: Exadata, Exalogic, Exalitics, Super Cluster, Oracle Database Appliance, Oracle Pilar hardware - черт, я уже путаюсь, что из них что -)


Очень большое кол-во сессий про RAC. Буквально все кто занимается всяким консалтингом рассказывают про RAC. Аудитория забивается полностью на любую сессию про RAC.

Я сходил на RAC parallel execution, где услышал про parallel_force_local=true, параметр,  который оставляет все slave на той же ноде где и координатор, parallel_adaptive_multi_user во время демонстрации не как не давал slave'ам уйти на другую ноду, теперь если добавить сюда parallel in memory execution и parallel queuing получается классный компотик, в котором не очевидно как что работает в каких комбинациях . Надо конечно пересмотреть свое представление о теории этого процесса.

На следующей секции расссказали что result_cache работает в RAC совершенно прозрачно и результат сохраненный на одном узле передается на другой. Но работает ли это с parallel execution я не понял -(

Побывал на секции как мигрировать с single instance на RAC c помощью streams - там столько всего накручено, что мне этот способ совсем не понравился -( По моему мнению если люди идут на RAC то остаются на той же платформе и standy нам в помощь.

Встреченный Jonathan Lewis, сказал мне что  таскает с собой ноутбук с 4-х узловым кластером. Он раньше написал, что его легко узнать по этому ноутбуку -).  На вопрос не пресмотрел ли он свое (отрицательное) отношение к RAC ответил что нет, что у него очень специальный взгляд на это, но заказчики хотят и нужно знать как это работает. А его новая книга выйдет 24 октября. Так что пока ждем.

Из новостей: анонсирована Exalytics (in-memory database  1TB of memory, 40 Cores Intel Xeon, IB network connection to   Exadata   + OBI EE, Essbase and TimesTen), новая аналитическая машина, слева на картинке.  Пообещали что ее можно будет подключать к любой существующей БД ! SAP HANA не дает никому покоя -)  Анонсы  Big Data и стратегия Cloud впереди.  Oracle явно хочет стать IBM -))))

Проспали, и не следили за  Ларри ? - не беда !
(основное что нужно знать - в этом году все быстрее в 10x10 = 100 раз). Во время выступления было интересно отступление про скорость процесоров T4 vs P7, надо будет послушать внимательно. Пока цитата из слайда: "T4 faster for Java then P7. P7 faster for arithmetic".

Читать дальше...

OOW. Day 0

Я обновлю этот пост как только появятся подробности.

Update 1. Если вы найдете очень интересную сессию (или вот тут)  на OOW - дайте мне знать и возможно я попаду на нее и расскажу/добуду презентацию -)

Update 2. Две клевые и по настоящему бесплатные программы: Oracle Mobile App, с помощью которой можно следить за новостями, и Oracle Support Mobile с помощью которой можно можно мучить Oracle Support практически круглосуточно -) 

Oracle Open World еще не начался,   а новостей уже высыпалось целая туча. Но если все предыдущие требовали от вас  немедленно купить новую красивую железку,  то вот настоящая хорошая новость - Oracle обещает что  Hybrid Columnar Compression будет поддерживаться в 11.2.0.3 (?, который уже вышел !) если у вас  Sun ZFS Storage Appliances или  Pillar Axiom Storage.  Что ? опять нужно что-то купить ? -(  Я надеюсь что будет достаточно только ZFS Storage Appliance Software. Я надеюсь.

Многие помнят, что HCC была в бете 11.2 и потом Oracle решил оставить эту возможность только для Exadata.

Читать дальше...