читая TPC-C


Многие спрашивают, что же за  волшебный SuperCluster. Чтобы понять о чем дальше пойдет речь вам нужно прочитать пост "изучаем aнглийский вместе с Ларри". 
Итак, новый рекорд в TPC-C с весьма впечатляющими цифрами. Одновременно нам рассказывают про новый процессор T3, который в 2 раза производительнее старого,  Infiniband, новый Solaris 11 и Flash Array. 

Конечно, очень бы хотелось понять, а что именно изменилось со времени предыдущего теста, что так здорово увеличило производительность.

Для этого рассмотрим два теста,
 старый: 7,646,486 tpmC, 384 ядра, UltraSPARC T2 Plus 1.6GH, Flash Array, 12 узлов RAC
  новый:  30,249,688 tpmC, 1728 ядер, SPARC T3 1.65GHz, Flash Array, 27 узлов RAC


Тот же Flash Array, тот же Solaris 10 (да-да, а вовсе не Solaris 11), версия RAC изменилась с 11gR1 до 11gR2 но документированных  улучшений в производительности я не видел. Что странно, на диаграммах в обоих случаях в качестве RAC Network стоит 10GbE switch (?). Я думал, что в качестве интерконнекта использовался Infiniband ..(поправьте меня если я что-то пропустил)

По человечески вроде бы результаты понятно - 30/7 ~ 4 , т.е. мы взяли в 2 раза больше узлов (27/12)  и в два раза более мощный процессор.

Теперь о странном: Если поделить число транзакций на ядро, то окажется, что новый T3 дает нам 17,505, старый T2  дает 19,912. Что совсем выглядит пугающее, в соседней строчке в том же TPC-C  Power 7 дает 53,990 (хоть и на другом приложении, но транзакции то одни и те же ).

Не внушает оптимизма и тот факт, что из $47 млн $22 млн стоит Flash Array (суммы до скидок, просто для того для того показать соотношение).

Flash Array (или SSD диски), Infiniband, 10Gg Ethernet - все это на данный момент практически стандартные компоненты, предлагаются многими вендорами.

Я остался в полном непонимании от применимости результатов теста supercluster  в реальной жизни. Т.е. решив увеличить результат, просто увеличили объем железа, удвоив стоимость. Мне кажется что supercluster это все таки победа больше маркетинга, играющего коэффициентами в processor core table.   Что, конечно же, не умаляет заслуг инженеров, все это собравших  -)


 Пока я вижу только одну хорошую новость - большее число узлов RAC смогло дать прирост производительности, а значит RAC все таки работает -)





14 комментариев:

  1. Анонимный20/3/11 7:53 PM

    Как говорится - доброе утро!

    ОтветитьУдалить
  2. Спасибо. Я только сейчас стал получать от заказчиков вопросы по поводу этого теста. Я видел некоторые дискуссии, но в большинстве своем это было обсуждение сферического коня в вакууме. Я думаю что в России это покупать не будут, а вот использовать инженерный опыт, почему бы и нет. Поэтому мне и интересно, что принципиального нового сделал Oracle в новом тесте ? Буду благодарен за подсказки.

    ОтветитьУдалить
  3. Прочитав этот пост, удивился, почувствовав про-IBM-овские настроения в тексте. Все стало понятно только после прочтения презентации http://www.aixportal.ru/images/stories/kirill/18032011/o4i%20-%2001.pptx.pdf

    ОтветитьУдалить
  4. >почувствовав про-IBM-овские настроения в тексте
    Как вы нашли во фразе "RAC все таки работает" эти настроения ? -))

    ОтветитьУдалить
  5. Анонимный22/3/11 8:12 AM

    Вот только какая-то темная история...
    Oracle accused of stifling HP TPC benchmark
    http://www.theregister.co.uk/2011/03/11/oracle_allegedly_stifles_hp_oracle_tpc_benchmark/

    ОтветитьУдалить
  6. >Как вы нашли во фразе "RAC все таки работает" эти настроения ? -))
    а я там и не искал. Когда апологет Sun Hardware начинает расхваливать Power7, это настораживает :-)

    ОтветитьУдалить
  7. >Sun Hardware начинает расхваливать
    просто моя ultra V сломалась в прошлом году, ищу замену. Ничего личного -)

    ОтветитьУдалить
  8. Анонимный23/3/11 5:22 PM

    де жа вю :)
    http://ccip.csa.ru/CSA/News/msg00621.htmr

    Хорошая новость лишь в том, что rac можно заставить работать как 27 практически изолированных баз.
    Infiniband тут излишен. 10GbE вполне справится и уменьшит общую стоимость.

    вопрос - а нафига такой rac вообще нужен на практике?

    ОтветитьУдалить
  9. http://www.aixportal.ru/images/stories/kirill/18032011/o4i%20-%2001.pptx.pdf

    это мероприятие состоится? записаться можно?

    ОтветитьУдалить
  10. Состоится, детали в верхнем посте

    ОтветитьУдалить
  11. Анонимный21/4/11 11:49 AM

    В картинку-скриншот с стайта TPC не вошла самая важная колонка, ради чего все это делается -- стоимость транзакции. Ведь корпоративный рынок не инетересует мощность ядер или абсолютная произвидительность системы. Корпроративный рынок интересует общая стоимость влдадения.

    Дима прав, что результаты теста TPC-C не применимы в реальной жизни, так как речь идет о достаточно примитивном приложении. Просто так исторически сложилось, что все запускают именно это приложение. Теоретически, тест выиграет самая примитивная спициализированная СУБД, на специализированном только под этот конкретный софт железе. Просто к этому тесту исторически уделяется слишком много внимания, поэтому мы видим файтастические комбинации железа и софта, чтобы выиграть тест. Если завтра IBM покажет еще более высоки результат на еще более извращенном суперкластере, то это ровным образом ничего не будет значить, так как послезавтра Oracle покажет супер-пупер-кластер II. Напоминает эскалацию гонки вооружений.

    Именно поэтому мы врядли увидим на TPC-C тесты систем, специально заточенных под реальную жизнь. Например, Database Machine. Реальная жизнь намного сложнее чем тест TPC-C и для реальной жизни нужно свое решение. А вот под примитивные тесты будут продолжать изготавливать специальые конфигурации, это я Вам обещаю.

    Беда в том, что из всего этого говна мы пытаемся делать технические выводы, а их быть не может :^)

    Например, в компьютерах Apple используются более медленные ядра, чем в компьютерах с Windows. Ну и что? Да хрен ними, с Windows и с ядрами. Вы посмотрите финансовые результаты Apple за последний год, на Mac Book Pro Димы Волкова и на мощнейший ноутбук с Windows от HP, с которого он мигрировал без проливания скупой технической слезы о мощности ядер :^)

    ОтветитьУдалить
  12. Анонимный21/4/11 2:26 PM

    Еще одно важное наблюдение.

    В тесте TPC-C мы не увидим результатов Oracle Database на железе IBM. Никогда. Не потому что Oracle Database полохо работает на железе IBM. С технической стороны это вполне конкурентноспособная комбинация.

    Мы не увидим TPC-C тестов Oracle Database на железе IBM потому, что пресловутая колонка цены одной тразакции, не вошедшая в скриншот на картинке, покажет низкий результат. И причина тому core factor 1.0 при лицензировании Oracle Database на железе IBM POWER: http://dsvolk.blogspot.com/2011/04/core-factor.html (в комментариях).

    При этом я не удивлюсь, если в скором времени IBM опубликует новые результаты TPC-C свой базы данных DB2 на процессорах POWER, которые опять займут первую строчку и потом Oracle опять придумет новый суперкластер. И опять, и опять по кругу.

    TPC-C -- это всего лишь тест, ставший по иронии судьбы стандартом, и многое, что происходит вокруг него это цирк не имеющий отошения к реальной жизни.

    ОтветитьУдалить
  13. >Мы не увидим TPC-C тестов Oracle Database на железе IBM потому, что пресловутая колонка цены одной тразакции, не вошедшая в скриншот на картинке, покажет низкий результат

    Нет, наоборот - мы не увидим тестов потому что есть опасения что колонка окажется совсем не в пользу Oracle Hardware -)

    ОтветитьУдалить
  14. Анонимный21/4/11 5:12 PM

    Та колонка вычислятеся как стоимость железа + лицензий Oracle + всего остального необходимого в соотношении к количеству транзакций. И вся проблема в том, что лицензии Oracle из формулы теста TPC-C выкинуть нельзя.

    Для того, чтобы доказать, что железо Sun медленне по сравнению с железом IBM далеко ходить не надо. Нужно просто открыть результаты тестов, которые тупо мерют скорость процессора, ввода вывода, памяти, шины и т.п. и сводят это все в единый коэффициент. По-моему iSpec эти тесты нызываются. Много их в общем.

    А вот когда речь идет об параметре цена производительность конкретно под СУБД Oracle на каком-либо железе, то от цены лицензий Oracle не отвертеться.

    Но скорость железа это не все. Например, на технике Sun всегда была и будет лучшая двоичная совместимость приложений в IT индустрии. 20 лет непрерывной совместимости, начиная с Solaris 2.6.

    Но больше всего мне нравится пример с Apple. Apple медленнее, дороже, но темпы роста этой компании выше остальных и ее продукты покупают. Почему? Потому что "software and hardware engineered to work together".

    ОтветитьУдалить