про золушку-2
* X4275 Server
* 2 Quad-Core Intel® Xeon® E5540 Processors
* 24GB RAM
* Dual-port 4X QDR (40Gb/s) InfiniBand card
Перечитываем еще раз и убеждаемся что карта Infiniband ..одна, только двухпортовая. Повторю - это обычная PCI -E карточка, стоимостью $2,295. Что удивительно, так то, что ничего не мешает нам поставить их две, это поддерживается. Инженеры Sun обо всем подумали проектируя X4275. Теперь внимание вопрос - что произойдет если у системы за $300K за железо + $360K за специальное ПО сгорит 1 карточка за $2K? Да в общем ничего, вы же помните что данные задублированы причем обязательно на других cell. Потеря 1/3 производительности ? Потеря данных, если за до замены карточки сгорит диск ? Весьма сложная ребалансировка когда карточку заменят ? Who care about... Как же это могло произойти, почему всего одна? Я честно говоря не понимаю (есть версия - просто закончились свободные порты). Но знаю точно, что это совершенно бессмысленная и беспощадная экономия $2K. Кстати купить за свои деньги и доставить - нельзя -). Остается только молиться. Enjoy !
Сообщения
Все-таки бытие формирует сознание :^) (это я про нового работодателя)
ОтветитьУдалитьВ cell шесть PCI слотов: 4 занято под Flash Cache, 1 под Ethernet и еще один под Infiniband. Все распределено по слотам весьма сбалансированно.
Показатель Mean Time Between Failures (MTBF) у Infiniband карточки на два порядка меньше чем у самой материнской платы. С точки зрения высокой науки об анализе рисков вторую карточку туда пихать не имеет никакого смысла. Мы скорее дождемся когда сгорят процессоры, материнская плата, PCI контроллер, и т.п., чем эта несчастная карточка.
Если развивать теорию дальше, то я могу легко показать, как можно убить систему намного быстрее и эффективнее, чем ждать 250 лет (цифра взята с потолка, на самом деле она намного больше) пока закончится время жизни Infiniband-карточки. Пустите меня только в серверную! :^)
>Mean Time Between Failures (MTBF) у Infiniband карточки на два порядка меньше
ОтветитьУдалитьОчевидно ты хотел написать больше ?
Если так, а эта карточка - обычная PCI то зачем вообще дублировать все PCI карты ?
Зачем http://download.oracle.com/docs/cd/E11882_01/install.112/e17210/preaix.htm#CWAIX197
"Oracle recommends that you use the Redundant Interconnect Usage feature to make use of multiple interfaces for the private network"
ведь ты пишешь что надежнее этой карточки только великая китайская стена ? -)))
А фраза "Oracle recommends that you use the Redundant Interconnect Usage feature to make use of multiple interfaces for the private network" означает что должно быть две физически отдельных карточки?
ОтветитьУдалитьПо-моему одна NIC в режиме active/passive подходит под это определение. Ведь программно будет два интерфейса. Дальше по тексту они под словом interface подразумевают eth1 и т.п. то есть программные интерфейсы. Когда они именют в виду одельную физическую карту они говорят network interface card или NIC.
По-моему риски падения программного инрерфейса выше чем риски того, что карточка физически сгорит.
После перехода в ИБМ у Дмитрия на многое сразу открылись глаза?
ОтветитьУдалитьС нетерпением ждем обзор недостатков Р795го..
:)
Это теперь только после перехода назад в Oracle :^)
ОтветитьУдалитьШютка.
> у Дмитрия на многое сразу открылись глаза?
ОтветитьУдалитьСарказм не зачтен. Каждый человек после того как начинает реально работать с продуктом получает новые данные о нем. Так и я получил новые знания после того как пришлось столкнуться с Exadata у заказчика. Что-то оказывается здорово, что-то нет. О том как здорово можно найти в этом блоге. Никакие материалы не удалялись. Тот же RAC - тут масса статей какой как мне нравится эта технология и 2-х дневный семинар как обойти заботливо разложенные грабли.
>С нетерпением ждем обзор недостатков Р795го..
Конечно будут, можете даже не сомневаться. Продуктов которые закрывают все потребности всех людей пока не изобрели. Кроме, возможно, Mac Book Pro -))))
Да ладно -- "новые знания"... :^) Просто в IBM перешел поработать -- приоритеты и сместились. Все понятно :^)
ОтветитьУдалитьРасскажи лучше по чесноку что первично а что вторично: новая работа в IBM или новые знания от заказчика по Exadata? А мы будем слушать твои сказочки :^) Только складно рассказывай -- не то мы тебя зарэжем. Шютка.
А то что-то подозрительно совпадает это трепетное волнение о надежности infiniband карточки (у которой MTBF 486 лет) с переходом на новое место работы.
Людям хочется прозрачности, предсказуемости последующих шагов. ...А то мы тебе не будем присылать логи с рабочего адреса. :^)
Шютка, шютка.
Дима, про недостатки Экзадата расскажи, это была бы тема № 1. Кроме рекламных достоинств пока недостатков в интернете не описано,
ОтветитьУдалитькроме этой infiniband-карточки.
>Просто в IBM перешел поработать
ОтветитьУдалитьТы думаешь что мне в IBM дают в обед поработать на Exadata чтобы я разобрался что к чему -)) ? Все что я пишу сейчас это experience полугодовой давности, просто писать было некогда тогда, сейчас появилось время.
>Людям хочется прозрачности,
уж куда больше прозрачности - в этом блоге можно найти все - и сильные стороны, и слабые. И вроде написано как меня зовут. В отличии от выступлений на тех же мероприятиях, когда очень часто выходит кто-то тебе неизвестный, с неизвестным тебе опытом - и посему не понятно, он только вчера увидел эту презентацию или действительно это его опыт.
>Mean Time Between Failures (MTBF) у Infiniband карточки
ОтветитьУдалитьВнимание - вопрос. Ты не мог бы привести ссылку на этот самый показатель ? Спорю на литр сидра - что нет его у тебя -))
> Производители Hardware не публикуют такие показатели как .. M-Values
ОтветитьУдалитьУ IBM они называются rperf. Опубликованы здесь:
http://www-03.ibm.com/systems/power/hardware/reports/system_perf.html
>Если ты покажешь мне сайт сайт, где IBM публикует ... то я в тот же день найду тебе аналогичный сайт Sun.
?
Ну как, как английский джентельмен мог так подставиться ? -))))
PS Про MTBF - согласен. Но ведь это ты первый начал "Показатель Mean Time Between Failures (MTBF) у Infiniband карточки на два порядка " вот мне и стало интересно откуда это берется.
Производители Hardware не публикуют такие показатели как MTBF, M-Values и т.п. Ни Sun, ни IBM, ни HP, никто.
ОтветитьУдалитьТому есть причина: Если одни начнут это делать, то другие производители-конкуренты начнут стоить из этих показателей различные дурацкие теории, экстраполяции, вычислять пределы масштабируемости конкурирующих продуктов и пороть прочую псевдо-научную чушь и обсуждать это в блогах :^)
Если ты приведешь мне ссылку, где IBM публикует MTBF своих аппаратных компонентов, то я в тот же день приведу аналогичную ссылку на ресурс Sun.
По твоим ссылкам я не вижу MTBF карточек infiniband производства IBM.
ОтветитьУдалитьSun не публикует M-Values по описанным выше причинам.
>> Но ведь это ты первый начал "Показатель Mean Time Between Failures (MTBF)
ОтветитьУдалить>> у Infiniband карточки на два порядка
Ты доказываешь что карточка слабая звено архитектуры, ты и подкрепляй это данными :^)
>> Ты думаешь что мне в IBM дают в обед поработать на Exadata чтобы я разобрался что к чему -))
ОтветитьУдалитьЯ тоже ничего про P-series не знаю, но завтра обязательно напишу в этом блоге пост, что там на материнской плате какой-то алень-архитектор из IBM впаял очень ненадежный опто-изолятор 4N25 китайского производства. И что этот опто-изоолятор примерен на системе электропитания всех материнских плат в P-series. Едиственным аргументом, который я приму в качестве опровержения моего утверждения будет ссылка на сайт IBM, где должен быть приведен MTBF конкретного опто-изолятора 4N25.
Опто-изолятор 4N25 стоит 8 центов, а компьютер P-series стоит 25 миллионов долларов. ВЫВОД: "это совершенно бессмысленная и беспощадная экономия 8 центов" :^)
Дальше я напишу: "кстати купить за свои деньги и самостоятельно впаять качественный опто-изолятор 4N25 немецкого производства - нельзя -). Остается только молиться. Enjoy !"
...это же будет как-то не по-джентельменски :^)