RAC 11.2 Interconnect for AIX 7

Если вы строите Oracle RAC на Unix, первым делом вы отправляете читать Oracle RAC Technologies Certification Matrix for UNIX Platforms. Это знают даже дети. Ну а если вы серьезный человек, и вам хочется Infiniband, то читай там, или   не читай, ничего не поймешь -). 

Тогда идем на сайт IBM, где согласно документу (дата документа 2011.10.11)

На AIX 7 поддерживаются

- 100 Mbps ,1 Gigabit
- 10 Gigabit Ethernet
- IP over InfiniBand (IPoIB)


Но в документе есть такая фраза " The new HAIP feature introduced in 11.2.0.2 is not compatible with InfiniBand on AIX at this time. Customers can continue to use 11gR1 with IB on AIX"

На практике при установке 11.2 я столкнулся  с Oracle Bug 10380816: GRID INSTALL: ROOT.SH FAILS WHEN STARTING RESOURC ORA.CLUSTER_INTERCONNECT.HAIP
и насколько я понимаю он до сих пор не закрыт. Вкратце, установить 11.2.0.2 на AIX 7 в конфигурации IP over Infiniband не получается. 

На данный момент рекомендации IBM Dev team звучат однозначно - для 11.2 используйте 10 G Ethernet.

Ну и наконец, а нужен ли нам Infiniband вообще ? Судя по документу SUN Reference Architecture for Oracle 11g Grid,  если вы строите кластер более 2-х узлов - да, очень даже пригодится.  На картинке выше показано как растет время доставки current and consistent read копий блока в зависимости от используемой технологии Interconnect.

5 комментариев:

  1. Дима, насколько я понял график в white paper для RDS. IPoIB должен быть хучже и по latency и по throughput и по нарузке на хост (вроде Infiniband карточки пока off load IPoIB делать не научились?). Ты делал тесты стравнения 10GbE vs 40Gb IPoIB для интерконнекта? Было бы интересно.

    ОтветитьУдалить
  2. Oleg Ukhno1/2/12 8:34 PM

    Дима, ну там к слову сказать путем нехитрых манипуляций haip(то есть приватная сетка которую грид самостоятельно вешает на интерконнектном интерфейсе) манипулируется и все работает по старинке. Отрывать прямо в процессе инсталляция не пробовал, но думаю что там особенных сложностей не будет. Если надо, приходи, я тебе покажу :)

    ОтветитьУдалить
  3. >Если надо, приходи, я тебе покажу
    Тихо ты, всем то не рассказывай -) А то понаставят понимаешь и будут потом заставлять все это поддерживать -) Но за предложение - спасибо -)

    ОтветитьУдалить
  4. >Ты делал тесты стравнения 10GbE vs 40Gb IPoIB для интерконнекта? Было бы интересно.

    Нет, увы сам тестов не делал. Но на картинке (как я ее понимаю) сравниваются 3 разных протокола - RDS, IP over IB, 10GE. Так что это и есть ответ на твой вопрос (частично)

    >IPoIB должен быть хучже
    Занятная опечатка, я так и не смог догадаться в каком месте -)

    Конечно IPoIB должен быть хуже by design, Но с тем же геморроем с IB оборудованием. Так что наверно реальная конкуренция сейчас между RDS/IB vs 10GE

    ОтветитьУдалить
  5. Анонимный5/2/12 7:36 PM

    >Судя по документу SUN Reference Architecture for Oracle 11g Grid

    плохая картинка - в тесте использовались полудохлые T-series, которые с трудом гигабит-то утилизируют, так что, что намерили неясно.

    ОтветитьУдалить