How to read 1 billion rows in 2 sec ?

Short answer: Use Exadata :)

Один из видов тестирования, которые предлагает Oracle - это однодневный визит в ETC (Enterprise Technology Centre) под Лондоном, во время которого инженеры рассказывают про продукт, его пропускную способность. Cама Exadata V2 стоит за стеклом, но к ней можно подойти, потрогать, попросить запустить какой-то запрос. Нет никаких проблем с английским - оказывается я могу переводить почти в синхронном режиме. Реально, лучше всего один раз увидеть. Самолет из Москвы летит 4 часа. Погода (дождь) и еда (fish & chips) отвратительные, но вы же не есть приехали :)) Хотя, если знать места...:). Так вот, один из наших заказчиков и решил увидеть все своими глазами..

Вот только один тест, который показали во время этого визита инженеры ETC: табличка с 1,000,000,000 записей, по которой считается select count(*). Нам нужно прочитать примерно 60 Gb данных. Что мы с успехом и делаем за 7 сек (~8,5 Gb/s). Затем, мы применяем Hybryd Columnar Compression (HCC) Query Mode, что позволяет нам сжать таблицу примерно в 3 раза и тот же запрос выполняется за 2,7 сек. Далее мы сжимаем таблицу еще больше с помощью HCC Archival Mode, объем становится 10gb (сжатие примерно в 6 раз) и наш запрос завершается уже за 2,68 сек. На таблице нет индексов. В запросе участвует 6 Exadata Storage Cell (теоретическая пропускная способность 1,5 gb per cell). Мы не использовали помещение таблицы во Flash Cache в этом тесте. Это чистое тупое чтение с дисков. Для очень умных: buffer cache тут "не играл". Сами догадайтесь почему :). C Flash Cache даже несжатая таблица читалась за 0,5 сек.


Другая возможность, которая существует - это передать свою БД версии 11.2 на тестирование в ETC. Звучит заманчиво :) Теперь немного деталей. Быстро делаем ee обновление. Все расписано в одном из предыдущих постов. Затем вы должны ее обезличить. Далее, пожалуйста ограничьте ее 1-5 Tb. И наконец, придумайте способ воспроизводить нагрузку. Мы очень любим воспроизводить нагрузку, записанную с помощью Real Application Testing. Нагрузка воспроизводится в реальном времени. По факту тестирования тут же вы получаете отчет, в котором расписано сколько запросов улучшилось и насколько. Вообще план тестирования на Exadata звучит настолько просто, что только ленивый сейчас этим не воспользуется.

Кстати, совершенно случайно, у нас есть story по этому поводу: "Одна из американских компаний, производящих рекламные уличные панели использовала 11.1.0.6 на платформе Linux. Они захватили пиковую нагрузку в течении 5 часов и решили протестировать дисковые массивы различных производителей. После завершения тестов они захотели попробовать Exadata. Тут не обошлось без приключений и они встретились на 11.2 с bug #9066130. К счастью, fix уже существовал и после его установки они получили уменьшение DB Time на 62%. По заявлению наших product managers они продолжают сотрудничество с нашим ETC центром для следующих тестов".

Я не помню, возможно я упустил, тестирование в ETC бесплатно для заказчика. Имеет смысл позвонить в Oracle +7 495 641 14 00. Я, кстати, думаю, что скоро смогу рассказать уже и свою success story, с нашим заказчиком...