К основному контенту

Параллельное создание индексов

Задача: Измерение скорости построения индекса при различных степенях параллелизма.

Для примера взята таблица размером 600 мегабайт.

SELECT SUM(BYTES)/1024/1024 MB FROM DBA_SEGMENTS WHERE OWNER = 'DBAX' AND SEGMENT_NAME = 'TEST1' AND SEGMENT_TYPE='TABLE';

                 MB
-------------------
                646

Для этой таблицы будет построен индекс по всем полям (для утяжеления операции).

CREATE INDEX DBAX.TEST_I1 ON DBAX.TEST1(C1, C2, C3, C4, C5, C6);
-- PARALLEL N

Результаты:
PARALLELISM     16 CPU         RAC(CPU 2x192)
NOPARALLEL 01:00,3        00:21,0
PARALLEL 2 00:21,2        00:19,1
PARALLEL 4 00:12,3        00:11,0
PARALLEL 8 00:09,3        00:04,7
PARALLEL 16 00:08,7        00:03,0
PARALLEL 32 00:09,9        00:02,7
PARALLEL 64 00:19,0        00:03,4
PARALLEL 128    00:28,7        00:05,8

На 16 ядерном сервере сразу заметно уменьшение производительности при превышении значением параллелизма максимального числа ядер.
При отсутствии ограничений по ядрам (2-х узловой кластер по 192 ядра) оптимальные результаты получены при параллелизме 32.


N.B. Если индекс планируется использовать в дальнейшем, не забыть сделать:
ALTER INDEX DBAX.TEST_I1 NOPARALLEL;
 

Комментарии

Популярные сообщения из этого блога

Установка и настройка pgAgent(планировщика заданий PostgreSQL)

Установка pgAgent Последняя версия скрипта для установки агента  тут . Перенести инструкцию по агенту в отдельную тему. 1. Создать пользователя ОС, и сделать ему домашний каталог: useradd -s /bin/false -r -M pgagent mkdir /home/pgagent 2. Установить и настроить демон: yum install pgagent_94 При наличии ошибок вида (была на Oracle Linux 6.8) Error: Package: pgagent_94-3.4.0-1.rhel6.x86_64 (pgdg94)            Requires: libwx_baseu-2.8.so.0(WXU_2.8)(64bit) Нужно установить EPEL systemctl enable pgagent_94 chown pgagent:pgagent /var/log/pgagent_94.log 3. Установить схему агента в базе: sudo -u postgres psql -f /usr/share/pgagent_94-3.4.0/pgagent.sql postgres 4. Создать файл паролей для подключения агента к базе. vi /home/pgagent/.pgpass localhost:5432:*:postgres:postgres chown pgagent.pgagent /home/pgagent -R chmod 600 /home/pagent/.pgpass 5. Запустить и проверить работу агента systemctl start pgagent...

Включение логирования для Haproxy

Изначально логирование в syslog в HaProxy отключено. Ниже пример настройки логирования для ОС Centos 7. Настройка: Добавить строку  log 127.0.0.1 local2 в секцию global файла /etc/haproxy/haproxy.cfg Раскомментировать $ModLoad imudp и $UDPServerRun 514 в файле  /etc/rsyslog.conf Создать файл  /etc/rsyslog.d/haproxy.conf со следующим содержимым:  local2.* /var/log/haproxy.log Перезапустить rsyslog и haproxy.

Установка PL/Java для PostgreSQL 9.4

Предварительные требования:  1. Компилятор C. Как правило имеется в виду gcc и g++ gcc  --version на CENTOS 7 мне понадобился gcc_c++ (в дополнение к установленному ранее gcc) 2. JAVA. Убедиться, что  javac  -version работает  3. PostgreSQL установлен и  работает pg_config Файлы для разработки (.h файлы) для нашего PostgreSQL также должны быть установлены. Убедиться можно посмотрев что лежит в INCLUDEDIR-SERVER (вывод pg_config). Я раньше компилировал БД из исходников на этой машине, так что у меня эти файлы были. 4. компилятор Maven mvn --version Установка git clone https://github.com/tada/pljava.git или git clone ssh://git@github.com/tada/pljava.git Заходим в директорию pljava и выполняем mvn clean install В результате должны получить: [INFO] PostgreSQL PL/Java ................................ SUCCESS [INFO] PL/Java API ....................................... SUCCESS [INFO] PL/Java backend Java code...