суббота, 5 декабря 2009 г.

База знаний RedHat

Компания RedHat открыла в свободный доступ всей общественности свою Базу Знаний (KB), т.е. регистрация и вход по login/password более не требуются. Напомню, что KB RedHat - это большая библиотека подсказок, решений трудных проблем и текущая полезная информация, ежедневно обновляемая техническими специалистами компании.

Ссылка на базу - http://kbase.redhat.com/faq/en


среда, 2 декабря 2009 г.

Юбилей

25 ноября этого года мне исполнилось 25 лет! 

Ура! Некий рубеж в этой жизни я уже прошел :)


среда, 17 июня 2009 г.

Монтирование компакт-диска или DVD-диска (Linux)

В зависимости от конфигурации системы для монтирования дисков могут потребоваться полномочия root.  Чтобы смонтировать компакт-диск или DVD-диск в операционных системах Linux: Вставьте компакт-диск или DVD-диск в дисковод и введите команду:

mount -t iso9660 -o ro /dev/cdrom /media/dvd

где /cdrom - точка монтирования компакт-диска или DVD-диска.

вторник, 2 июня 2009 г.

Что такое Statspack и как его использовать?

Пакет выполняющий функции мониторинга производительности и выдача отчетов. Кроме того, Statspack принимает в расчет как зафиксированые, так и откаченные транзакции.

Установка Statspack.

При установке утилиты Statspack создается пользователь PERFSTAT. Ему принадлежит весь код на PL/SQL и объекты базы данных (таблицы, ограничения целосности и пакет Statspack).

sqlplus sys
--
-- Install Statspack
-- Enter tablespace names when prompted
--
@?/rdbms/admin/spcreate.sql
--

Скрипт установки spcreate.sql автоматически вызывает 3 других скрипта:

spcusr - создает пользователя и предоставляет привилегии
spctab - составляет таблицы
spcpkg - создает пакет

После завершения установки нужно проверить каждый из этих трех файлов инсталляции (spcusr.lis, spctab.lis, spcpkg.lis), чтобы гарантировать, что ни каких ошибок не возникло в ходе установки.

Удаление Statspack.

-- Drop Statspack
-- Reverse of spcreate.sql
--
-- @?/rdbms/admin/spdrop.sql
--

Использование Statspack.

Для работы с Statspack-ом используется процедура STATSPACK.SNAP.

Например, так: execute statspack.snap;

Отчет Statspack.

Для получения отчета нужно воспользоватся скриптом.

@?/rdbms/admin/spreport.sql

Доп. информацию брал от сюда - http://ist.uwaterloo.ca/~baumbach/ORACLEnotes/ST_statspack.html

Анализ отчетов производим тут - http://www.statspackanalyzer.com/analyze.asp

Длительное выполнение DBA_JOBS_RUNNING

Часто ожидать резльтатов запроса к DBA_JOBS_RUNNING приходиться достаточно долго.

Ускорить процесс можно с помощью хинтов.

Например,  select /*+rule*/ * from DBA_JOBS_RUNNING

четверг, 7 мая 2009 г.

Репетиция парада Победы

Сегодня утром, мимо Белорусского вокзала, со стороны входа в метро на Замоскворецкую линию по шоссе проезжала колонна "Тополь-М". Некоторых я успел запечатлеть на фотоаппарат в мобильном. Приятно когда мимо тебя проезжает ЭТО! Вот она гордость за страну :) Реальное воплощение силы России.

понедельник, 2 марта 2009 г.

Расшифровка ошибок ORA-600/7445 используя Lookup Tool

Недавно был случай, когда при восстановлении из горячей копии возникла ошибка ORA-600. Для того чтобы оперативно и быстро решить возникшую проблему DBA должен иметь доступ к сайту https://metalink.oracle.com/. Далее необходимо найти ноту № 153788.1 ( Troubleshoot an ORA-600 or ORA-7445 Error Using the Error Lookup Tool).



Внутри данной ноты содержиться инструмент для поиска по коду ошибки. Например, мы видим в алерт логе такое сообщение:

ORA-00600 [723][51202][1][51200][][].



В Lookup Tool необходимо ввести код 723 и меня сразу переносит на документ с темой: Subject: ORA-600 [723] "PGA memory leak", Doc ID: 39308.1.

Таким образом, возможно, расшифровывать сообщения об ошибках, которые связанные непосредственно с внутренним ядром СУБД Oracle.


Часть информации почерпнул из этого источника.

пятница, 20 февраля 2009 г.

Использование сжатия для экономии места и ускорения работы Oracle

В Oracle 9i Release 2 появилась возможность сжатия таблиц, в том числе и секционированных, индексов и материализованных представлений. Данная опция может существенно сократить объем дискового пространства, используемого таблицами базы данных и, в некоторых случаях, повысить производительность запросов.

Как это реализовано

Возможность сжатия таблиц в Oracle9i Release 2 реализуется путем удаления дублирующихся значений данных из таблиц базы. Сжатие выполняется на уровне блоков базы данных. Когда таблица определена как сжатая, сервер резервирует место в каждом блоке базы данных для хранения одной копии данных, встречающихся в этом блоке в нескольких местах. Это зарезервированное место называют таблицей символов (symbol table). Помеченные для сжатия данные хранятся только в таблице символов, а не в строках данных. При появлении в строке данных, помеченных для сжатия, в строке, вместо самих данных, запоминается указатель на соответствующие данные в таблице символов. Экономия места достигается за счет удаления избыточных копий значений данных в таблице.

Сжатие таблицы на пользователя или разработчика приложений никак не влияет. Разработчики обращаются к таблице одинаково, независимо от того, сжата она или нет, поэтому SQL-запросы не придется менять, когда вы решите сжать таблицу. Параметры сжатия таблицы обычно устанавливаются и изменяются администраторами или архитекторами базы данных, и участие в этом процессе разработчиков или пользователей минимально.

Как создать сжатую таблицу

Для создания сжатой таблицы используется ключевое слово COMPRESS в операторе CREATE TABLE. Ключевое слово COMPRESS требует от сервера Oracle, по возможности, хранить строки таблицы в сжатом виде. Ниже представлен пример оператора CREATE TABLE COMPRESS:

CREATE TABLE SALES_HISTORY_COMP (
PART_ID VARCHAR2(50) NOT NULL,
STORE_ID VARCHAR2(50) NOT NULL,
SALE_DATE DATE NOT NULL,
QUANTITY NUMBER(10,2) NOT NULL
)
COMPRESS;


Можно также использовать оператор ALTER TABLE для изменения атрибута сжатия существующей таблицы, как в следующем примере:

ALTER TABLE SALES_HISTORY_COMP COMPRESS;

Чтобы узнать, использовалось ли ключевое слово COMPRESS в определении таблицы, выполните запрос к представлению USER_TABLES словаря данных и проверьте значение столбца COMPRESSION, как в следующем примере:

SELECT TABLE_NAME, COMPRESSION FROM USER_TABLES;

TABLE_NAME COMPRESSION
------------------ -----------
SALES_HISTORY DISABLED
SALES_HISTORY_COMP ENABLED


Атрибут COMPRESS также может быть задан на уровне табличного пространства, как в момент его создания (с помощью оператора CREATE TABLESPACE), так и в дальнейшем (с помощью оператора ALTER TABLESPACE). Атрибут COMPRESS наследуется аналогично параметрам хранения. При создании таблицы в табличном пространстве наследуется атрибут COMPRESS этого табличного пространства. Чтобы определить, задан ли для табличного пространства атрибут COMPRESS, выполните запрос к представлению DBA_TABLESPACES словаря данных и проверьте значение столбца DEF_TAB_COMPRESSION, как в следующем примере:

SELECT TABLESPACE_NAME,
DEF_TAB_COMPRESSION
FROM DBA_TABLESPACES;

TABLESPACE_NAME DEF_TAB_COMPRESSION
--------------- -------------------
DATA_TS_01 DISABLED
INDEX_TS_01 DISABLED


Как и следовало ожидать, вы можете сжимать или не сжимать таблицу в табличном пространстве, независимо от значения COMPRESS, заданного на уровне табличного пространства.

Загрузка данных в сжатую таблицу

Учтите, что при указании ключевого слова COMPRESS, как показано в примерах выше, вы, фактически, никаких данных не сжимаете. Представленные выше команды изменяют только установку в словаре данных. Данные реально не сжимаются, пока не будут загружены или вставлены в таблицу.

Более того, чтобы гарантировать фактическое сжатие данных, надо использовать соответствующий метод загрузки или вставки данных в таблицу. Сжатие данных происходит только при массовой загрузке или в процессе массовой вставки, с помощью одного из следующих четырех методов:

- Непосредственная загрузка SQL*Loader
- Последовательные вставки INSERT с подсказкой APPEND
- Параллельный INSERT
- CREATE TABLE ... AS SELECT


Метод непосредственной загрузки SQL*Loader - наиболее удобный способ загрузки данных в таблицу, если данные доступны в текстовом файле. Пример представлен ниже:
$sqlldr sanjay/sanjay@proddb control=sales_history.ctl direct=true

Если данные доступны в промежуточной (staging) таблице, можно использовать последовательные операторы INSERT с подсказкой APPEND или параллельный INSERT.

В качестве примера рассмотрим случай, когда входные данные доступны в не сжатой промежуточной таблице SALES_HISTORY. Используя метод последовательной вставки, можно использовать следующий оператор для вставки данных в сжатую таблицу:

INSERT /*+ APPEND */
INTO SALES_HISTORY_COMP
SELECT * FROM SALES_HISTORY;


Для переноса данных из промежуточной таблицы в сжатую можно также использовать параллельный INSERT, как показано ниже:

ALTER SESSION ENABLE PARALLEL DML;
INSERT /*+PARALLEL(SALES_HISTORY_COMP,4)*/
INTO SALES_HISTORY_COMP
SELECT * FROM SALES_HISTORY;


Учтите, что при использовании параллельного INSERT надо сначала включить распараллеливание операторов DML в сеансе с помощью команды ALTER SESSION ENABLE PARALLEL DML.

Если входные данные представлены в обычном файле, можно также обратиться к нему как к внешней таблице, а затем вставлять данные в сжатую таблицу так же, как из промежуточной таблицы. (Обсуждение внешних таблиц выходит за рамки этой статьи.)

Можно также использовать оператор CREATE TABLE ... AS SELECT для создания сжатой таблицы и вставки в нее данных за один шаг. Вот пример:

CREATE TABLE SALES_HISTORY_COMP
COMPRESS
AS SELECT * FROM SALES_HISTORY;


Если не использовать соответствующий метод загрузки или вставки данных, данные в таблице окажутся не сжатыми, хотя для таблицы и определен атрибут COMPRESS. Например, если использовать обычную загрузку (conventional path) с помощью SQL*Loader или обычные операторы INSERT, данные не будут сжиматься.

Когда использовать сжатие таблиц

Применяемый сервером Oracle алгоритм принятия решения о том, сжимать данные таблицы или не сжимать, приводит к определенным выводам об особенностях приложений, больше всего подходящих для сжатия таблиц. Как было описано выше, данные в таблице с атрибутом COMPRESS сжимаются только при непосредственной загрузке или при вставке с использованием подсказки append и распараллеливанием. Данные, вставленные обычными операторами INSERT, останутся не сжатыми.

В системах оперативной обработки транзакций (online transaction processing - OLTP) данные обычно вставляются обычными операторами INSERT. В результате, от использования сжатия для соответствующих таблиц большого преимущества не будет. Сжатие таблиц больше всего подходит для таблиц только для чтения, данные в которые загружаются один раз, а читаются - многократно. Таблицы, используемые при организации хранилищ данных, например, прекрасно подходят для сжатия.

Более того, изменение данных в сжатой таблице может потребовать распаковки строк, что сводит на нет все преимущества сжатия. В результате, часто изменяемые таблицы плохо подходят для сжатия.

Наконец, надо учесть последствия удаления строки при использовании сжатия таблицы. При удалении строки в сжатой таблице сервер освобождает место, занимаемое строкой в блоке. Это свободное место может быть повторно использовано при любой последующей вставке. Однако поскольку строка, вставленная в обычном режиме, не сжимается, маловероятно, что она поместится в освободившееся от сжатой строки место. Значительное количество последовательно выполняемых операторов DELETE и INSERT может вызвать фрагментацию и дискового пространства при этом будет напрасно использоваться больше, чем удалось сэкономить за счет сжатия.

Сжатие существующей не сжатой таблицы

Уже существующую не сжатую таблицу можно сжать с помощью оператора ALTER TABLE ... MOVE. Например, не сжатую таблицу SALES_HISTORY_TEMP можно сжать с помощью следующего оператора:

ALTER TABLE SALES_HISTORY_TEMP
MOVE COMPRESS;


Оператор ALTER TABLE ... MOVE можно использовать и для отмены сжатия таблицы, как в следующем примере:

ALTER TABLE SALES_HISTORY_TEMP
MOVE NOCOMPRESS;


Учтите, что оператор ALTER TABLE ... MOVE устанавливает МОНОПОЛЬНУЮ блокировку таблицы, что предотвращает выполнение любых операторов DML с таблицей на время выполнения этого оператора. Этой потенциальной проблемы можно избежать за счет использования оперативного переопределения таблицы (online table redefinition), появившегося в Oracle9i.

Сжатие материализованного представления

Материализованные представления можно сжимать точно так же, как и таблицы. Следующий оператор создает сжатое материализованное представление:

CREATE MATERIALIZED VIEW MV_SALES_COMP COMPRESS AS SELECT P.PART_NAME, H.STORE_ID,
H.SALE_DATE, H.QUANTITY FROM SALES_HISTORY H, PARTS P WHERE P.PART_ID = H.PART_ID;


Материализованные представления на основе соединений нескольких таблиц обычно хорошо поддаются сжатию, поскольку в них часто встречаются повторяющиеся компоненты данных. Атрибут сжатия для материализованного представления можно изменить с помощью оператора ALTER MATERIALIZED VIEW. Следующий оператор показывает, как сжать существующее не сжатое материализованное представление:

ALTER MATERIALIZED VIEW MV_SALES COMPRESS;

При использовании этого оператора учтите, что сжатие фактически произойдет при следующем обновлении материализованного представления.

Сжатие секционированной таблицы

Вариантов использовании сжатия для секционированных таблиц много. Сжатие можно применять либо на уровне таблицы, либо на уровне секции. Например, оператор CREATE TABLE в Листинге 1 создает таблицу из четырех секций. Поскольку COMPRESS задается на уровне таблицы, все четыре секции будут сжиматься.

Поскольку сжатие может быть задано на уровне секции, можно некоторые секции сжать, а другие оставить не сжатыми. Пример в Листинге 2 демонстрирует, как задать сжатие на уровне секции.

В Листинге 2 две секции таблицы (SALES_Q1_03 и SALES_Q2_03) сжаты, а остальные две остаются не сжатыми. Учтите, что атрибуты сжатия, заданные на уровне секции, переопределяют атрибуты, заданные для этой же секции на уровне таблицы. Если атрибут сжатия для секции не задан, эта секция наследует значение из определения на уровне таблицы. В Листинге 2, поскольку атрибуты сжатия для секций SALES_Q3_03 и SALES_Q4_03 не указаны, эти две секции наследуют значение из определения таблицы (которое, в данном случае, стандартно - NOCOMPRESS).

Секционированные таблицы обеспечивают совместно со сжатием одно уникальное преимущество. Один из полезных способов секционировать таблицы - поместить подлежащие изменению (вставке, обновлению и удалению) данные в отдельные секции, а данные только для чтения вынести в другие. Например, в определении таблицы в Листинге 2 данные о продажах секционированы по значению столбца SALE_DATE, так что хронологическая информация о продажах в каждом квартале хранится в отдельной секции. В этом примере данные о продажах за первый (Q1) и второй (Q2) кварталы 2003 года не могут быть изменены, поэтому они помещены в сжатые секции SALES_Q1_03 и SALES_Q2_03. Данные о продажах за третий (Q3) и четвертый (Q4) кварталы все еще могут меняться, поэтому соответствующие секции, SALES_Q3_03 и SALES_Q4_03, оставлены не сжатыми.

Если в конце третьего квартала 2003 года данные в секции SALES_Q3_03 становятся доступными только для чтения, можно сжать эту секцию с помощью оператора ALTER TABLE ... MOVE PARTITION, как показано ниже:

ALTER TABLE SALES_PART_COMP
MOVE PARTITION SALES_Q3_03 COMPRESS;


Чтобы узнать, какие секции таблицы сжаты, можно выполнить запрос к представлению USER_TAB_PARTITIONS словаря данных, как в следующем примере:

SELECT TABLE_NAME, PARTITION_NAME,
COMPRESSION
FROM USER_TAB_PARTITIONS;

TABLE_NAME PARTITION_NAME COMPRESSION
---------------------------- -----------
SALES_PART_COMP SALES_Q4_03 DISABLED
SALES_PART_COMP SALES_Q1_03 ENABLED
SALES_PART_COMP SALES_Q2_03 ENABLED
SALES_PART_COMP SALES_Q3_03 ENABLED


Так же можно использовать динамический запрос для получения кода который позволит сжимать выбранные секционированные таблицы. В моем примере секционированную таблицу TEST.

SELECT 'ALTER TABLE '||OBJECT_NAME||' MOVE PARTITION '||SUBOBJECT_NAME||' COMPRESS'||';' FROM ALL_OBJECTS WHERE OBJECT_NAME IN ('TEST') AND OBJECT_TYPE IN ('TABLE PARTITION');

Оценка преимуществ

Основной причиной использования сжатия таблицы является экономия дискового пространства. Таблица в сжатом виде обычно занимает меньше места. Чтобы проиллюстрировать это утверждение, рассмотрим следующий с двумя таблицами: одна не сжатая (SALES_HISTORY), а другая - сжатая (SALES_HISTORY_COMP). В обе эти таблицы данные были загружены с помощью непосредственной загрузки утилитой SQL*Loader из текстового файла, содержащего два миллиона строк. После выполнения обеих загрузок оказалось, что сжатая таблица занимает на диске почти вдвое меньше места, чем не сжатая.

Тот факт, что для хранения сжатой таблицы надо меньше блоков, приводит к экономии дискового пространства, но уменьше;ние количества блоков может приводить и к повышению производительности. Запросы к сжатой таблице в среде с ограниченной производительностью ввода-вывода часто будут выполняться быстрее, поскольку требуют прочтения меньшего количества блоков. Чтобы проиллюстрировать это утверждение, я выполнил запрос к сжатой и не сжатой таблице и проанализировал результаты SQLTRACE/TKPROF.

Отчет SQLTRACE/TKPROF показывает, что мой запрос к сжатой таблице потребовал меньше операций физического и логического ввода-вывода, чем аналогичный запрос к не сжатой таблице, и, как следствие, выполняется быстрее.

Заключение

Сжатие таблицы в Oracle9i Release 2 позволяет существенно сэкономить дисковое пространство, особенно в базах данных, содержащих большие таблицы только для чтения. Если учитывать дополнительные требования к загрузке и вставке данных, а также правильно выбрать таблицы-кандидаты для сжатия, сжатие таблиц может оказаться потрясающим способом экономии дискового пространства и, в некоторых случаях, повышения производительности запросов.

четверг, 19 февраля 2009 г.

Сертификация специалистов в RedHat

Сегодня решил найти информацию о том как RedHat проводит сертификацию и вот результат:

Red Hat Certified Technician® (RHCT®)

Сертификация RHCT является лидирующей мерой признания специалистов Linux. В настоящее время сертификатом RHCT обладает более 15 тысяч специалистов. RHCT представляет собой первый этап сертификации и является идеальным началом для тех, кто не имеет опыта работы с UNIX®/Linux.

Сертификации Red Hat бесспорно считаются лучшими в Linux, а согласно некоторым, и во всем мире информационных технологий. Обучение проводят опытные эксперты Red Hat, а наши программы нацелены на проверку реальных навыков работы в действующих системах, что обеспечивает популярность сертификации среди работодателей и профессионалов IT.

Выбор сертификации зависит от вашего опыта и профессиональных целей. Будь то опытный, начинающий или пользователь без опыта UNIX/Linux, Red Hat предоставит программу обучения и сертификации, соответствующую индивидуальным потребностям.

Red Hat Certified Engineer® (RHCE®)

Программа сертификации инженеров Red Hat Certified Engineer была введена в 1999 году, и с тех пор было выпущено более 20 тысяч экспертов Linux. Названная «жемчужиной сертификаций Linux», в ходе независимой оценки она была признана программой сертификации IT-специалистов N1 в мире.

Red Hat Certified Security Specialist (RHCSS)

Специалист RHCSS обладает навыками RHCE и, в дополнение, глубокими знаниями Red Hat Enterprise Linux, сервера каталогов Red Hat и SELinux, что необходимо для обеспечения безопасности корпоративных окружений. RHCSS является самой новой сертификацией Red Hat и уникальной в мире Linux.

Red Hat Certified Architect (RHCA)

Специалисты RHCE, желающие продолжить обучение, могут зарегистрироваться на курсы разработчиков с целью получения сертификации Red Hat Certified Architect (RHCA). RHCA является завершающим этапом серии сертификаций Red Hat Certified Technician (RHCT) и Red Hat Certified Engineer (RHCE).

Для себя на данный момент решил пройти курс RH131 (Системное администрирование Red Hat Linux) и RH253 (Сетевые службы Red Hat Linux и администрирование безопасности). Общая стоимость курсов получается равной 47000 руб.

суббота, 24 января 2009 г.

История про 443 порт

Хочу рассказать небольшую историю про 443 TCP/IP порт. Итак... Как известно многие компании любят ограничивать своих работников в плане Интернета. Например, не дают скачивать mp3 и avi файлы с рабочего места, закрывают доступ к различным сайтам (типа vkontakte.ru и т.д.). Однажды закрыли доступ к моей любимой радиостанции. Причем забанили по DNS адресу, наглухо. Но, русский человек и из консервной банки гранату сделает ;) В качестве альтернативного решения был создан небольшой редирект и прокси-сервер на базе локальной, домашней машины. Сейчас многие провайдеры предоставляют безлимитные тарифы и грех этим не воспользоваться. 

Получив информацию из потока, о том, что радиостанция использует Icecast Server 2.3.2. Что уже само по-себе является багом! А вдруг в данной версии будет обнаружена ошибка переполнения буфера и можно будет получить права root на сервере моей любимой радиостанции?! Я установил себе на ПК аналогичный сервер (что тоже не очень хорошо, но желание слушать музыку было сильнее). Далее нашел в Гугле отличную статью - "Как настроить ретрансляцию интернет радио в локальную сеть (Relaying)". И настроил Icecast Server на 443 порту. Данный порт в компаниях на фаерволах обычно не режется, т.к. иначе не будут доступны различные HTTPS сервисы. Все было отлично, но вдруг на домашней машине при использовании WebMoney Keeper Classic стали появляется непонятные проблемы... Например, автоматическая оплата товаров перестала работать во многих интернет-магазинах. Я был склонен предполагать, что глючит сам Keeper, но оплата счетов выписываемых на мой кошелек проходила. А при открытии сайтов типа https:// появлялась ошибка - Безопасное подключение: критическая ошибка (552) и Opera не смогла подключиться к серверу. Вероятно, сервер использует неподдерживаемый протокол SSL 2, который не может считаться достаточно надёжным для безопасного соединения. Владельцу сайта необходимо обновить протокол до TLS 1.0 или более нового. Все разрешилось очень просто. Я отключил правило на своем фаерволе которое открывает 443 порт исключительно для моего серого IP адреса и все чудесно заработало. Поэтому если у вас возникают проблемы с HTTPS проверьте телнетом свой 443 порт на вашем роуторе. Кто не знает, это делается так в Windows (Пуск ---> Выполнить ---> cmd ---> telnet IP-адрес сервера порт). Пробелы в команде обязательны. Для проверки можете сделать телнет на 80-ы порт. Он всегда открыт :)