Презентация на тему Распределенные системы

тиражирования данных
Data Replication
Коммуникаци-онная сеть
БД
БД
БД

связанных вместе коммуникационной сетью:
каждый узел обладает своими собственными системами

узле:
собственные базы данных
собственные локальные пользователи
собственные СУБД и

системы распределенных БД:
Для пользователя система распределенных БД должна выглядеть

СУБД
Проблемы тиражирования (репликации) данных
Проблемы неоднородных систем

сервер Server Net
Сетевые компоненты СУБД

кодов
независимость от СУБД

аппаратного обеспечения
независимость от протоколов сетевого обмена
Коммуникационный сервер должен поддерживать

представления данных
Задача коммуникационного сервера – на уровне обмена данными

в соответствии с используемыми таблицами кодов (ASCII, EBCDIC)
Коммуникационный сервер

на различных узлах сети, должны поддерживать один и тот

от) фрагментации

программа
Узел 1
Узел 2
Узел 3
Клиент

Server:
сервер.база_данных.пользователь.объект

Прозрачный (для пользователя) доступ к удаленным данным предполагает использование

данных, если некое хранимое отношение в целях физического хранения

. .
Department
Employee

независимы
фрагменты не должны допускать потерю информации

запросов
управление распределенными транзакциями

каталога:
Централизованный каталог
Полностью тиражируемый (реплицированный) каталог
Секционированный (локальный) каталог
1 + 3
.

объекта:

кто_создал@где_создал.имя_объекта@где_размещен

Mary
Узел N
Mary@M.STATS@P

SYNONYM MSTATS FOR
Mary@M.STATS@N

объектах
Информация родового узла
Узел P
Таблица синонимов
Информация о локальных объектах
Информация родового

Узел N

программа
Узел N
SELECT * FROM MSTAT

N
SELECT * FROM MSTAT

P, SP WHERE (S.Address = 'NNN' AND S.SId =

SId

SName
Address
. . .

S

PId

PName
Mat
Qty
. . .

P

SPId

SId (FK1)
PId (FK2)
Qty
. . .

SP

преобразование декларативного определения запроса в операции манипулирования данными низкого

СУБД
декомпозиция запроса
локализация данных
глобальная оптимизация запроса
оптимизация запроса

SQL в выражение реляционной алгебры
Оптимизация запроса – выбор «наилучшей»

алгебры с учетом физического размещения данных
Глобальная оптимизация – поиск

некотором узле сети N, влечет инициирование транзакции и в

заключается в обновлении данных на нескольких узлах сети, называется

параллелизмом
управление восстановлением

сериализуемости транзакций:
Ни одна блокировка от имени какой-либо транзакции не

транзакций является сериализуемым тогда и только тогда, когда:
выполнение

(децентрализованное) блокирование – distributed (decentralized) locking

распределенной БД, управляемая единым менеджером блокировок
Проблемы:
производительность
надежность

всеми узлами системы; взаимная координация менеджеров блокировок
Проблемы:
более сложные алгоритмы
выше

Y
Транзакция 1
Транзакция 2
ожидание
ожидание

системы, узла; потеря данных в оперативной памяти)
жесткий (сбой носителей;

упорядоченности сообщений (сетевой протокол)
потерянные (не доставленные) сообщения (СУБД)
повреждение линий

– протокол распределенного восстановления

TY, … }
commit – должны быть зафиксированы изменения

commit)

Начало
транзакции
Конец
транзакции
Фаза 1
Фаза 2
Координатор
транзакции
Узел X
Узел Y

журналы транзакций, ответ
Фаза 2 – Принятие решения
Глобальный журнал транзакции,

то, что ему предписано координатором во время фазы 2
Именно

инициирована распределенная транзакция.
Координатор должен обмениваться данными с каждым

Х проголосовал за откат транзакции – не ожидает ответа

проголосовал за фиксацию транзакции; ожидает ответа от координатора –

есть – можно восстановить, нет – откат
Потеря связи с

процесс фиксации после восстановления
координатор в состоянии готовности (фаза

на каждом узле сети (где они обрабатываются)
Транзакции в системе

Replication), если заданное хранимое отношение или заданный фрагмент могут

мере, с логической точки зрения, должны работать таком режиме,

обрабатываются;
большая доступность: пока остается доступной хотя бы одна реплика;
большая

обновлении некоторого реплицированного объекта все копии этого объекта также

изменений объектов исходной БД в принимающие БД, принадлежащие различным

последовательном обращении к разным копиям – когда передавать информацию

обновление
асинхронное обновление
Задача 2 – стратегия доступа к данным:
все

доступны для обновления – концепция первичной копии:
изменения выполняются только

за счет блокировок первичной копии
Используется:
в системах поддержки принятия решений
в

проблемы с точки зрения синхронизации обновлений:
обеспечение целостности данных
обеспечение доступности

на отдельных узлах сети не допускается выполнение любых транзакций,

данных: допускается независимое обновление данных в каждой копии, даже

часть самой транзакции; используется протокол 2PC, но по сети

после выполнения обновлений исходной базы данных.
Задержка – от нескольких

выполнены изменения
узел, которому нужны обновленные данные

Publisher: сервер, который предоставляет информацию из своих баз данных

данные от издателя и распространяющий их подписчикам

принадлежащих одной базе данных
Статья – минимальный набор данных, рассматриваемый

вносимых в данные
подготовка публикации к тиражировнию

моментальных снимков
Все могут изменять публикацию
подписчики незамедлительного обновления
репликация сведением
отложенные обновления

тиражирования данных используются моментальные снимки – полная копия публикации,

Subscriber
Подписчик, изменяя свою копию данных, одновременно должен выполнить изменение

тип репликации
Не требуется постоянное соединение подписчика с издателем
Подписчики работают

изменений
Специальные алгоритмы разрешения конфликтов, в основе которых – «шкала

на подписчике, применяются на издателе с некоторой задержкой
Постоянное соединение

в очередь; если информация об изменениях не может быть

репликация – Push Subscription
Инициатор – издатель
Требуется постоянное соединение
Интервалы обновления

Subscription
Инициатор – подписчик
Для каждого подписчика на дистрибьюторе – свой

Processing (OLTP)
Системы поддержки принятия решений – Decision Support System

это предметно-ориентированный, интегрированный, привязанный ко времени и неизменяемый набор

очистка данных (data scrubbing)
обеспечение совместимости данных с другими источниками

доступа
конечного
пользователя

внешний (front-end) компонент; извлечение данных, загрузка данных в хранилище
инструменты

управление информацией, помещенной в хранилище данных
анализ непротиворечивости данных
создание необходимых

внутренний (back-end) компонент; управление запросами пользователей. Создается на базе

обобщенные данные
извлечение и загрузка данных
обслуживание хранилища
обслуживание запросов
Постоянные данные
Временные данные

– Executive Information System (EIS; сейчас – Everybody Information

– Online Analytical Processing (OLAP); оценка эффективности деятельности предприятия,

Data mining; открытие новых осмысленных корреляций, распределений и тенденций,

хранилища данных, которое поддерживает требования отдельного подразделения или деловой

из подразделений организации или некоторой ее деловой сферы
обычно не

значения; деловые факты, определяющие фактическую сущность; детальные данные, представляющие

(описательные) значения; справочные данные, или данные деловых измерений; элементы,

стратегических решений (OLAP, Data mining)
Управление информационным содержанием

(объем продаж, стоимость в . . . )
секционирование

(Товар, Магазин)
новые измерения (из других таблиц базы данных

средства извлечения большого количества записей и вычисления на их

5 сек;
для простых запросов - ~ 1 сек;

логическим и статистическим анализом, характерным для данного приложения; пользователь

данным и одновременной работы многих пользователей
Multidimensional – должно быть

предприятий во времени
Номер записи
Tid (FK1)
Sid (FK2)
Объем продаж
Доход (руб)
.

Продажи

Tid

Месяц
Квартал
Год

Время

Sid

Название
Адрес
Регион

Предприятие

и манипулирования элементами данных, обладающих многими взаимосвязями

размерности
допускают выполнение операций матричной арифметики, позволяющих легко вычислять средние

сотен строк в секунду, тогда как типичная многомерная СУБД

суммирование значений (свертка), или расчет с использованием сложных выражений,

включает возможность отображения подробных сведений для рассматриваемых консолидированных данных;

также называется созданием сводной таблицы; позволяет получить представление данных

управление заполнением пространства кубов позволяют значительно сократить размер базы

представление данных
Доступность (доступ к требуемым для анализа данным)
Неизменная производительность

число измерений и уровней обобщения
Гибкость средств формирования отчетов

инструменты – Multidimensional OLAP, MOLAP
Реляционные OLAP инструменты – Relational

и хранятся в соответствии с их предполагаемым использованием
Высокая производительность
Тесное

нескольких предметных областей и осуществления доступа к подробным сведениям

структуры данных в соответствии с заранее определенными требованиями
Необходимы особый

создания статичной многомерной структуры данных
Дополнительные средства поддержки функций многомерного

логики
приложения
SQL
Сервер ROLAP

(преобразование отношений РБД в многомерную структуру)

многомерных структур со вспомогательными компонентами администрирования этих структур

FROM . . .
GROUP BY . . .
WITH ROLLUP

| WITH ROLLUP

sum
FROM S join SP on S.Sid = SP.Sid

sum
FROM S join SP on S.Sid = SP.Sid

sum
FROM S join SP on S.Sid = SP.Sid

mining)

методы и инструментальные средства, используемые для ввода/сбора, управления, хранения,

в различных форматах, которые можно извлекать, повторно использовать публиковать

(Коммерческие

управление версиями, . . .
Получение доступа к содержимому –

– управление неструктурированными данными

Элемент контента

метаданных

Инфраструктура репозитория
Компоненты репозитория
Сервисы репозитория
Сервисы безопасности

/ запросы
Жизненный цикл
Распределенные / федеративные сервисы

ориентированные на события. Может быть определен для документов, папок

некоторый результат, преобразуя исходные данные в более значимые выходные

workflow

Исходные
данные –
документ

Выходные
данные –
документ

работ – процесс (workflow)
начало

создание документа, ввод содержимого
Промежуточные состояния – различные стадии документа
Конечное