Современный уровень развития аппаратных и программных средств с некоторых пор сделал возможным повсеместное ведение баз данных оперативной информации на разных уровнях управления. В процессе своей деятельности промышленные предприятия, корпорации, ведомственные структуры, органы государственной власти и управления накопили большие объемы данных. Они хранят в себе большие потенциальные возможности по извлечению полезной аналитической информации, на основе которой можно выявлять скрытые тенденции, строить стратегию развития, находить новые решения.
В области информационных технологий существуют два взаимно дополняющих друг друга направления:
- технологии, ориентированные на оперативную (транзакционную) обработку данных. Эти технологии лежат в основе экономических информационных систем, предназначенных для оперативной обработки данных. Называются подобные системы — OLTP (online transaction processing ) системы;
— технологии, ориентированные на анализ данных и принятие решений. Эти технологии лежат в основе экономических информационных систем, предназначенных для анализа накопленных данных. Называются подобные системы — OLAP ( online analytical processing ) системы .
1. Понятие и основное назначение ОЛТП систем
OLTP — системы, являясь высокоэффективным средством реализации оперативной обработки, оказались мало пригодны для задач аналитической обработки. Это вызвано следующим:
1. средствами традиционных OLTP -систем можно построить аналитический отчет и даже прогноз любой сложности, но заранее регламентированный. Любой шаг в сторону, любое нерегламентированное требование конечного пользователя, как правило, требует знаний о структуре данных и достаточно высокой квалификации программиста;
2. многие необходимые для оперативных систем функциональные возможности являются избыточными для аналитических задач и в то же время могут не отражать предметной области. Для решения большинства аналитических задач требуется использование внешних специализированных инструментальных сре дств дл я анализа, прогнозирования и моделирования. Жесткая же структура баз не позволяет достичь приемлемой производительности в случае сложных выборок и сортировок и, следовательно, требует больших временных затрат для организации шлюзов.
3. в отличие от транзакционных, в аналитических системах не требуются и, соответственно, не предусматриваются развитые средства обеспечения целостности данных, их резервирования и восстановления. Это позволяет не только упростить сами средства реализации, но и снизить внутренние накладные расходы и, следовательно, повысить производительность при выборке данных.
Высокие технологии- основа инноваций(оценка эффективности инновац. проекта)
... в соответствие информационной базыДепартамент должен разработать свою систему качества для получения достоверной аналитической информации и принятия на ее основе взвешенных управляющих решений.В качестве средних показателей качества используются данные ... аспекты деятельности фирмы: технология производства; материально-техническая ... работы, но более высокой точностью позиционирования.Принцип работы и ...
2. Понятие и основное назначение ОЛАП систем
Основное назначение OLAP -систем — динамический многомерный анализ исторических и текущих данных, стабильных во времени, анализ тенденций, моделирование и прогнозирование будущего. Такие системы, как правило, ориентированы на обработку произвольных, заранее не регламентированных запросов. В качестве основных характеристик этих систем можно отметить следующие :
- поддержка многомерного представления данных, равноправие всех измерений, независимость производительности от количества измерений;
- прозрачность для пользователя структуры, способов хранения и обработки данных;
- автоматическое отображение логической структуры данных во внешние системы;
- динамическая обработка разряженных матриц эффективным способом.
Термин OLAP является сравнительно новым и в разных литературных источниках трактуется иногда по разному. Этот термин часто отождествляют с поддержкой принятия решений (DSS (Decision Support Systems )- системы поддержки принятия решения. А в качестве синонима для последнего термина используют Data Warehousing -хранилища (склады) данных, понимая под этим набор организационных решений, программных и аппаратных сре дств дл я обеспечения аналитиков информацией на основе данных из систем обработки транзакций нижнего уровня и других источников
“Склады данных” позволяют обрабатывать данные, накопленные за длительные периоды времени. Эти данные являются разнородными (и не обязательно структурированными).
Для “складов данных” присущ многомерный характер запросов. Огромные объемы данных, сложность структуры как данных, так и запросов требует использования специальных методов доступа к информации.
В других источниках понятие Системы Поддержки Принятия Решений (СППР) считается более широким. Хранилища данных и средства оперативной аналитической обработки могут служить одними из компонентов архитектуры СППР.
OLAP всегда включает в себя интерактивную обработку запросов и последующий многопроходный анализ информации, который позволяет выявить разнообразные, не всегда очевидные, тенденции, наблюдающиеся в предметной области.
Иногда различают » OLAP в узком смысле» — это системы которые обеспечивают только выборку данных в различных разрезах, и » OLAP в широком смысле», или просто OLAP , включающей в себя:
- поддержку нескольких пользователей, редактирующих БД.
- функции моделирования, в том числе вычислительные механизмы получения производных результатов, а также агрегирования и объединения данных;
- прогнозирование, выявление тенденций и статистический анализ.
Естественно, что каждый из этих типов ИС требует специфической организации данных, а так же специальных программных средств, обеспечивающих эффективное выполнение стоящих задач.
OLAP — средства обеспечивают проведение анализа деловой информации по множеству параметров, таких как вид товара, географическое положение покупателя, время оформления сделки и продавец, каждый из которых допускает создание иерархии представлений. Так, для времени можно пользоваться годовыми, квартальными, месячными и даже недельными и дневными промежутками; географическое разбиение может проводиться по городам, штатам, регионам, странам или, если потребуется, по целым полушариям.
Компьютер – универсальная техническая система обработки информации
... своему назначению компьютер - универсальное техническое средство для работы человека с информацией. По принципам устройства компьютер - это модель человека, работающего с информацией. Какие устройства входят в состав компьютера. прием (ввод) информации; запоминание информации (сохранение ...
Для ИТ-практиков OLAP — это технология быстрого создания интерактивных отчётов. Как правило, OLAP-отчёт может быть разработан практически без программирования, методом drag & drop, т. е. переноса групп данных из одного места в другое при помощи мыши. Проектирования и программирования требует только этап извлечения и подготовки данных для отчётов из корпоративных систем предприятия. Серия отчётов для определённой предметной области может быть настроена буквально за несколько часов.
Для конечных пользователей OLAP — это табличный отчёт с промежуточными и окончательными итогами. Он выпускается практически мгновенно, и можно самостоятельно изменить его форму — расположение колонок и строк, порядок фильтров и сортировки и т. д. Это позволяет взглянуть на одни и те же данные под разными углами зрения. Например, получив перечень по дебиторской задолженности, углубиться в архивные данные и посмотреть, были ли у должника проблемы с платежами в прошлом квартале, полгода назад, в ушедшем году. Разносторонний анализ позволяет быстро оценить ситуацию и получить максимум информации о проблеме, чтобы на этой основе наметить пути её решения.
С появлением и использованием OLAP-инструмента традиционная задача отдела автоматизации — разработка новых отчётов, в которых одни данные показаны в разрезе других, — превращается в другую задачу, суть которой заключается в том, чтобы предоставить пользователю исходные данные. После этого экономист или бухгалтер не тратит время на написание служебных записок с требованием создать новую разновидность отчёта и не ждёт, пока программисты спроектируют, разработают и протестируют его. Пользователь сам конструирует нужный вид отчёта, выбирая из настроенной для него заготовки нужные поля, меняя порядок их следования, устанавливая фильтры и др. Созданный отчёт может быть проиллюстрирован графиками и диаграммами, распечатан на бумагу или выгружен в Excel.
3. Классы ОЛАП систем
OLAP — системы можно разбить на три класса.
Наиболее сложными и дорогими из них являются основанные на патентованных технологиях серверы многомерных БД. Эти системы обеспечивают полный цикл OLAP -обработки и либо включают в себя, помимо серверного компонента, собственный интегрированный клиентский интерфейс, либо используют для анализа данных внешние программы работы с электронными таблицами. Продукты этого класса в наибольшей степени соответствуют условиям применения в рамках крупных информационных хранилищ. Для их обслуживания требуется целый штат сотрудников, занимающихся как установкой и сопровождением системы, так и формированием представлений данных для конечных пользователей. Обычно подобные пакеты довольно дороги. В качестве примеров продуктов этого класса можно привести систему Essbase корпорации Arbor Software , Express фирмы IRI (входящей теперь в состав Oracle ), Lightship производства компании Pilot Software и др.
Следует отметить, что одним из способов обеспечения быстрой обработки данных при их анализе является организация данных в виде многомерных БД ( MDD ).
Информация в MDD хранится не в виде индексированных записей в таблицах, а в форме логически упорядоченных массивов. Единой общепризнанной многомерной модели хранения данных не существует. В MDD отсутствует стандартизованный метод доступа к данным, и они могут отвечать требованиям специфической аналитической обработки данных.
Принимая во внимание все перечисленное, сравнение между различными MDD — продуктами можно проводить только по самым обобщенным категориям. В более дешевом секторе рынка присутствуют лишь однопользовательские и предназначенные для небольших локальных сетей средства просмотра многомерных данных. Хотя они обладают довольно высоким уровнем функциональных возможностей и удобны в использовании, эти системы ограниченны по своему масштабу. и им недостает средств, необходимых для реализации OLAP — обработки в широком смысле. В данную категорию попадают такие продукты, как PowerPlay корпорации Cognos , PaBlo фирмы Andyne и Mercury компании Business Objects . Дорогой же сектор рынка представлен системами Acumate ES фирмы Kenan Technologies , Express корпорации Oracle , Gentium компании Planning Sciences и Holos фирмы Holistic Systems . Они настолько разнятся по своим возможностям, что любую из них можно смело выделять в отдельную категорию. И наконец, MDD -системы в чистом виде: Essbase корпорации Arbor Software , LightShip Server фирмы Pilot Software и TM /1 компании Sinper [ N . Raden (Рынок программных средств)].
Второй класс OLAP -средств — реляционные OLAP -системы ( ROLAP ).
Здесь для хранения данных используются старые реляционные СУБД, а между БД и клиентским интерфейсом организуется определяемый администратором системы слой метаданных. Через этот промежуточный слой клиентский компонент может взаимодействовать с реляционной БД как с многомерной. Подобно средствам первого класса, ROLAP -системы хорошо приспособлены для работы с крупными информационными хранилищами, требуют значительных затрат обслуживания специалистами информационных подразделений и предусматривают работу в многопользовательском режиме. Среди продуктов этого типа — IQ / Vision корпорации IQ Software , DSS / Server и DSS / Agent фирмы MicroStrategy и DecisionSuite компании Information Advantage .
ROLAP — средства реализуют функции поддержки принятия решений в надстройке над реляционным процессором БД.
Такие программные продукты должны отвечать ряду требований, в частности:
- иметь мощный оптимизированный для OLAP генератор SQL -выражений, позволяющий применять многопроходные SQL -операторы SELECT и/или коррелированные подзапросы;
- обладать достаточно развитыми средствами для проведения нетривиальной обработки, обеспечивающей ранжирование, сравнительный анализ и вычисление процентных соотношений в рамках класса;
- генерирвать SQL -выражения, оптимизированные для целевой реляционной СУБД, включая поддержку доступных в ней расширений этого языка;
- предоставлять механизмы описания модели данных с помощью метаданных и давать возможность использовать эти метаданные для построения запросов в реальном масштабе времени;
- включать в себя механизм, позволяющий оценивать качество построения сводных таблиц с точки зрения скорости вычисления, желательно с накоплением статистики по их использованию.
Третий, сравнительно новый тип OLAP -средств — инструменты генерации запросов и отчетов для настольных ПК, дополненные OLAP -функциями или интегрированные с внешними средствами, выполняющими такие функции. Эти весьма развитые системы осуществляют выборку данных из исходных источников, преобразуют их и помещают в динамическую многомерную БД, функционирующую на ПК конечного пользователя. Указанный подход, позволяющий обойтись как без дорогостоящего сервера многомерной БД, так и без сложного промежуточного слоя метаданных, необходимого для ROLAP — средств, обеспечивает в то же время достаточную эффективность анализа. Эти средства для настольных ПК лучше всего подходят для работы с небольшими, просто организованными БД. Потребность в квалифицированном обслуживании для них ниже, чем для других OLAP -систем, и примерно соответствует уровню обычных сред обработки запросов. В числе основных участников этого сектора рынка -к омпания Brio Technology со своей системой Brio Query Enterprise , Business Objects с одноименным продуктом и Cognos с PowerPlay .
В настоящее время увеличивается число Web -совместимых продуктов OLAP .
Важным является вопрос приспосабливания OLAP к остальному ПО . Хотя поставщики OLAP начинают предлагать некоторые способы взаимодействия с SQL -СУБД и другими инструментами, но однако, пользователи и аналитики предупреждают, что уровень интеграции может быть различным и, вероятно, потребует значительного объема кодирования, включая написание запросов на языке SQL . Более того, для интеграции OLAP с остальным программным обеспечением предприятия не существует промышленного стандарта.
Решение данной проблемы может состоять в следующем. Например, многие компании позиционируют базы данных с OLAP в качестве клиентских частей хранилищ данных. При таком подходе хранилища питают ядро многомерной OLAP выборками данных, к которым в дальнейшем могут получить доступ пользователи для быстрого выполнения комплексных запросов. При этом целью является создание среды запросов, скрывающей от пользователя местоположение данных. В этой среде будут автоматически выполняться комплексные запросы к ядру многомерной обработки или поиск детализированной информации и простых запросов на реляционных серверах. Для компаний, которые не могут пойти этим путем, важную роль в настройке связей между инструментами OLAP и другим программным обеспечением играют фирмы-консультанты.
4. Задачи, решаемые ОЛТП и ОЛАП систем
Как правило, учетные системы работают с реляционными базами данных. Для OLAP-приложений же разработана специальная многомерная модель, которая позволяет более эффективно использовать данные, накопленные в оперативных системах. Технология оперативной аналитической обработки ориентирована на представление данных в виде массивов. Под массивом понимается последовательность элементов, например продажи продукта по рынкам/временным периодам, или доход по времени/региону.
В концепции и терминологии OLAP есть много аналогий с реляционной моделью. В таблице 1 приведено сравнение реляционных терминов и понятий и соответствующих эквивалентов в OLAP.
Таблица 1.
|
Реляционная технология |
OLAP Технология |
|
База данных |
База данных |
|
Таблица |
Куб |
|
Представление (Выборка) |
Формула |
|
Первичный ключ |
Измерения |
|
Внешний ключ, не являющийся частью первичного ключа |
Отношение |
|
Столбец, не являющийся частью первичного или внешнего ключа |
Переменная |
|
Строка |
Экземпляр нескольких переменных |
|
Декларативная целостность ссылочных данных |
Косвенно задается при определении измерений |
|
Процедурная целостность ссылочных данных (триггеры) |
Отсутствует |
|
Индексы |
Отсутствует |
|
Системный каталог |
Метаданные |
|
Оператор JOIN |
Отсутствует (косвенно задается общими измерениями) |
|
Оператор WHERE |
Команда LIMIT |
|
Оператор GROUP BY |
Команда GROUP |
|
Оператор ORDER BY |
Команда SORT |
|
Директива GRANT |
PERMIT |
|
Хранимые процедуры, сценарии, хранимый SQL |
Программы и пользовательские функции |
|
Null-столбцы |
Null-значения |
|
Null-строки — не могут быть в таблице или в результирующем множестве |
Null-значения всегда в явном виде |
|
Управление потоковым языком (PL/SQL, Transact-SQL и др.) |
Язык хранимых процедур |
|
Агрегирование (SUM, AVG, COUNT, MIN, MAX) |
Функции и формулы |
|
Операторы вычисления (+, -, /, *) и два-три десятка математических, строковых и временных функций |
Формулы (+, -, /, *, **) более 100 математических, финансовых, статистических, прогнозирующих, моделирующих, строковых и временных функций |
|
Оператор SELECT |
REPORT |
|
Оператор INSERT |
MAINTAIN ADD |
|
Оператор DELETE |
MAINTAIN DELETE |
|
Оператор UPDATE |
SET |
|
Оператор COMMIT |
UPDATE |
Необходимо отметить, что различия этих технологий существенны. В таблице 2 приведено сравнение системных характеристик OLTP и OLAP.
Таблица 2.
|
Системная характеристика |
Учетная система (OLTP) |
OLAP |
|
Взаимодействие с пользователем |
На уровне транзакции |
На уровне всей базы данных |
|
Данные, используемые при обращении пользователя к системе |
Отдельные записи |
Группы записей |
|
Время отклика |
Секунды |
От нескольких секунд до нескольких минут |
|
Использование аппаратных ресурсов |
Стабильное |
Динамическое |
|
Характер данных |
Главным образом первичные (самый низкий уровень детализации) |
В основном производные (сводные значения) |
|
Характер доступа к базе данных |
Предопределенные или статические пути доступа и отношения данных |
Неопределенные или динамические пути доступа и отношения данных |
|
Изменчивость данных |
Высокая (данные обновляются с каждой транзакцией) |
Низкая (во время запроса данные обновляются редко) |
|
Приоритеты |
Высокая производительность Высокая доступность |
Гибкость Автономность пользователя |
Совместное использование OLAP и учетной системы, в частности прямая настройка аналитических функций на OLTP-базу, осложняется несколькими факторами:
- OLAP запросы к базам данных чаще всего бывают сложными и требуют много времени. Прямой доступ к OLTP-базе существенно снижает общую производительность оперативной системы.
- Разнообразные учетные системы неоднородны по типу используемых синтаксических соглашений и концептуальных допущений (единицы измерений, онтологии, наименование, кодирование и т.п.), поэтому их интеграция затруднена.
- Данные в учетных системах часто «зашумленные», неполные и несогласованные.
— Как правило, нет единой модели данных масштаба предприятия. Кроме того, при проектировании баз учетной системы могут использоваться разные модели данных (иерархическая, реляционная, объектно-ориентированная, плоские файлы, «фирменные» модели).
- В оперативных системах отсутствует метод предоставления данных для конкретных групп пользователей в нужной для них форме.
- Информация за прошлые периоды теряется при обновлении OLTP- базы (при записи в нее новых, актуальных данных).
Это препятствует выполнению анализа временных тенденций, который так важен для многих сфер бизнеса.
- В OLTP-базе не хранятся данные в агрегированном, денормализованном, виде, что необходимо для оперативной аналитической обработки.
А преобразование данных в процессе выполнения запросов оказывается слишком трудоемким.
Кроме всех перечисленных выше концептуальных различий, существуют еще и технологические проблемы, которые необходимо преодолеть для внедрения аналитических возможностей в учетные системы. Среди них можно назвать следующие сложности: различие в аппаратных платформах (компьютерах, сетях и периферийных устройствах), использование разного программного обеспечения (разнообразных операционных систем, СУБД, языков программирования, протоколов, связующего ПО и т.п.), а также географическое распределение баз данных по всей организации и вне ее.
Процесс интегрирования OLAP-технологии с учетными системами может осуществляться по-разному. Все подходы имеют свои преимущества и недостатки. Как уже было сказано выше, прямая настройка аналитических средств (Direct BI) затруднена. Возможно также создание дублированных баз данных, витрин и Хранилищ данных. Практически всегда возникает необходимость в преобразовании операционных данных в аналитические. Для создания многомерного представления, нужно настроить данные так, чтобы они соответствовали логической многомерной структуре, далекой от структуры учетной системы. Например, многие измерения, используемые для анализа, могут вообще не иметь соответствий в учетных системах и извлекаться из других источников.
Заключение
Средства OLAP часто реализуются в виде набора многопользовательских приложений с Web-поддержкой, дают быстрый доступ к любому элементу базы вне зависимости от объема и сложности данных. Часто это достигается за счет использования OLAP-сервера — мощного многопользовательского инструмента для работы с многомерными структурами данных. Конструкция сервера и структура данных оптимизируются таким образом, чтобы можно было выполнять нерегламентированные запросы, а также быстрые, гибкие вычисления и преобразования исходных данных.
С помощью OLAP сервера может быть организовано физическое хранение обработанной многомерной информации, что позволяет быстро выдавать ответы на запросы пользователя. Кроме того, предусматривается преобразование данных из реляционных и других баз в многомерные структуры в режиме реального времени.
Каким образом реляционные и многомерные средства работают совместно? OLAP продукты вливаются в существующую корпоративную инфраструктуру путем интегрирования с реляционными системами. Администраторы баз данных либо загружают реляционные данные в многомерный кэш, либо настраивают кэш для доступа к SQL данным.
В таблице 3 приведены сравнительные характеристики различных моделей управления данными:
Таблица 3.
|
Характеристики |
Реляционные СУБД OLTP |
Реляционные СУБД СППР/Хранилища данных |
Многомерные СУБД OLAP |
|
Типовая операция |
Обновление |
Отчет |
Анализ |
|
Уровень аналитических требований |
Низкий |
Средний |
Высокий |
|
Экраны |
Неизменяемые |
Определяемые пользователем |
Определяемые пользователем |
|
Объем данных на транзакцию |
Небольшой |
От малого до большого |
Большой |
|
Уровень данных |
Детальные |
Детальные и суммарные |
В основном суммарные |
|
Сроки хранения данных |
Только текущие |
Исторические и текущие |
Исторические, текущие и прогнозируемые |
|
Структурные элементы |
Записи |
Записи |
Массивы |
В архитектуре, одновременно использующей реляционные и многомерные системы, данные хранятся на OLAP-сервере или OLAP-структуры используются в качестве кэша для реляционных данных. Можно использовать комбинацию двух этих подходов, минимизируя объем данных, перемещаемых из реляционной среды в многомерную и обратно.
Обычно в реляционной системе хранятся более детализированные данные, чем в многомерной. OLAP позволяет пользователю переходить от сводной информации к более подробной.
Реляционная и многомерная модели математически очень похожи, поэтому отображение из одной архитектуры в другую выполняется легко. Например, переменные OLAP можно получить из столбцов реляционной базы. Измерения многомерного куба связаны напрямую с ключами, идентифицирующими строки реляционной базы.
Модель определят, что видит пользователь, какие вычислительные функции доступны, как быстро выполняются вычисления, каковы задачи технического персонала.
Обе модели дают возможности анализа, но использование, написание и поддержка сложного аналитического кода в многомерной модели требует меньшего времени и усилий, чем в реляционной.
Список литературы
[Электронный ресурс]//URL: https://inzhpro.ru/referat/tehnologiya-oltp/
1.
2. Коровкин С. Д., Левенец И. А., Ратманова И. Д., Старых В. А., Щавелёв Л. В. Решение проблемы комплексного оперативного анализа информации хранилищ данных // СУБД. — 1997. — № 5-6. — С. 47-51.
3. Пржиялковский В. В. Сложный анализ данных большого объема: новые перспективы компьютеризации // СУБД. — 1996. — № 4. — С. 71-83.
4. Раден Н. Данные, данные и только данные // ComputerWeek-Москва. — 1996. — № 8. — С. 28.
5. Сахаров А. А. Концепция построения и реализации информационных систем, ориентированных на анализ данных // СУБД. — 1996. — № 4. — С. 55-70.
6. Туо Дж. Инструменты для анализа информации на настольных ПК // ComputerWeek-Москва. — 1996. — № 38. — С 34-35, 46.
7. An Introduction to Multidimensional Database Technology. — Kenan Systems Corporation, 1995.
8. Mumick I. S., Quass D., Mumick B. S. Maintenance of Data Cubes and Summary Tables in a Warehouse. — Stanford University, Database Group, 1996 (#»#» target=»_blank»>«Бухгалтер и компьютер» 14.05.2005 Дмитрий ДОЛОТОВ
Руководитель отдела систем бухгалтерского и налогового учёта ООО “Мострансгаз”
13.
