Информационно-аналитическая система КПС «Мониторинг-Анализ» позволяет осуществлять контроль за процессом таможенного оформления в области номенклатуры, стоимости, веса оформляемых товаров, начисления таможенных платежей.
«Мониторинг-Анализ» реализует процесс интеграции для различных информационных источников (БД ГТД, БД ТП НСИ, БД ЕГРЮЛ, БД ЕГРН) и последующее использован накопленных (агрегированных) данных для формирования разных по форме отчетов и справок.
«Мониторинг-Анализ» выполняет следующие функции:
– обеспечение доступа к ЦБД ГТД, а также ЦБД таможенных приходных ордеров (ТПО);
– предоставление возможности создания и редактирования условий, ограничивающих выборку данных из ЦБД ГТД;
– наглядное отображение и вывод на печать информации отчетов;
– корректировку полученных отчетов в Microsoft Excel.
Информация о деятельности таможенных органов в области таможенного оформления ГТД в «Мониторинг-Анализ» представляется по разным критериям, в том числе:
– стоимости, весу и номенклатуре оформляемых товаров;
– начисленным платежам;
– стране происхождения и стране направления перемещаемых товаров;
– участникам таможенного оформления (таможенные органы, таможенные инспекторы, участники ВЭД);
– динамике процессов таможенного оформления.
«Мониторинг-Анализ» дает возможность получать как общие данные таможенного оформления товаров, так и детальную информацию по каждому из участников ВЭД, конкретному складу и таможенному инспектору.
Дополнительно «Мониторинг-Анализ» предоставляет возможность доступа (анализа и контроля) к процессам доставки товаров под таможенным контролем.
Мониторинг-Анализ» имеет ярко выраженную трехуровневую структуру. Пользователь (через Internet-проводник) посылает запрос на WWW-сервер. WWW-сервер передает запрос на СУБД ORACLE. СУБД обрабатывает запрос и возвращает WWW-серверу.
WWW-сервер в свою очередь преобразует полученные данные в HTML-страницу и возвращает результат пользователю. Поэтому все обновления программного обеспечения КПС «Мониторинг-Анализа» происходят на WWW-сервере и в СУБД ORACLE. Изменения в программном обеспечении соответственно становятся доступны пользователю.
– ЦБД ТПО – мониторинг процессов таможенного оформления ТПО по ЦБД ТПО;
– ЦБД ДКД – мониторинг процессов доставки товаров таможенным контролем (доступ к БД «Доставка-ЦБД»);
– Поиск в ЕГРН, ЕГРЮЛ - поиск информации о юридических лицах – участниках процессов таможенного оформления.
3. Общие сведения об ас адппр «Аналитика-2000
В базе данных ЕАИС ФТС России хранятся и обрабатываемые огромные объемы информации по различным аспектам таможенной деятельности, включая электронные копии грузовых таможенных деклараций (ГТД) и таможенных приходных ордеров (оформленных таможнями России, начиная с 1991 г.) Темпы роста объема БД в среднем составляют 600 тыс. записей в квартал (около 2,5 млн. в год). Этот массив данных содержит ценнейшую информацию о внешнеэкономической деятельности России.
Значительные объемы информации о внешнеэкономической деятельности России требуют наличия эффективных средств обработки для обеспечения процессов поддержки принятия решений по управлению таможенной деятельностью.
Первым шагом в создании полномасштабной системы поддержки принятия решений (СППР) корпоративного уровня стала обработка системы оперативного многомерного анализа данных электронных копий таможенных документов, которая обеспечивает новый уровень анализа данных и несопоставимые по сравнению статистическим анализом показателей производительности.
Системные целисоздания системы «Аналитика-2000»:
– сокращение времени и трудозатрат, необходимых для получения агрегированной информации;
– повышение производительности труда сотрудников ФТС;
– улучшение качества аналитических данных, выдаваемых по запросу вышестоящих организаций;
– предоставление возможности руководителям высшего и среднего звена, а также аналитикам ориентироваться в огромных объемах данных и выбирать информацию, необходимую для принятия решений;
– обеспечение графического представления данных.
Аналитический контроль качества окружающей среды состоит из следующих стадий:
1. Выбор места отбора пробы;
2. Отбор пробы;
3. Обработка пробы;
4. Измерение концентрации загрязнителя;
5. Математическая обработка данных и их проверка;
6. Интерпретация и сравнение полученных данных.
При выборе места отбора пробы (газообразной, жидкой, твердой) следует учитывать факторы: географические, геологические и экологические особенности района, характер распределения загрязнения во времени и пространстве, метеорологические и гидрологические условия.
Можно «покрывать» изучаемый район сеткой с подходящим масштабом шага и брать пробы во всех узловых точках. В других случаях можно взять пробы в характерных местах с разной ожидаемой загрязненностью. Количество точек отбора проб на данной территории зависит от технических и экономических возможностей станции или поста.
При отборе проб необходимо получение статистически усредненного образца, что наиболее легко достигается при отборе жидкой пробы. Получение статистически усредненного образца почвы или биоты отбирают ряд проб в разных точках с последующим механическим усреднением в шаровой мельнице или путем растворения в кислотах. Из полученного материала отбирается аналитическая проба определенной массы. Статистически усредненный образец воздуха можно получить, прокачивая большие объемы его через специальные фильтры или жидкие поглотители и затем вымывая абсорбированный загрязнитель специальным раствором.
Обработка пробы может проводиться сразу после отбора. Если предполагается хранение или транспортировка, следует учитывать потери загрязнителя за счет адсорбции на стенках сосуда, оседания частиц или химических реакций. Наиболее подходящей является посуда из полиэтилена или тефлона. Жидкая проба наливается «под пробку». Твердые пробы также изолируют от контактов с воздухом. Другие виды обработки проб связаны с концентрированием и разделением загрязнителей, что обычно делается в специальной лаборатории.
Стадия «измерение» представляет собой аналитическое определение концентрации загрязнителя, включая выбор метода анализа, подготовку пробы согласно прописи метода, калибровки приборов, проверки метода с помощью стандартов, проведение холостых опытов.
При проведении мониторинга пользуются стандартными или общепринятыми межведомственными или ведомственными методами анализа.
| Предыдущие материалы: |
Страница 31 из 45
Эколого-аналитический мониторинг окружающей среды.
Эколого-аналитический мониторинг – мониторинг за содержанием загрязняющих веществ в воде, воздухе и почве с применением физических, химических и физико-химических методов анализа – позволяет обнаружить поступление загрязняющих веществ в окружающую среду, установить влияние антропогенных факторов на фоне естественных и оптимизировать взаимодействие человека с природой. Так, почвенный мониторинг предусматривает определение кислотности, засоленности почв и потери гумуса.
Химический мониторинг – часть эколого-аналитического, это система наблюдений за химическим составом атмосферы, осадков, поверхностных и подземных вод, вод океанов и морей, почв, донных отложений, растительности, животных и контроль за динамикой распространения химических загрязняющих веществ. Его задача – определение фактического уровня загрязнения окружающей среды высокотоксичными ингредиентами; назначение – научно-техническое обеспечение системы наблюдений и прогнозов; выявление источников и факторов загрязнения, а также степени их воздействия; наблюдение за установленными источниками поступления загрязняющих веществ в природную среду и уровнем ее загрязнения; оценка фактического загрязнения природной среды; прогноз по загрязнению природной среды и пути улучшения ситуации.
Такая система базируется на данных отраслевого и регионального характера, включает элементы этих подсистем; она может охватывать как локальные районы в рамках одного государства (национальный мониторинг), так и Земной шар в целом (глобальный мониторинг).
Эколого-аналитический мониторинг загрязнений в составе Единой государственной системы экологического мониторинга. С целью радикального повышения эффективности работ по сохранению и улучшению состояния среды обитания, обеспечению экологической безопасности 24 ноября 1993 г. было принято постановление Правительства Российской Федерации № 1229 “О создании Единой государственной системы экологического мониторинга” (ЕГСЭМ). Организация работ по созданию ЕГСЭМ предусматривает включение в сферу наблюдений новых видов и типов загрязнителей и выявление их влияния на окружающую среду; расширение географии экологического мониторинга за счет новых территорий и источников загрязнений.
Главные задачи ЕГСЭМ:
– разработка программ наблюдения за состоянием окружающей природной среды на территории России, в ее отдельных регионах и районах;
– организация наблюдений и проведение измерений показателей объектов экологического мониторинга;
– достоверность и сопоставимость данных наблюдений как в отдельных регионах и районах, так и по всей территории России;
– сбор и обработка данных наблюдений;
– хранение данных наблюдений, создание специальных банков данных, характеризующих экологическую обстановку на территории России и в отдельных ее районах;
– гармонизация банков и баз экологической информации с международными эколого-информационными системами;
– оценка и прогноз состояния объектов окружающей среды и антропогенных воздействий на них, природных ресурсов, откликов экосистем и здоровья населения на изменение состояния среды обитания человека;
– проведение оперативного контроля и прецизионных измерений радиоактивного и химического загрязнения в результате аварий и катастроф, а также прогнозирование экологической обстановки и оценка нанесенного природной среде ущерба;
– доступность интегрированной экологической информации широкому кругу потребителей, общественные движения и организации;
– информирование органов управления о состоянии окружающей среды и природных ресурсов, экологической безопасности;
– разработка и реализация единой научно-технической политики в области экологического мониторинга.
ЕГСЭМ предусматривает создание двух взаимосвязанных блоков: мониторинг загрязнения экосистем и мониторинг экологических последствий такого загрязнения. Кроме того, она должна обеспечить получение информации об исходном (базовом) состоянии биосферы, а также выявление антропогенных изменений на фоне естественной природной изменчивости.
В настоящее время наблюдения за уровнями загрязнений атмосферы, почвы, вод и донных отложений рек, озер, водохранилищ и морей по физическим, химическим и гидробиологическим (для водных объектов) показателям проводятся службами Росгидромета. Мониторинг источников антропогенного воздействия на природную среду и зоны их прямого влияния на животный и растительный мир, наземную фауну и флору (кроме лесов) ведут соответствующие службы Минприроды. Мониторинг земель, геологической среды и подземных вод осуществляют подразделения Комитета Российской Федерации по земельным ресурсам и землеустройству и Комитета Российской Федерации по геологии и использованию недр.
В 2000 г. в системе Росгидромета действовали 150 химических лабораторий, 41 кустовая лаборатория для анализа проб воздуха в 89 городах с безлабораторным контролем. Наблюдения за загрязнением атмосферы проводились на 682 стационарных постах в 248 городах и поселках Российской Федерации, не оставлена без внимания и почва на сельскохозяйственных угодьях.
Поверхностные воды суши контролируются на 1175 водотоках и 151 водоеме. Отбор проб ведется в 1892 пунктах (2604 створа). В 2000 г. проведены анализы 30 000 проб воды по 113 показателям. Пункты наблюдений за загрязнением морской среды существуют на 11 морях, омывающих территорию Российской Федерации. В системе Росгидромета ежегодно анализируют более 3000 проб по 12 показателям.
Сеть станций наблюдения трансграничного переноса загрязняющих веществ ориентирована на западную границу России. В настоящее время здесь работают станции Пушкинские горы и Пинега, которыми проводится отбор проб атмосферных аэрозолей, газов и осадков.
Контроль за химическим составом и кислотностью атмосферных осадков осуществляют на 147 станциях федерального и регионального уровня. В большинстве проб в оперативном порядке измеряют только величину рН. При отслеживании загрязнений снежного покрова в пробах определяют также ионы аммония, сульфатионы, бенз(а)пирен и тяжелые металлы.
Система глобального атмосферного фонового мониторинга включает в себя три типа станций: базовые, региональные и региональные с расширенной программой.
Созданы также шесть станций комплексного фонового мониторинга, которые расположены в биосферных заповедниках: Баргузинском, Центрально-Лесном, Воронежском, Приокско-Террасном, Астраханском и Кавказском.
Для радиационного мониторинга на территории страны, особенно в районах, загрязненных в результате аварии в Чернобыле и других радиационных катастроф, используют стационарную сеть и передвижные средства. По специальной программе проводится также аэрогаммасъемка территории Российской Федерации.
В рамках ЕГСЭМ создается система оперативного выявления загрязнений, связанных с аварийными ситуациями.
Эколого-аналитический мониторинг загрязнений в составе ЕГСЭМ можно разделить на три крупных блока: контроль загрязнений в зонах существенного антропогенного воздействия, на региональном уровне, на фоновом уровне.
Все данные из зон с любым уровнем воздействия, как экстренные, так и обобщенные, через определенные интервалы времени поступают в центр сбора и обработки информации. Для автоматизированной системы, развивающейся в настоящее время, первичной ступенью является локальная система, обслуживающая отдельный район или город.
Информация передвижных станций и стационарных лабораторий о загрязнении окружающей среды диоксинами и родственными соединениями обрабатывается, сортируется и передается на следующий уровень – в региональные информационные центры. Далее данные направляются заинтересованным организациям. Третий уровень системы – главный центр данных, где обобщается информация о загрязнении природной среды в масштабе страны.
Эффективность автоматизированных систем обработки эколого-аналитической информации заметно растет при использовании автоматических станций контроля за загрязнением воды и воздуха. Локальные автоматизированные системы контроля загрязнением воздуха созданы в Москве, Санкт-Петербурге, Челябинске, Нижнем Новгороде, Стерлитамаке, Уфе и других городах. Проводятся опытные испытания станций автоматизированного контроля за качеством воды в местах сброса вод и водозаборах. Созданы приборы для непрерывного определения оксидов азота, серы и углерода, озона, аммиака, хлора и летучих углеводородов. На автоматизированных станциях контроля за загрязнением воды измеряют температуру, рН, электропроводность, содержание кислорода, ионов хлора, фтора, меди, нитратов и т.п.
Информационно-аналитический блок мониторинга выполняет его основную функцию, поскольку для принятия обоснованных управленческих решений соответствующим органам важным является анализ и оценка состояния объекта и динамики показателей его деятельности. Эффективную информационно-аналитическую поддержку решения необходимых задач способны обеспечить системы автоматизации аналитической деятельности специалистов органов управления, организуют процессы сбора, хранения и обработки информации. Концепция такого рода систем для широкого класса управляемых объектов должно основываться на современной технологии интегрированных хранилищ данных и углубленного аналитической обработки накопленной информации на базе современных информационных технологий.
Как уже отмечалось, традиционными и общепринятыми источниками первичной информации является статистическая отчетность, бухгалтерский и управленческий учет, финансовая отчетность, анкетирование, интервью, опросы и т.
Этап аналитического и статистического обработки структурированной первичной информации также несколько традиционных общепринятых подходов. Возникновение этих подходов и системная интеграция их были обусловлены объективной необходимостью автоматизации учетно-статистических работ с целью как можно более точного, качественного и своевременного отражения процессов, протекающих в анализируемой предметной области а также выявление их характерных тенденций.
Автоматизация статистических работ получила отражение в создании и функционировании автоматизированных статистических информационных систем: в 1970-х годах - автоматизированной системы государственной статистики (АСДС), а с 1988 года - в проектировании единой статистической информационной системы (ЭСИС) . Основной задачей этих разработок были сбор и обработка учетно-статистической информации, необходимой для планирования и управления народным хозяйством на базе широкого применения экономико статистических методов, средств вычислительной и организационной техники, систем связи в органах государственной статистики.
В структурно-территориальном аспекте АСДС была строго иерархической, имела четыре уровня: союзный, республиканский, областной, районный (городской). На каждом уровне обработки информации осуществлялось в целях реализации задач прежде всего данного уровня.
В функциональном аспекте в АСДС выделяют функциональные и обеспечительные подсистемы. Эти подсистемы, независимо от содержания конкретных статистических задач, реализовывали функции сбора и обработки статистической информации, комплексного статистического анализа, контроля над выполнением показателей, получения статистических данных, необходимых для текущего и оперативного планирования, своевременного представления руководящим органам все необходимые статистических данных. С точки зрения пользователя мониторинговые задачи по своему назначению подразделяются на:
регламентные задачи, связанные с обработкой данных статистической отчетности на соответствующих структурно-территориальных уровнях АСДС;
задачи информационно-справочного обслуживания; задачи углубленного экономического анализа.
Регламентные задачи связанные с обработкой данных статистической отчетности на уровнях АСДС. Каждая регламентная задача, как правило, связана с обработкой данных некоторой конкретной формы статистической отчетности или нескольких, тесно связанных по смыслу форм отчетности. Решение таких задач осуществляется комплексами электронного обработки информации, которые представляют собой совокупность программных, технических и организационных средств с использованием локальных массивов информации.
Задачи информационно-справочного обслуживания предусматривают формирование по запросам необходимых статистических данных для оперативного составления докладов, аналитических записок и справок, не регламентированы по содержанию. их решения обеспечивается с помощью автоматизированного банка данных в виде системы накопления, хранения, поиска, обработки и выдачи информации по запросам пользователей в нужном виде.
Задачи углубленного экономического анализа основаны на использовании:
динамических рядов (построение полигонов, гистограмм частот и кумулятивных линий, подбор трендов с выбранного класса функций);
сглаживания исходного динамического ряда, диагностика на основе выбранного тренда и авторегрессионной модели, анализ остатков на автокорреляции и нормальность)
парной регрессии (определение уравнений линейной и нелинейной регрессии, оценка их статистических характеристик, отбор оптимальной формы связи);
множественной регрессии (определение матрицы парных коэффициентов корреляции, определение уравнений множественной линейной регрессии),
факторного анализа (получение линейной модели, описывается небольшим числом факторов, расчет значений "нагрузок на общие факторы" и самых общих факторов, графическая интерпретация факторов на плоскости и в пространстве);
корреляционного анализа (получение корреляционных матриц, средних и стандартных отклонений).
Организационно-технологическая форма решения данного класса задач - аналитические комплексы, представляющие собой совокупность пакетов прикладных программ, ориентированных на реализацию математико-статистических методов. Для охвата широких временных диапазонов анализируемых данных используется регистровая форма мониторинга на основе автоматизированных регистров, позволяющих сохранять и обрабатывать значительные совокупности данных, организованных
в виде массивов, независимых от структуры статистических отчетов по каждому объекту или определенной группой объектов мониторинга. Регистровая форма мониторинга особенно эффективна для статистической информации, характеризующей относительно устойчивые объекты, поэтому регистры можно рассматривать как автоматизированную картотеку групп однородных единиц статистического наблюдения определенного типа. Ее применение дает возможность пользователю путем заполнения унифицированного бланка запроса получать различные данные, характеризующие состояние того или иного объекта.
Важным направлением совершенствования статистического мониторинга стало обеспечение повышения содержательности, достоверности и оперативности отчетных данных на основе сочетания текущей отчетности, единовременных учетов, выборочных и монографических обследований, а также оптимизации потоков информации. Особый акцент сделан на совершенствовании экономико-математических методов анализа и прогнозирования развития систем. Кроме того, существенным прогрессом в эволюции методов мониторинга послужило использование новых информационных технологий, а именно:
разработка комплексной технологии обработки информации при использовании банков данных и компьютерных сетей;
создание средств компьютерного моделирования систем обработки данных;
разработка интеллектуализированных типов интерфейса конечного пользователя с компьютером на базе автоматизированных рабочих мест, предусматривающих использование экспертных систем.
Новые информационные технологии существенно расширили возможность прямого автоматизированного доступа к необходимой статистической информации, разнообразило состав и содержание аналитических работ. Появилась возможность интеграции одной статистической информационной системы мониторинга с другими информационными системами всех уровней управления каналами телекоммуникационных связей.
Однако все рассмотренные методы аналитического и статистического обработки данных имеют существенный недостаток. Вся совокупность данных обрабатывается в них как разрозненная множество, из-за чего отсутствует их системное единство. Между тем или иным информационными потоками может быть установлен лишь искусственный связь путем объединения их в определенную отчетную форму. Однако невозможно предусмотреть все формы для всех возможных явлений и связей. Традиционные методы аналитического и статистического обработки данных не учитывают того, что между любого рода явлениями и событиям существует естественная связь, основанный на универсальных, присущих всем им показателях. При наличии системы таких природных
связей появляется возможность сопоставлять с рассматриваемым явлением все связанные с ним в явном или неявном виде факторы, события, данные. Мониторинга, основанном на таком подходе, свойственна полнота охвата причинно-следственных связей факторов взаимовлияния скрытых тенденций. Все это рассматривается в неразрывном системном единстве.
Устранить указанный недостаток можно благодаря весьма распространенном в последнее время подхода к проблеме аналитического и статистического обработки данных на основе новейшей технологии OLAP - Online Analitical Processing (оперативный анализ данных) .
Срок OLAP обозначает методы, которые дают возможность пользователям баз данных в реальном времени генерировать описательные и сравнительные сведения данных и получать ответы на различные аналитические запросы. К определяющих принципов концепции OLAP относятся:
многомерное концептуальное представление - базы данных OLAP должны поддерживать многомерное представление данных, предусматривает классические операции разбиения и вращения концептуального куба данных;
прозрачность - пользователям не нужно знать, что они используют базу данных OLAP. Для получения ими данных и принятия нужных решений они могут использовать хорошо знакомые им инструменты. им также не нужно что-либо знать об источнике данных;
доступность - программные средства должны сами выбирать и связываться с наилучшим для формирования ответа на данный запрос источником данных. Они должны обеспечивать автоматическое отображение собственной логической схемы в различные гетерогенные источники данных;
согласована производительность - производительность практически не должен зависеть от количества измерений в запросе. Системные модели должны быть достаточно мощными, чтобы справиться со всеми изменениями рассматриваемой модели;
поддержка архитектуры клиент-сервер - средства OLAP должны быть в состоянии работать в клиент-серверной среде, так как предполагается, что сервер многомерной базы данных должен быть доступен из других программ и инструментов;
равноправие всех измерений - каждое измерение данных должно быть эквивалентно одновременно и по структуре, и по операционным возможностям. Основная структура данных, формулы и форматы отчетов не должны ориентироваться на какое-то одно измерение данных;
динамическое обработки разреженных матриц - типичные многомерные модели могут с легкостью обращаться к большой множества
ссылок на ячейки, многие из которых не имеют данных в какой-то конкретный момент. Эти недостающие значения должны храниться эффективным образом и не производить негативного влияния на точность или скорость извлечения информации;
поддержка множества користурачив - средства OLAP должны поддерживать и поощрять работу в группах и обмен идеями и результатами анализа между пользователями. Для этого очень важно наличие многопользовательского доступа к данным;
поддержка операций между различными измерениями. Все многомерные операции (например, агрегация) должны определяться и быть доступными таким образом, чтобы они выполнялись единообразно и согласованно, независимо от количества измерений;
интуитивное управление данными - данные, предоставляемые пользователю-аналитику, должны содержать всю информацию, необходимую для эффективной навигации (формирование срезов, изменения уровня детализации представления информации) и выполнения соответствующих запросов;
гибкое формирование отчетов - пользователь имеет иметь возможность извлекать любые необходимые ему данные и формировать их в любом необходимом ему виде;
неограниченные измерения и уровни агрегации - не должно ограничений по количеству поддерживаемых измерений.
Использование систем, основанных на технологии OLAP, дает возможность:
организовать единое информационное хранилище, основанное на данных статистической и другой отчетности;
обеспечивать простой и эффективный доступ к информации хранилища с разграничением прав доступа
обеспечить возможность оперативного аналитической обработки хранимых данных, проведения статистического анализа;
упорядочить, стандартизировать и автоматизировать создание форм аналитических отчетов с отображением данных в заданном виде.
Главной отличительной особенностью и важным преимуществом многомерного представления данных по сравнению с традиционными информационными методиками является возможность совместного анализа больших групп параметров во взаимной связи, что важно при изучении сложных явлений.
Технология OLAP заметно сокращает время сбора и анализа первичной информации, необходимой для принятия решений в той или иной сфере человеческой деятельности, а также повышает наглядность и информативность отчетов о процессах и явлениях, происходящих в этих сферах.
OLAP-системы позволяют накапливать большие объемы данных, собираемых из различных источников. Такая информация обычно
Прежде чем создавать такую систему, следует рассмотреть и выяснить три основных вопроса:
данные накапливать и как на концептуальном уровне моделировать данные и управлять сохранением их; как анализировать данные;
как эффективно загрузить данные из нескольких независимых источников.
Эти вопросы можно соотнести с тремя основными компонентами системы поддержки принятия решений: сервер хранилища данных, инструментарий оперативного аналитической обработки данных и инструменты для пополнения хранилища данных.
Поскольку организация информационных хранилищ является предметом других дисциплин, рассмотрим лишь вопрос аналитической обработки данных. В настоящее время существует ряд средств OLAP, которые можно использовать для анализа информации. Это такие программные продукты как MicroStrategi 7 и, WebIntelligence, Cognos Powerplay, AlphaBlox тому подобное. Сделаем обзор указанных продуктов, основываясь на следующих критериях:
удобство пользования - программный продукт должен быть достаточно простым для пользователя, не имеющего специальной подготовки;
интерактивность - программное средство имеет реализовывать интерактивные возможности, в том числе: просмотр документов, динамическое обновление имеющихся документов, обеспечивает доступ к последней информации, динамическое выполнение запросов к источникам данных, динамическое неограниченное "углубление в данные";
функциональность - приложение должно обеспечивать такие же возможности, как и традиционные клиент / серверные аналоги;
доступность - информация должна быть доступной для любого устройства и рабочего места, а клиентская часть - быть небольшой, чтобы удовлетворить различным уровням пропускной способности сети пользователя и отвечать стандартизированной технологии;
архитектура - это критерий характеризует аспекты программной реализации продукта;
независимость от источников данных - приложение должно обеспечивать доступ к документам любого типа и предоставлять интерактивный доступ к реляционных и многомерных баз данных,
производительность и масштабируемость - для обеспечения производительности и масштабируемости приложения необходимо реализовать возможности универсального доступа к базам данных, возможность кэширования сервером данных и тому подобное;
обеспечение безопасности - аспекты администрирования приложений для предоставления различных прав доступа различным категориям пользователей;
стоимость внедрения и администрирования - стоимость внедрения продукта OLAP в расчете на одного пользователя должно быть существенно ниже, чем для традиционных продуктов.
MicroStrategi 7 и :-набор программных продуктов с широким диапазоном функций, построенный на унифицированной серверной архитектуре. Пользовательское среду реализовано в Мисго- Strategi Web Professional.
Пользователям предлагается ряд статистических, финансовых и математических функций для комплексного OLAP и реляционного анализа. Для всех пользователей предусмотрен доступ как к агрегированной, так и к детальной информации (на уровне транзакций). Можно выполнять новые вычисления, фильтровать данные отчета, вращать и добавлять промежуточные суммарные значения, оперативно менять содержание отчета.
Основные функциональные возможности достигаются за счет следующих средств:
MicroStrategi 7 и OLAP Services - интерфейс к продуктам "третьих" фирм;
технология Intelligent Cube - упрощает выполнение анализа и развертывания, предоставляя сводную информацию для быстрого просмотра в интерактивном режиме;
MicroStrategi Narrowcaster - дает пользователям возможность пересылать показатели или платить их через Web- интерфейс. Пользователи могут пересылать по электронной почте свои отчеты, планировать пересылки отчетов, публиковать их для рабочих групп и экспортировать в Excel, PDF или HTML-форматы.
В этом продукте обеспечивается кросплатформенных поддержка и интеграция, переносимость в Unix, поддержка серверов приложений "третьих" фирм.
В основе продукта лежит XML-архитектура. Пользователи могут интегрировать XML-код, созданный в MicroStrategi Web, в свои приложения, или форматировать его нужным образом.
Тонкий клиент, реализованный в формате HTML, устраняет проблемы совместимости с браузерами, разворачивается через все средства сетевой защиты. Вид и функции программы можно настроить под конкретные нужды. Можно встраивать MicroStrategi Web в другие приложения, работающие в сети.
Компьютеры, на которых работает MicroStrategi Web, можно объединять в кластеры, обеспечивает масштабируемость и надежность. Предусмотрено добавление дополнительного оборудования. если
случается сбой при выполнении задания, оно передается на другой компьютер с того самого кластера.
Данные защищены на уровне ячеек с использованием фильтров защиты и списков управления доступом. Безопасность Web-трафика обеспечивается технологией шифрования данных на транспортном уровне - SSL (Secire SocxeT Level - уровень защищенных сокетов).
WebIntelligence -Web-продукт для создания запросов, отчетов и анализа данных. Предоставляет пользователям сети (как Intranet, так и Extranet) защищенный доступ к данным для дальнейшего исследования их и управления ими. Он делает аналитические возможности доступными для различных категорий пользователей. Обеспечен широкий набор средств бизнес-анализа, в том числе создание сложных отчетов, выполнения вычислений, фильтрация, детализация и агрегирование.
Weblntelligence обеспечивает следующие возможности:
форматирования и печать отчетов в режиме визуального проектирования;
багатоблокови отчеты. В сложных отчетах для передачи исчерпывающей информации иногда необходимо разместить сразу несколько таблиц или диаграмм. Для этого в WebIntelligence предусмотрена возможность добавления нескольких блоков и диаграмм в один отчет;
возможности детализации данных в интерактивном режиме.
Продукт обеспечивает ряд функций:
доступ к данным, которые хранятся как в традиционных реляционных базах, так и на OLAP-сервере;
функции анализа данных;
возможность совместного использования информации. WebIntelligence является "тонким" клиентом, не требует установки и сопровождения программного обеспечения приложений или промежуточного программного обеспечения баз данных на клиентском месте. При установке клиентской части предусмотрена возможность выбора технологии. Обеспечивается развертывание на платформах Microsoft Windows и Unix.
С помощью WebIntelligence можно исследовать и анализировать различные OLAP-источников данных, а также совместно использовать OLAP и реляционные данные.
Продукт настраивается таким образом, чтобы в наибольшей степени соответствовать корпоративной структуре любого объекта.
WebIntelligence может выполняться как на одном сервере, так и на нескольких NT или Unix-машинах. Серверы можно добавлять в систему по мере необходимости, если случается сбой на одном из компонентов, автоматически используется другой. Взвешенное балансировки нагрузки между несколькими серверами оптимизирует системные ресурсы и гарантирует короткое время отклика.
Weblntelligence использует различные технологии защиты информации. При необходимости компоненты обозначаются с помощью технологии цифровых сертификатов. Для работы с различными системами сетевой защиты используется протокол передачи гипертекста.
Приложение имеет стандартный Web-интерфейс. Поддерживаются основные возможности (выборка данных с заданными измерениями и значениями, "углубление" в данные, вложенные перекрестные таблицы, вычисления, включение / отключение отображения строк, столбцов и графиков; фильтры, сортировка) для просмотра, исследования, отчетности и публикации OLAP-данных в интерактивном режиме.
Cognos Powerplay обеспечивает выполнение следующих функций: применение HTML / JavaScript, которое предоставляет универсальный доступ для пользователя, работающего с Netscape Navigator версии 3.0 и выше или Microsoft Internet Explover;
доступ к OLAP-данных любого пользователя объекта; создание и публикация ВРМ-отчетов (Business Performance Management - управление эффективностью бизнеса) в виде PDF- документов для Cognos Upfront портала, благодаря чему пользователи имеют доступ к самым важным корпоративных данных в среде Web;
преобразование данных из PDF-формата на динамические отчеты, их дальнейшее исследование и передачи результатов на Upfront;
сервер поддерживает работу с платформами: Windows NT, Windows 2000 и выше, SUN Solaris, HP / UX, IBM AIX.
Благодаря поддержке протокола SSL PoverPlay гарантирует защищенность данных, направляются через Web. Кроме того, задавая классы пользователей, системные администраторы могут контролировать доступ их как к локальным кубов, так и в оболочке Web- портала. Эти классы хранятся в специальном, доступном по протоколу LDAP (Light Directory Access Protocol - облегченный протокол доступа к сетевому каталогу), программном компоненте, который отвечает за централизованное управление безопасностью всей системы, а также за интеграцию с текущим защитой.
Использование HTML для реализации клиентских мест предусматривает функционирование сервера PoverPlay в защищенной среде. Тем самым обеспечивается безопасное развертывание приложений для клиентов, партнеров и поставщиков.
AlphaBlox - связующее программное обеспечение, которое предоставляет инструментарий и компоновочные блоки для работы в Web. Благодаря этому устраняются сложности, связанные с защитой сетевых соединений с базами данных, авторизацией и форматированием данных Аналитическая платформа AlphaBlox реализована на основе стандартизированной И2ЕЕ-совместимой архитектуры.
Продукты AlphaBlox спроектированы для проведения аналитических вычислений внутри и вне объекта.
Особый интерес представляют Java-компоненты (Виох). Из этих компонентов можно создать аналитический Web-приложение. Одна из трудоемким задач при создании Web-продукта OLAP - отражение и форматирование данных в браузере. Очень часто данные нужно показывать как таблицу или диаграммы. При создании программы с использованием AlphaBlox в него можно вставить любое количество таких Java-компонентов и настроить их для решения нужных задач путем задания определенных параметров апплетов, тем самым контролируя вид и функции компонентов. Этот программный продукт обеспечивает следующие возможности: доступ к информации - данные извлекаются из различных реляционных и многомерных баз данных;
запросы и анализ - компоненты выполняют простые и сложные запросы к различным источникам данных, при этом не требуется программирование на CQL;
представление - возможность представления данных в различных форматах (в виде отчетов, таблиц, диаграмм).
Java-компоненты имеют модульную структуру и могут использоваться многократно. их можно применять при реализации аналитических возможностей для множества бизнес-функций. Поскольку они управляются набором параметров, их свойства можно изменять с помощью текстового редактора. Это обеспечивает гибкость при разработке и модернизации аналитического решения. Компоненты можно настраивать для удовлетворения определенных бизнес-требований и повторно использовать, внедряя дополнительные приложения в других сферах деятельности. Разработчики приложений могут писать дополнительный код на JSP, JavaServlets или языке JavaScript.
AlphaBlox-решения используют сервисы, предоставляемые сервером приложений и средой Java Runtime Environment (JRE), любые Java-расширения или заказные расширения, разработанные для этой платформы.
Структура приложений AlphaBlox основывается на стандартах и допускает интеграцию с имеющимися операционными системами, транзакционные инфраструктурой, с традиционными системами. Обеспечивается пользовательский доступ к данным из различных источников и последующий анализ их.
AlphaBlox использует стандартные ресурсы и возможности сервера приложений, в том числе http-обработки / кэширования и управления памьятпо / процессами, а также интеграцию с Web-серверами. Кроме того, 12ЕЕ-совместимая архитектура устраняет лишнее обновления страниц и позволяет выполнять основную логику на сервере.
AlphaBlox использует ту же модель защиты, и сервер приложения, реализованную с помощью стандартных функций платформы J2EE. За счет этого устраняется необходимость в создании независимой модели механизма защиты.
Простота развертывания - одно из главных преимуществ Web- приложения. Это в полной мере касается приложений AlphaBlox. Однако для них требуются определенные версии браузеров и Java платформы, тогда как тонкий HTML-клиент работает в большинстве браузеров.
Оперативный анализ данных на базе технологии OLAP позволяет аналитикам, менеджерам и исполнителям вникнуть в данные, используя фиксированный, общий, интерактивный доступ к широкому разнообразие возможных форматов данных, которые были получены из необработанных данных, чтобы отразить реальное положение объекта в виде, понятном пользователям. Функциональность OLAP характеризуется динамичным многомерным анализом сводных данных объекта, необходимых для поддержки конечного пользователя аналитическими действиями, включая исчислением и моделированием, применимым к данным путем анализа тренда над последовательными интервалами времени, выполнения среза ггидмножины данных для просмотра на экране, изменения уровня детализации представления информации в более глубоких уровней обобщения и тому подобное.
OLAP-средства сосредоточены на обеспечении многомерного анализа информации. Для достижения этого используются многомерные модели хранения и представления данных. Данные организованы в кубах (или гиперкубах), определенных в многомерном пространстве, состоит из отдельных измерений. Каждое измерение включает множество уровней детализации. Типовые операции OLAP включают операции изменения уровня детализации представления информации (продвижение вверх и вниз по иерархии измерений), выбора определенных частей куба и переориентации многомерного представления данных на экране (получение сводной таблицы).
Для баз данных OLAP разработан эталонный тест АРВ-1 . Этот тест моделирует реальную ситуацию для серверного программного обеспечения OLAP. Стандарт определяет набор измерений, которые определяют логическую структуру. Логическая структура базы данных состоит из шести измерителей: время, сценарий, мера, продукт, заказчик и канал. Эталонный тест не предусматривает конкретной физической модели: входные данные обеспечиваются в формате файлов ASCII. Операции теста тщательно моделируют стандартные операции OLAP над большими объемами данных, которые последовательно загружаются из внутренних или внешних источников. Данные операции включают агрегацию информации, детализацию данных по иерархии, вычисления новых данных, основанных на бизнес-моделях и тому подобное.
Рассмотрены возможности технологии OLAP является основой организации и многомерного анализа мониторинговой информации. Рассмотрим этапы этого процесса.
Прежде чем загрузить информацию в многомерную базу данных мониторинга (ББД), ее следует извлечь из различных источников, очистить, превратить и консолидировать (рис. 1.3). В дальнейшем циЬ информацию надо периодически обновлять.
Рис. 1.3.
Извлечение данных - это процесс выборки данных из операционных баз данных и других источников. Анализ имеющихся источников информации показывает, что большая часть их представлена в виде табличных данных, полученных или в электронном или в печатном виде. Современные средства сканирования и распознавания изображений позволяют практически полностью автоматизировать этот этап подготовки данных.
Прежде чем заносить информацию в базу данных, обязательно нужно выполнить ее очистки. Обычно очистка предусматривает заполнение отсутствующих значений, корректировку опечаток и других допущенных при вводе данных ошибок, определение стандартных сокращений и форматов, замену синонимов стандартными идентификаторами и тому подобное. Данные, которые определяются как ложные и не могут быть исправлены, отбрасываются.
После очистки данных необходимо преобразовать всю полученную информацию в формат, который будет отвечать требованиям используемого программного продукта (OLAP-сервера). Процедура преобразования приобретает особую важность, когда необходимо объединить данные, поступившие из нескольких различных источников. Этот процесс называется консолидацией.
Этап загрузки информации в ББД заключается в создании необходимой структуры данных и заполнении ее информации, полученной на предыдущих этапах подготовки данных.
Извлечение информации из ББД позволяет осуществлять Microsoft SQL Server Analysis Services, которая является одновременно поставщиком как многомерных данных (multidimensional data provider), так и табличных данных (tabular data provider). Таким образом, выполнение запроса возвращает или многомерный набор данных, или обычную таблицу зависимости от используемого языка запросов. Analysis Services поддерживает как SQL, так и расширения MDX (multidimensional expressions).
SQL-запросы могут передаваться в Analysis Services, используя такие средства доступа к данным:
Microsoft OLE DB и OLE DB для OLAP;
Microsoft ActiveX Data Objects (ADO) и ActiveX Data Objects Multidimensional (ADO MD).
OLE DB для OLAP расширяет возможности OLE DB, включая объектами, специфическими для многомерных данных. ADO MD расширяет ADO аналогичным образом.
Microsoft SQL Server Analysis Services позволяет выполнять залить с MDX-расширениями, которые обеспечивают богатый и мощный синтаксис запросов для работы с многомерными данными, хранимыми OLAP-сервером в кубах. Analysis Services поддерживает функции MDX для определения вычисляемых полей, построения локальных кубов данных и выполнения запросов, используя компонент сводных таблиц (Pilot Table Services).
Возможно создание пользовательских функций, которые работают с многомерными данными. Взаимодействие с ними (передачи аргументов и возвращения результата) происходит с использованием синтаксиса MDX.
Analysis Services обеспечивает более 100 встроенных MDX- функций для определения сложных вычисляемых полей. Эти функции подразделяются на следующие категории: работа с массивами; работа с измерениями; работа с иерархиями; работа с уровнями иерархий; логические функции; работа с объектами; числовые функции; работа с наборами; работа со строками; работа с кортежами.
Возможно создание локальных кубов, предназначенных для просмотра на компьютерах, где установлен OLAP-сервера. Создание локальных кубов требует использования MDX-синтаксиса и проходит через компонент сводных таблиц (Pilot Table Services), который является OLE DB-клиентом OLAP-сервера. Этот компонент также делает автономную работу с локальными кубами при отсутствии соединения с OLAP-сервером, предоставляя интерфейс источника данных OLE DB. Для создания локальных кубов используют операторы CREATE CUBE и INSERT INTO.
Язык запросов MDX, которая является расширением SQL, позволяет осуществлять запросы кубов с данными и возвращать результат в виде многомерных наборов данных.
Так же, как и в обычном SQL, создатель MDX-запроса должен сначала определить структуру набора данных, возвращается. В большинстве случаев создатель MDX-запроса представляет себе возвращен набор данных в виде многомерных структур. В отличие от обычного SQL-запроса, который оперирует с таблицами для получения двухмерного набора записей, MDX-запрос имеет дело с кубами для формирования многомерного результативного набора данных. Следует отметить, что MDX-запрос может возвращать и двумерные наборы данных, которые являются частным случаем многомерного набора данных.
Визуализация многомерных наборов данных может быть достаточно тяжелой. Один из методов визуализации заключается в ограничении подачи плоской, двухмерной таблице, используя множество вложенных измерений вдоль одной оси. Такая вложенность приведет к появлению подзаголовков.
Pilot Table Services, входящая в состав Microsoft SQL Server Analysis Services, является OLAP-сервером, предназначенным для получения доступа к данным OLAP. Этот компонент функционирует как клиент Analysis Services.
Функции Pilot Table Services заключаются в анализе данных, построении кубов и в оптимальном управлении памятью. Компонент предоставляет интерфейс к многомерных данных. Возможно сохранение данных в локальном кубе на компьютере клиента и последующий анализ без подключения к OLAP-сервера. Pilot Table Services нужен для выполнения следующих задач:
установления соединения с OLAP-сервером как клиентским компонентом;
предоставление программам интерфейса OLE DB с OLAP- расширениями;
функционирование в качестве табличного источника данных, поддерживает подмножество SQL;
функционирование в качестве многомерного источника данных, поддерживает MDX-расширения;
создание локального куба данных;
функционирования в качестве мобильного настольного OLAP- клиента.
Компонент сводных таблиц может работать только с одним локальным разделом куба. Также в нем нет встроенной системы управления уровнями предоставления информации. Поэтому производительность Pilot Table Services прямо пропорциональна объему данных, к которым он адресуется.
Следует отметить, что OLAP-интерфейс прост и требует знаний не более, чем электронная таблица. OLAP позволяет использовать различные формы отчетов, интерфейс интерактивного анализа данных и возможность генерации печатных форм. Однако по сравнению с традиционными способами программирования и генерации пользовательских отчетов OLAP не только в сотни раз уменьшает расходы на программирование, но и меняет сам принцип работы пользователя с отчетом.
Отличие OLAP как инструмента генерации отчетов заключается в возможности автоматического и интерактивного выполнения таких операций с данными:
рекурсивного группировки данных; вычисления промежуточных итогов по подгруппам; вычисления окончательных итогов.
Команды на выполнение этих операций даются самим пользователем. В качестве элементов управления выступают разделы используемой таблицы. Когда пользователь изменяет форму отчета (например, перемещает столбики), система выполняет расчеты промежуточных итогов и отражает новый отчет.
Дополнительно пользователь может изменить сортировку и выполнить фильтрацию по произвольным сочетаниями данных, увидеть данные в процентном выражении, изменить масштаб и выполнить другие необходимые преобразования отчета (эти возможности не являются непременным атрибутом технологии OLAP, а зависят от конкретной реализации инструмента).
В результате пользователь может самостоятельно, интуитивно понятным ему способом из имеющегося набора данных сформировать все возможные для этого набора виды отчетов. Это помогает преодолеть извечный ограничения информационных систем, которое заключается в том, что мощность интерфейсов всегда ниже мощность базы данных.
Технология OLAP позволяет реализовать практически все возможные виды табличного изображения содержимого базы данных. Если продукт достаточно гибкий, то задачей программиста является описание семантического слоя (словаря), после чего квалифицированный пользователь может самостоятельно создавать новые кубы, оперируя терминами известной ему предметной сферы. Остальные пользователи могут формировать отчеты по каждому кубу.
Таким образом, технология OLAP служит как разработчикам, так и пользователям во всех тех случаях, когда нужно видеть информацию в форме табличных отчетов, в которых данные сгруппированы, а для групп вычислено итоговые показатели.
Опыт показывает, что недостаточно предоставить пользователям большой куб, состоящий из множества измерений и фактов. Это обусловлено следующими причинами.
Во-первых, в каждый момент пользователю нужен вполне определенный отчет.
Во-вторых, некоторые алгоритмы вычисления итогов описываются сложными формулами, а пользователь может не обладать достаточной квалификацией для их определения.
В-третьих, OLAP-отчет может иметь специфическую, заданную автором отчета методику расчета итогов, расположение измерений и начальных условий сортировки.
В-четвертых, во многих случаях понять данные проще, если смотреть не на таблицу с цифрами, а на диаграмму. Для настройки OLAP-диаграммы иногда нужно иметь неплохую пространственное воображение, поскольку куб с множеством измерений нужно отразить как набор фигур или линий в трехмерном рисунке. Количество свойств современных графических компонентов исчисляется тысячами, поэтому предварительное настройки диаграммы или графика для OLAP-отчета может занять много времени.
В-пятых, как и для любого другого отчета, для OLAP-отчета важно его эффектное оформление, включающее настройки заголовков и подписей, цветов и шрифтов.
Таким образом, для комфортной работы пользователя OLAP-отчет должен содержать определенный набор прикладных метаданных, описывающих алгоритмы агрегации, предварительные условия фильтрации и сортировки, заголовки и комментарии, правила визуального оформления.
При визуализация информации многомерного куба значимым фактором является упорядочение измерений согласно их сходством. Основная идея заключается в том, что измерения, которые характеризуют схожие параметры, располагаются рядом. Для определения подобных измерений применяют различные методы кластеризации, в частности, можно использовать эвристические алгоритмы.
Описанная информационно-аналитическая технология не является единственно возможной. Но все они развитием Business intelligence (ВИ), назначением которой является сбор, систематизация, анализ и представление информации. Выбор конкретной информационно-аналитической технологии остается за пользователем с учетом особенностей объекта предметной сферы.
