Інформаційно-аналітична система КПС «Моніторинг-Аналіз» дозволяє здійснювати контроль за процесом митного оформлення в області номенклатури, вартості, ваги оформлюваних товарів, нарахування митних платежів.
«Моніторинг-Аналіз» реалізує процес інтеграції для різних інформаційних джерел (БД ВМД, БД ТП НДІ, БД ЕГРЮЛ, БД ЕГРН) і подальше використаний накопичених (агрегованих) даних для формування різних за формою звітів і довідок.
«Моніторинг-Аналіз» виконує наступні функції:
- забезпечення доступу до ЦБД ВМД, а також ЦБД митних прибуткових ордерів (ТПО);
- надання можливості створення і редагування умов, що обмежують вибірку даних з ЦБД ВМД;
- наочне відображення і висновок на друк інформації звітів;
- коригування отриманих звітів в Microsoft Excel.
Інформація про діяльність митних органів в області митного оформлення ВМД в «Моніторинг-Аналіз» представляється за різними критеріями, в тому числі:
- вартості, вазі і номенклатурі оформлюваних товарів;
- нарахованих платежів;
- країні походження і країні напрямки переміщуваних товарів;
- учасникам митного оформлення (митні органи, митні інспектори, учасники ЗЕД);
- динаміці процесів митного оформлення.
«Моніторинг-Аналіз» дає можливість отримувати як загальні дані митного оформлення товарів, так і детальну інформацію по кожному з учасників ЗЕД, конкретному складу і митного інспектора.
Додатково «Моніторинг-Аналіз» надає можливість доступу (аналізу і контролю) до процесів доставки товарів під митним контролем.
Моніторинг-Аналіз »має яскраво виражену трирівневу структуру. Користувач (через Internet-провідник) надсилає запит на WWW-сервер. WWW-сервер передає запит на СУБД ORACLE. СУБД обробляє запит і повертає WWW-сервера.
WWW-сервер в свою чергу перетворює отримані дані в HTML-сторінку і повертає результат користувачеві. Тому всі оновлення програмного забезпечення КПС «Моніторинг-Аналізу» відбуваються на WWW-сервері і в СУБД ORACLE. Зміни в програмному забезпеченні відповідно стають доступні користувачеві.
- ЦБД ТПО - моніторинг процесів митного оформлення ТПО по ЦБД ТПО;
- ЦБД ДКД - моніторинг процесів доставки товарів митним контролем (доступ до БД «Доставка-ЦБД»);
- Пошук в ЕГРН, ЕГРЮЛ - пошук інформації про юридичних осіб - учасників процесів митного оформлення.
3. Загальні відомості про ас адппр «Аналітика-2000
У базі даних ЄАІС ФМС Росії зберігаються і обробляються величезні обсяги інформації з різних аспектів митної діяльності, включаючи електронні копії вантажних митних декларацій (ВМД) і митних прибуткових ордерів (оформлених митницями Росії, починаючи з 1991 р) Темпи зростання обсягу БД в середньому становлять 600 тис. записів у квартал (близько 2,5 млн. в рік). Цей масив даних містить найціннішу інформацію про зовнішньоекономічної діяльності Росії.
Значні обсяги інформації про зовнішньоекономічну діяльність Росії вимагають наявності ефективних засобів обробки для забезпечення процесів підтримки прийняття рішень з управління митною діяльністю.
Першим кроком у створенні повномасштабної системи підтримки прийняття рішень (СППР) корпоративного рівня стала обробка системи оперативного багатовимірного аналізу даних електронних копій митних документів, яка забезпечує новий рівень аналізу даних і непорівнянні в порівнянні зі статистичними аналізом показників продуктивності.
Системні целісозданія системи «Аналітика-2000»:
- скорочення часу і трудовитрат, необхідних для отримання агрегованої інформації;
- підвищення продуктивності праці співробітників ФМС;
- поліпшення якості аналітичних даних, які видаються за запитом вищестоящих організацій;
- надання можливості керівникам вищої та середньої ланки, а також аналітикам орієнтуватися у величезних обсягах даних і вибирати інформацію, необхідну для прийняття рішень;
- забезпечення графічного представлення даних.
Аналітичний контроль якості довкілля складається з наступних стадій:
1. Вибір місця відбору проби;
2. Відбір проби;
3. Обробка проби;
4. Вимірювання концентрації забруднювача;
5. Математична обробка даних і їх перевірка;
6. Інтерпретація і порівняння отриманих даних.
при виборі місця відбору проби (Газоподібної, рідкої, твердої) слід враховувати фактори: географічні, геологічні та екологічні особливості району, характер розподілу забруднення в часі і просторі, метеорологічні та гідрологічні умови.
Можна «покривати» досліджуваний район сіткою з відповідним масштабом кроку і брати проби у всіх вузлових точках. В інших випадках можна взяти проби в характерних місцях з різною очікуваною забрудненістю. Кількість точок відбору проб на даній території залежить від технічних і економічних можливостей станції або поста.
при відборі проб необхідно отримання статистично усередненого зразка, що найбільш легко досягається при відборі рідкої проби. Отримання статистично усередненого зразка грунту або біоти відбирають ряд проб в різних точках з подальшим механічним усреднением в кульової млині або шляхом розчинення в кислотах. З отриманого матеріалу відбирається аналітична проба певної маси. Статистично усереднений зразок повітря можна отримати, прокачувати великі обсяги його через спеціальні фільтри або рідкі поглиначі і потім вимиваючи абсорбований забруднювач спеціальним розчином.
Обробка проби може проводитися відразу після відбору. Якщо передбачається зберігання або транспортування, слід враховувати втрати забруднювача за рахунок адсорбції на стінках посудини, осідання частинок або хімічних реакцій. Найбільш відповідною є посуд з поліетилену або тефлону. Рідка проба наливається «під пробку». Тверді проби також ізолюють від контактів з повітрям. Інші види обробки проб пов'язані з концентрацією і поділом забруднювачів, що зазвичай робиться в спеціальній лабораторії.
стадія «Вимір» являє собою аналітичне визначення концентрації забруднювача, включаючи вибір методу аналізу, підготовку проби згідно прописи методу, калібрування приладів, перевірки методу за допомогою стандартів, проведення неодружених дослідів.
При проведенні моніторингу користуються стандартними або загальноприйнятими міжвідомчими або відомчими методами аналізу.
| Попередні матеріали: |
Сторінка 31 з 45
Еколого-аналітичний моніторинг навколишнього середовища.
Еколого-аналітичний моніторинг - моніторинг за вмістом забруднюючих речовин у воді, повітрі та грунті із застосуванням фізичних, хімічних і фізико-хімічних методів аналізу - дозволяє виявити надходження забруднюючих речовин в навколишнє середовище, встановити вплив антропогенних чинників на тлі природних і оптимізувати взаємодію людини з природою. так, грунтовий моніторингпередбачає визначення кислотності, засоленості грунтів і втрати гумусу.
Хімічний моніторинг -частина еколого-аналітичного, це система спостережень за хімічним складом атмосфери, опадів, поверхневих і підземних вод, вод океанів і морів, грунтів, донних відкладень, рослинності, тварин і контроль за динамікою поширення хімічних забруднюючих речовин. Його завдання - визначення фактичного рівня забруднення навколишнього середовища високотоксичними інгредієнтами; призначення - науково-технічне забезпечення системи спостережень і прогнозів; виявлення джерел і чинників забруднення, а також ступеня їх впливу; спостереження за встановленими джерелами надходження забруднюючих речовин в природне середовище і рівнем її забруднення; оцінка фактичного забруднення природного середовища; прогноз по забрудненню природного середовища та шляхи покращення ситуації.
Така система базується на даних галузевого і регіонального характеру, включає елементи цих підсистем; вона може охоплювати як локальні райони в рамках однієї держави (Національний моніторинг),так і Земну кулю в цілому (Глобальний моніторинг).
Еколого-аналітичний моніторинг забруднень в складі Єдиної державної системи екологічного моніторингу.З метою радикального підвищення ефективності робіт по збереженню і поліпшенню стану довкілля, забезпечення екологічної безпеки 24 листопада 1993 було прийнято постанову Уряду Російської Федерації № 1229 "Про створення Єдиної державної системи екологічного моніторингу" (ЕГСЕМ). Організація робіт зі створення ЕГСЕМ передбачає включення в сферу спостережень нових видів і типів забруднювачів і виявлення їх впливу на навколишнє середовище; розширення географії екологічного моніторингу за рахунок нових територій і джерел забруднень.
Головні завдання ЕГСЕМ:
- розробка програм спостереження за станом навколишнього природного середовища на території Росії, в її окремих регіонах і районах;
- організація спостережень і проведення вимірювань показників об'єктів екологічного моніторингу;
- достовірність і порівнянність даних спостережень як в окремих регіонах і районах, так і по всій території Росії;
- збір і обробка даних спостережень;
- зберігання даних спостережень, створення спеціальних банків даних, що характеризують екологічну обстановку на території Росії і в окремих її районах;
- гармонізація банків і баз екологічної інформації з міжнародними еколого-інформаційними системами;
- оцінка і прогноз стану об'єктів навколишнього середовища і антропогенних впливів на них, природних ресурсів, відгуків екосистем і здоров'я населення на зміну стану середовища проживання людини;
- проведення оперативного контролю і прецизійних вимірювань радіоактивного та хімічного забруднення в результаті аварій і катастроф, а також прогнозування екологічної обстановки та оцінка нанесеного природному середовищу шкоди;
- доступність інтегрованої екологічної інформації широкому колу споживачів, громадські рухи та організації;
- інформування органів управління про стан навколишнього середовища і природних ресурсів, екологічної безпеки;
- розробка і реалізація єдиної науково-технічної політики в області екологічного моніторингу.
ЕГСЕМ передбачає створення двох взаємопов'язаних блоків: моніторинг забруднення екосистем і моніторинг екологічних наслідків такого забруднення. Крім того, вона повинна забезпечити отримання інформації про вихідний (базовому) стані біосфери, а також виявлення антропогенних змін на тлі природному мінливості.
В даний час спостереження за рівнями забруднень атмосфери, грунту, вод і донних відкладень річок, озер, водосховищ і морів по фізичних, хімічних і гідробіологічними (для водних об'єктів) показниками проводяться службами Росгідромету. Моніторинг джерел антропогенного впливу на природне середовище та зони їх прямого впливу на тваринний і рослинний світ, наземну фауну і флору (крім лісів) ведуть відповідні служби Мінприроди. Моніторинг земель, геологічного середовища та підземних вод здійснюють підрозділи Комітету Російської Федерації по земельних ресурсів та землеустрою і Комітету Російської Федерації по геології і використанню надр.
У 2000 р в системі Росгідромету діяли 150 хімічних лабораторій, 41 кущова лабораторія для аналізу проб повітря в 89 містах з безлабораторним контролем. Спостереження за забрудненням атмосфери проводилися на 682 стаціонарних постах в 248 містах і селищах Російської Федерації, нічого не залишена без уваги і грунт на сільськогосподарських угіддях.
Поверхневі води суші контролюються на тисячу сто сімдесят п'ять водотоках і 151 водоймі. Відбір проб ведеться в 1892 пунктах (2604 створу). У 2000 р проведені аналізи 30 000 проб води по 113 показниками. Пункти спостережень за забрудненням морського середовища існують на 11 морях, що омивають територію Російської Федерації. В системі Росгідромету щорічно аналізують більше 3000 проб по 12 показникам.
Мережа станцій спостереження транскордонного переносу забруднюючих речовин орієнтована на західний кордон Росії. В даний час тут працюють станції Пушкінські гори і Пинега, якими проводиться відбір проб атмосферних аерозолів, газів і опадів.
Контроль за хімічним складом і кислотністю атмосферних опадів здійснюють на 147 станціях федерального і регіонального рівня. У більшості проб в оперативному порядку вимірюють лише величину рН. При відстеженні забруднень снігового покриву в пробах визначають також іони амонію, сульфатіони, бенз (а) пірен та важкі метали.
Система глобального атмосферного фонового моніторингу включає в себе три типи станцій: базові, регіональні і регіональні з розширеною програмою.
Створено також шість станцій комплексного фонового моніторингу, які розташовані в біосферних заповідниках: Баргузинском, Центрально-Лісовому, Воронезькому, Приоксько-Терасному, Астраханському і Кавказькому.
Для радіаційного моніторингу на території країни, особливо в районах, забруднених в результаті аварії в Чорнобилі та інших радіаційних катастроф, використовують стаціонарну мережу та пересувні засоби. За спеціальною програмою проводиться також аерогаммас'емка території Російської Федерації.
В рамках ЕГСЕМ створюється система оперативного виявлення забруднень, пов'язаних з аварійними ситуаціями.
Еколого-аналітичний моніторинг забруднень в складі ЕГСЕМ можна розділити на три великі блоки: контроль забруднень в зонах істотного антропогенного впливу, на регіональному рівні, на фоновому рівні.
Всі дані з зон з будь-яким рівнем впливу, як екстрені, так і узагальнені, через певні інтервали часу надходять в центр збору і обробки інформації. Для автоматизованої системи, що розвивається в даний час, первинної щаблем є локальна система, яка обслуговує окремий район або місто.
Інформація пересувних станцій і стаціонарних лабораторій про забруднення навколишнього середовища діоксинами і спорідненими сполуками обробляється, сортується і передається на наступний рівень - в регіональні інформаційні центри. Далі дані направляються зацікавленим організаціям. Третій рівень системи - головний центр даних, де узагальнюється інформація про забруднення природного середовища в масштабі країни.
Ефективність автоматизованих систем обробки еколого-аналітичної інформації помітно зростає при використанні автоматичних станцій контролю за забрудненням води і повітря. Локальні автоматизовані системи контролю забрудненням повітря створені в Москві, Санкт-Петербурзі, Челябінську, нижньому Новгороді, Стерлитамаке, Уфі та інших містах. Проводяться досвідчені випробування станцій автоматизованого контролю за якістю води в місцях скидання вод і водозаборах. Створені прилади для безперервного визначення оксидів азоту, сірки і вуглецю, озону, аміаку, хлору і летючих вуглеводнів. На автоматизованих станціях контролю за забрудненням води вимірюють температуру, рН, електропровідність, вміст кисню, іонів хлору, фтору, міді, нітратів і т.п.
Інформаційно-аналітичний блок моніторингу виконує його основну функцію, оскільки для прийняття обґрунтованих управлінських рішень відповідним органам важливим є аналіз і оцінка стану об'єкта і динаміки показників його діяльності. Ефективну інформаційно-аналітичну підтримку рішення необхідних завдань здатні забезпечити системи автоматизації аналітичної діяльності фахівців органів управління, організують процеси збору, зберігання і обробки інформації. Концепція такого роду систем для широкого класу керованих об'єктів повинно ґрунтуватися на сучасною технологією інтегрованих сховищ даних і поглибленого аналітичної обробки накопиченої інформації на базі сучасних інформаційних технологій.
Як уже зазначалося, традиційними і загальноприйнятими джерелами первинної інформації є статистична звітність, бухгалтерський та управлінський облік, фінансова звітність, анкетування, інтерв'ю, опитування і т.
Етап аналітичного і статистичного оброблення структурованої первинної інформації також кілька традиційних загальноприйнятих підходів. Виникнення цих підходів і системна інтеграція їх були зумовлені об'єктивною необхідністю автоматизації обліково-статистичних робіт з метою якомога точнішого, якісного і своєчасного відображення процесів, що протікають в аналізованої предметної області а також виявлення їх характерних тенденцій.
Автоматизація статистичних робіт отримала відображення в створенні і функціонуванні автоматизованих статистичних інформаційних систем: В 1970-х роках - автоматизованої системи державної статистики (АСДС), а з 1988 року - в проектуванні єдиної статистичної інформаційної системи (ЕСІС). Основним завданням цих розробок були збір і обробка обліково-статистичної інформації, необхідної для планування і управління народним господарством на базі широкого застосування економіко статистичних методів, засобів обчислювальної та організаційної техніки, систем зв'язку в органах державної статистики.
У структурно-територіальному аспекті АСДС була строго ієрархічної, мала чотири рівні: союзний, республіканський, обласний, районний (міський). На кожному рівні обробки інформації здійснювалося з метою реалізації завдань перш за все даного рівня.
У функціональному аспекті в АСДС виділяють функціональні і забезпечувальні підсистеми. Ці підсистеми, незалежно від змісту конкретних статистичних завдань, реалізовували функції збору і обробки статистичної інформації, комплексного статистичного аналізу, контролю над виконанням показників, отримання статистичних даних, необхідних для поточного і оперативного планування, своєчасного подання керівним органам всі необхідні статистичних даних. З точки зору користувача моніторингові завдання за своїм призначенням поділяються на:
регламентні задачі, пов'язані з обробкою даних статистичної звітності на відповідних структурно-територіальних рівнях АСДС;
завдання інформаційно-довідкового обслуговування; завдання поглибленого економічного аналізу.
Регламентні завдання пов'язані з обробкою даних статистичної звітності на рівнях АСДС. Кожна регламентна завдання, як правило, пов'язана з обробкою даних деякої конкретної форми статистичної звітності або декількох, тісно пов'язаних за змістом форм звітності. Рішення таких завдань здійснюється комплексами електронного обробки інформації, які являють собою сукупність програмних, технічних та організаційних засобів з використанням локальних масивів інформації.
Завдання інформаційно-довідкового обслуговування передбачають формування за запитами необхідних статистичних даних для оперативного складання доповідей, аналітичних записок та довідок, не регламентовані за змістом. їх рішення забезпечується за допомогою автоматизованого банку даних у вигляді системи накопичення, зберігання, пошуку, обробки і видачі інформації за запитами користувачів в потрібному вигляді.
Завдання поглибленого економічного аналізу засновані на використанні:
динамічних рядів (побудова полігонів, гістограм частот і кумулятивних ліній, підбір трендів з обраного класу функцій);
згладжування вихідного динамічного ряду, діагностика на основі обраного тренда і авторегрессионной моделі, аналіз залишків на автокорреляции і нормальність)
парної регресії (визначення рівнянь лінійної і нелінійної регресії, оцінка їх статистичних характеристик, відбір оптимальної форми зв'язку);
множинної регресії (визначення матриці парних коефіцієнтів кореляції, визначення рівнянь множинної лінійної регресії),
факторного аналізу (отримання лінійної моделі, описується невеликим числом факторів, розрахунок значень "навантажень на загальні фактори" і найзагальніших факторів, графічна інтерпретація факторів на площині і в просторі);
кореляційного аналізу (отримання кореляційних матриць, середніх і стандартних відхилень).
Організаційно-технологічна форма вирішення даного класу задач - аналітичні комплекси, що представляють собою сукупність пакетів прикладних програм, орієнтованих на реалізацію математико-статистичних методів. Для охоплення широких часових діапазонів аналізованих даних використовується реєстрова форма моніторингу на основі автоматизованих регістрів, що дозволяють зберігати і обробляти значні сукупності даних, організованих
у вигляді масивів, незалежних від структури статистичних звітів по кожному об'єкту або певної групою об'єктів моніторингу. Реєстрова форма моніторингу особливо ефективна для статистичної інформації, що характеризує відносно стійкі об'єкти, тому регістри можна розглядати як автоматизовану картотеку груп однорідних одиниць статистичного спостереження певного типу. Її застосування дає можливість користувачеві шляхом заповнення уніфікованого бланка запиту отримувати різні дані, що характеризують стан того чи іншого об'єкта.
Важливим напрямком удосконалення статистичного моніторингу стало забезпечення підвищення змістовності, достовірності і оперативності звітних даних на основі поєднання поточної звітності, одноразових обліків, вибіркових і монографічних обстежень, а також оптимізації потоків інформації. Особливий акцент зроблений на вдосконаленні економіко-математичних методів аналізу та прогнозування розвитку систем. Крім того, істотним прогресом в еволюції методів моніторингу послужило використання нових інформаційних технологій, а саме:
розробка комплексної технології обробки інформації при використанні банків даних та комп'ютерних мереж;
створення засобів комп'ютерного моделювання систем обробки даних;
розробка інтелектуалізованих типів інтерфейсу кінцевого користувача з комп'ютером на базі автоматизованих робочих місць, що передбачають використання експертних систем.
нові інформаційні технології істотно розширили можливість прямого автоматизованого доступу до необхідної статистичної інформації, урізноманітнило склад і зміст аналітичних робіт. З'явилася можливість інтеграції однієї статистичної інформаційної системи моніторингу з іншими інформаційними системами всіх рівнів управління каналами телекомунікаційних зв'язків.
Однак всі розглянуті методи аналітичного та статистичного оброблення даних мають істотний недолік. Вся сукупність даних обробляється в них як розрізнена безліч, через що відсутня їх системне єдність. Між тим чи іншим інформаційними потоками може бути встановлений лише штучний зв'язок шляхом об'єднання їх в певну звітну форму. Однак неможливо передбачити всі форми для всіх можливих явищ і зв'язків. Традиційні методи аналітичного та статистичного оброблення даних не враховують того, що між будь-якими явищами і подій існує природний зв'язок, заснований на універсальних, притаманних усім їм показниках. При наявності системи таких природних
зв'язків з'являється можливість зіставляти з даним явищем все пов'язані з ним в явному або неявному вигляді чинники, події, дані. Моніторингу, заснованому на такому підході, властива повнота охоплення причинно-наслідкових зв'язків факторів взаємовпливу прихованих тенденцій. Все це розглядається в нерозривній системній єдності.
Усунути вказаний недолік можна завдяки вельми поширеному останнім часом підходу до проблеми аналітичного і статистичного оброблення даних на основі новітньої технології OLAP - Online Analitical Processing (оперативний аналіз даних).
Термін OLAP позначає методи, які дають можливість користувачам баз даних в реальному часі генерувати описові та порівняльні відомості даних і отримувати відповіді на різні аналітичні запити. До визначальних принципів концепції OLAP відносяться:
багатовимірне концептуальне уявлення - бази даних OLAP повинні підтримувати багатовимірне представлення даних, передбачає класичні операції розбиття і обертання концептуального куба даних;
прозорість - користувачам не потрібно знати, що вони використовують базу даних OLAP. Для отримання ними даних і прийняття потрібних рішень вони можуть використовувати добре знайомі їм інструменти. їм також не потрібно що-небудь знати про джерело даних;
доступність - програмні засоби повинні самі вибирати і зв'язуватися з найкращим для формування відповіді на цей запит джерелом даних. Вони повинні забезпечувати автоматичне відображення своєї логічного схеми в різні гетерогенні джерела даних;
узгоджена продуктивність - продуктивність практично не повинен залежати від кількості вимірювань в запиті. Системні моделі повинні бути досить потужними, щоб впоратися з усіма змінами розглянутої моделі;
підтримка архітектури клієнт-сервер - кошти OLAP повинні бути в змозі працювати в клієнт-серверному середовищі, так як передбачається, що сервер багатовимірної бази даних повинен бути доступний з інших програм та інструментів;
рівноправність всіх вимірювань - кожне вимір даних має бути еквівалентно одночасно і за структурою, і за операційним можливостям. Основна структура даних, формули і формати звітів не повинні орієнтуватися на якийсь один вимір даних;
динамічне обробки розріджених матриць - типові багатовимірні моделі можуть з легкістю звертатися до великої безлічі
посилань на осередки, багато з яких не мають даних в якийсь конкретний момент. Ці відсутні значення повинні зберігатися ефективним чином і не виробляти негативного впливу на точність або швидкість вилучення інформації;
підтримка безлічі корістурачів - кошти OLAP повинні підтримувати і заохочувати роботу в групах та обмін ідеями і результатами аналізу між користувачами. Для цього дуже важливо наявність на багато користувачів доступу до даних;
підтримка операцій між різними вимірами. Все багатовимірні операції (наприклад, агрегація) повинні визначатися і бути доступними таким чином, щоб вони виконувалися одноманітно і узгоджено, незалежно від кількості вимірювань;
інтуїтивне управління даними - дані, що надаються користувачеві-аналітику, повинні містити всю інформацію, необхідну для ефективної навігації (формування зрізів, зміни рівня деталізації подання інформації) і виконання відповідних запитів;
гнучке формування звітів - користувач має мати можливість отримувати будь-які необхідні йому дані і формувати їх в будь-якому необхідному йому вигляді;
необмежені вимірювання і рівні агрегації - не повинно обмежень по кількості підтримуваних вимірювань.
Використання систем, заснованих на технології OLAP, дає можливість:
організувати єдиний інформаційний сховище, засноване на даних статистичної та іншої звітності;
забезпечувати простий і ефективний доступ до інформації сховища з розмежуванням прав доступу
забезпечити можливість оперативного аналітичної обробки даних, що зберігаються, проведення статистичного аналізу;
упорядкувати, стандартизувати і автоматизувати створення форм аналітичних звітів з відображенням даних в заданому вигляді.
Головною відмінною рисою і важливою перевагою багатовимірного представлення даних в порівнянні з традиційними інформаційними методиками є можливість спільного аналізу великих груп параметрів у взаємній зв'язку, що важливо при вивченні складних явищ.
Технологія OLAP помітно скорочує час збору і аналізу первинної інформації, необхідної для прийняття рішень в тій чи іншій сфері людської діяльності, а також підвищує наочність і інформативність звітів про процеси та явища, що відбуваються в цих сферах.
OLAP-системи дозволяють накопичувати великі обсяги даних, що збираються з різних джерел. Така інформація зазвичай
Перш ніж створювати таку систему, слід розглянути і з'ясувати три основних питання:
дані накопичувати і як на концептуальному рівні моделювати дані і управляти збереженням їх; як аналізувати дані;
як ефективно завантажити дані з декількох незалежних джерел.
Ці питання можна співвіднести з трьома основними компонентами системи підтримки прийняття рішень: сервер сховища даних, інструментарій оперативного аналітичної обробки даних і інструменти для поповнення сховища даних.
Оскільки організація інформаційних сховищ є предметом інших дисциплін, розглянемо лише питання аналітичної обробки даних. В даний час існує ряд засобів OLAP, які можна використовувати для аналізу інформації. Це такі програмні продукти як MicroStrategi 7 і, WebIntelligence, Cognos Powerplay, AlphaBlox тощо. Зробимо огляд зазначених продуктів, грунтуючись на таких критеріях:
зручність користування - програмний продукт повинен бути досить простим для користувача, який не має спеціальної підготовки;
інтерактивність - програмний засіб має реалізовувати інтерактивні можливості, в тому числі: перегляд документів, динамічне оновлення наявних документів, забезпечує доступ до останньої інформації, динамічне виконання запитів до джерел даних, динамічне необмежену "поглиблення в дані";
функціональність - додаток повинен забезпечувати такі ж можливості, як і традиційні клієнт / серверні аналоги;
доступність - інформація повинна бути доступною для будь-якого пристрою і робочого місця, а клієнтська частина - бути невеликою, щоб задовольнити різним рівням пропускної здатності мережі користувача і відповідати стандартизованої технології;
архітектура - це критерій характеризує аспекти програмної реалізації продукту;
незалежність від джерел даних - додаток повинен забезпечувати доступ до документів будь-якого типу і надавати інтерактивний доступ до реляційних і багатовимірних баз даних,
продуктивність і масштабованість - для забезпечення продуктивності і масштабованості додатки необхідно реалізувати можливості універсального доступу до баз даних, можливість кешування сервером даних тощо;
забезпечення безпеки - аспекти адміністрування додатків для надання різних прав доступу різних категорій користувачів;
вартість впровадження і адміністрування - вартість впровадження продукту OLAP в розрахунку на одного користувача має бути істотно нижче, ніж для традиційних продуктів.
MicroStrategi 7 і : -Набір програмних продуктів з широким діапазоном функцій, побудований на уніфікованої серверній архітектурі. Користувача середу реалізовано в Місго- Strategi Web Professional.
Користувачам пропонується ряд статистичних, фінансових і математичних функцій для комплексного OLAP і реляційного аналізу. Для всіх користувачів передбачений доступ як до агрегированной, так і до детальної інформації (на рівні транзакцій). Можна виконувати нові обчислення, фільтрувати дані звіту, обертати і додавати проміжні сумарні значення, оперативно змінювати зміст звіту.
Основні функціональні можливості досягаються за рахунок наступних засобів:
MicroStrategi 7 і OLAP Services - інтерфейс до продуктів "третіх" фірм;
технологія Intelligent Cube - спрощує виконання аналізу і розгортання, надаючи зведену інформацію для швидкого перегляду в інтерактивному режимі;
MicroStrategi Narrowcaster - дає користувачам можливість пересилати показники або платити їх через Web- інтерфейс. Користувачі можуть пересилати електронною поштою свої звіти, планувати пересилання звітів, публікації їх для робочих груп і експортувати в Excel, PDF або HTML-формати.
У цьому продукті забезпечується міжплатформенних підтримка та інтеграція, переносимість в Unix, підтримка серверів додатків "третіх" фірм.
В основі продукту лежить XML-архітектура. Користувачі можуть інтегрувати XML-код, створений в MicroStrategi Web, в свої додатки, або форматувати його потрібним чином.
Тонкий клієнт, реалізований у форматі HTML, усуває проблеми сумісності з браузерами, розгортається через всі засоби мережевого захисту. Вид і функції програми можна налаштувати під конкретні потреби. Можна вбудовувати MicroStrategi Web в інші програми, що працюють в мережі.
Комп'ютери, на яких працює MicroStrategi Web, можна об'єднувати в кластери, забезпечує масштабованість і надійність. Передбачено додавання додаткового обладнання. якщо
трапляється збій при виконанні завдання, воно передається на інший комп'ютер з того самого кластера.
Дані захищені на рівні осередків з використанням фільтрів захисту і списків управління доступом. Безпека Web-трафіку забезпечується технологією шифрування даних на транспортному рівні - SSL (Secire SocxeT Level - рівень захищених сокетів).
WebIntelligence -Web-продукт для створення запитів, звітів і аналізу даних. Надає користувачам мережі (як Intranet, так і Extranet) захищений доступ до даних для подальшого дослідження їх і управління ними. Він робить аналітичні можливості доступними для різних категорій користувачів. Забезпечено широкий набір засобів бізнес-аналізу, в тому числі створення складних звітів, виконання обчислень, фільтрація, деталізація і агрегація.
Weblntelligence забезпечує наступні можливості:
форматування і друк звітів в режимі візуального проектування;
багатоблокові звіти. У складних звітах для передачі вичерпної інформації іноді необхідно розмістити відразу декілька таблиць або діаграм. Для цього в WebIntelligence передбачена можливість додавання декількох блоків і діаграм в один звіт;
можливості деталізації даних в інтерактивному режимі.
Продукт забезпечує ряд функцій:
доступ до даних, які зберігаються як в традиційних реляційних базах, так і на OLAP-сервері;
функції аналізу даних;
можливість спільного використання інформації. WebIntelligence є "тонким" клієнтом, не вимагає установки і супроводу програмного забезпечення додатків або проміжного програмного забезпечення баз даних на клієнтському місці. При установці клієнтської частини передбачена можливість вибору технології. Забезпечується розгортання на платформах Microsoft Windows і Unix.
За допомогою WebIntelligence можна досліджувати і аналізувати різні OLAP-джерел даних, а також спільно використовувати OLAP і реляційні дані.
Продукт налаштовується таким чином, щоб найбільшою мірою відповідати корпоративній структурі будь-якого об'єкта.
WebIntelligence може виконуватися як на одному сервері, так і на декількох NT або Unix-машинах. Сервери можна додавати в систему в міру необхідності, якщо трапляється збій на одному з компонентів, автоматично використовується інший. Виважена балансування навантаження між декількома серверами оптимізує системні ресурси і гарантує короткий час відгуку.
Weblntelligence використовує різні технології захисту інформації. При необхідності компоненти позначаються за допомогою технології цифрових сертифікатів. Для роботи з різними системами мережевого захисту використовується протокол передачі гіпертексту.
Додаток має стандартний Web-інтерфейс. Підтримуються основні можливості (вибірка даних із заданими вимірами і значеннями, "поглиблення" в дані, вкладені перехресні таблиці, обчислення, включення / відключення відображення рядків, стовпців і графіків; фільтри, сортування) для перегляду, дослідження, звітності та публікації OLAP-даних в інтерактивному режимі.
Cognos Powerplay забезпечує виконання таких функцій: застосування HTML / JavaScript, яке надає універсальний доступ для користувача, що працює з Netscape Navigator версії 3.0 і вище або Microsoft Internet Explover;
доступ до OLAP-даних будь-якого користувача об'єкта; створення і публікація ВРМ-звітів (Business Performance Management - управління ефективністю бізнесу) у вигляді PDF- документів для Cognos Upfront порталу, завдяки чому користувачі мають доступ до найважливіших корпоративних даних в середовищі Web;
перетворення даних з PDF-формату на динамічні звіти, їх подальше дослідження і передачі результатів на Upfront;
сервер підтримує роботу з платформами: Windows NT, Windows 2000 і вище, SUN Solaris, HP / UX, IBM AIX.
Завдяки підтримці протоколу SSL PoverPlay гарантує захищеність даних, направляються через Web. Крім того, задаючи класи користувачів, системні адміністратори можуть контролювати доступ їхніх як до локальних кубів, так і в оболонці Web- порталу. Ці класи зберігаються в спеціальному, доступному за протоколом LDAP (Light Directory Access Protocol - полегшений протокол доступу до мережевого каталогу), програмному компоненті, який відповідає за централізоване управління безпекою всієї системи, а також за інтеграцію з поточним захистом.
Використання HTML для реалізації клієнтських місць передбачає функціонування сервера PoverPlay в захищеному середовищі. Тим самим забезпечується безпечне розгортання додатків для клієнтів, партнерів і постачальників.
AlphaBlox - сполучна програмне забезпечення, яке надає інструментарій та компонувальні блоки для роботи в Web. Завдяки цьому усуваються складності, пов'язані із захистом мережевих з'єднань з базами даних, авторизацією і форматуванням даних Аналітична платформа AlphaBlox реалізована на основі стандартизованої І2ЕЕ-сумісної архітектури.
Продукти AlphaBlox спроектовані для проведення аналітичних обчислень всередині і поза об'єктом.
Особливий інтерес представляють Java-компоненти (Віох). З цих компонентів можна створити аналітичний Web-додаток. Одна з трудомістким завдань при створенні Web-продукту OLAP - відображення і форматування даних в браузері. Дуже часто дані потрібно показувати як таблицю або діаграми. При створенні програми з використанням AlphaBlox в нього можна вставити будь-яку кількість таких Java-компонентів і налаштувати їх для вирішення потрібних завдань шляхом завдання певних параметрів аплетів, тим самим контролюючи вигляд і функції компонентів. Цей програмний продукт забезпечує наступні можливості: доступ до інформації - дані витягуються з різних реляційних і багатовимірних баз даних;
запити і аналіз - компоненти виконують прості і складні запити до різних джерел даних, при цьому не потрібно програмування на CQL;
уявлення - можливість представлення даних в різних форматах (у вигляді звітів, таблиць, діаграм).
Java-компоненти мають модульну структуру і можуть використовуватися багаторазово. їх можна застосовувати при реалізації аналітичних можливостей для безлічі бізнес-функцій. Оскільки вони управляються набором параметрів, їх властивості можна змінювати за допомогою текстового редактора. Це забезпечує гнучкість при розробці та модернізації аналітичного рішення. Компоненти можна налаштовувати для задоволення певних бізнес-вимог і повторно використовувати, впроваджуючи додаткові додатки в інших сферах діяльності. Розробники додатків можуть писати додатковий код на JSP, JavaServlets або мовою JavaScript.
AlphaBlox-рішення використовують сервіси, що надаються сервером додатків і середовищем Java Runtime Environment (JRE), будь-які Java-розширення або замовні розширення, розроблені для цієї платформи.
Структура додатків AlphaBlox грунтується на стандартах і допускає інтеграцію з наявними операційними системами, транзакційні інфраструктурою, з традиційними системами. Забезпечується призначений для користувача доступ до даних з різних джерел і подальший аналіз їх.
AlphaBlox використовує стандартні ресурси і можливості сервера додатків, в тому числі http-обробки / кешування і управління памьятпо / процесами, а також інтеграцію з Web-серверами. Крім того, 12ЕЕ-сумісна архітектура усуває зайве оновлення сторінок і дозволяє виконувати основну логіку на сервері.
AlphaBlox використовує ту ж модель захисту, і сервер додатка, реалізовану за допомогою стандартних функцій платформи J2EE. За рахунок цього усувається необхідність в створенні незалежної моделі механізму захисту.
Простота розгортання - одне з головних переваг Web- додатки. Це в повній мірі стосується додатків AlphaBlox. Однак для них потрібні певні версії браузерів і Java платформи, тоді як тонкий HTML-клієнт працює в більшості браузерів.
Оперативний аналіз даних на базі технології OLAP дозволяє аналітикам, менеджерам і виконавцям вникнути в дані, використовуючи фіксований, загальний, інтерактивний доступ до широкого розмаїття можливих форматів даних, які були отримані з необроблених даних, щоб відобразити реальний стан об'єкта у вигляді, зрозумілому користувачам. Функціональність OLAP характеризується динамічним багатовимірним аналізом зведених даних об'єкта, необхідних для підтримки кінцевого користувача аналітичними діями, включаючи обчисленням і моделюванням, які можуть застосовуватися до даних шляхом аналізу тренду над послідовними інтервалами часу, виконання зрізу ггідмножіни даних для перегляду на екрані, зміни рівня деталізації подання інформації в більш глибоких рівнів узагальнення тощо.
OLAP-засоби зосереджені на забезпеченні багатовимірного аналізу інформації. Для досягнення цього використовуються багатовимірні моделі зберігання і представлення даних. Дані організовані в кубах (або гіперкубах), визначених в багатовимірному просторі, складається з окремих вимірювань. Кожен вимір включає безліч рівнів деталізації. Типові операції OLAP включають операції зміни рівня деталізації подання інформації (просування вгору і вниз по ієрархії вимірів), вибору певних частин куба і переорієнтації багатовимірного представлення даних на екрані (отримання зведеної таблиці).
Для баз даних OLAP розроблений еталонний тест АРВ-1. Цей тест моделює реальну ситуацію для серверного програмного забезпечення OLAP. Стандарт визначає набір вимірювань, які визначають логічну структуру. Логічна структура бази даних складається з шести вимірювачів: час, сценарій, міра, продукт, замовник і канал. Еталонний тест не передбачає конкретної фізичної моделі: вхідні дані забезпечуються в форматі файлів ASCII. Операції тесту ретельно моделюють стандартні операції OLAP над великими обсягами даних, які послідовно завантажуються з внутрішніх або зовнішніх джерел. Дані операції включають агрегацію інформації, деталізацію даних по ієрархії, обчислення нових даних, заснованих на бізнес-моделях тощо.
Розглянуто можливості технології OLAP є основою організації і багатовимірного аналізу моніторингової інформації. Розглянемо етапи цього процесу.
Перш ніж завантажити інформацію в багатовимірну базу даних моніторингу (ББД), її слід витягти з різних джерел, очистити, перетворити і консолідувати (рис. 1.3). Надалі ціЬ інформацію треба періодично оновлювати.
Мал. 1.3.
Витяг даних - це процес вибірки даних з операційних баз даних і інших джерел. Аналіз наявних джерел інформації показує, що більша частина їх представлена \u200b\u200bу вигляді табличних даних, отриманих або в електронному або в друкованому вигляді. Сучасні засоби сканування та розпізнавання зображень дозволяють практично повністю автоматизувати цей етап підготовки даних.
Перш ніж заносити інформацію в базу даних, обов'язково потрібно виконати її очищення. Зазвичай очищення передбачає заповнення відсутніх значень, коригування помилок і інших допущених при введенні даних помилок, визначення стандартних скорочень і форматів, заміну синонімів стандартними ідентифікаторами тощо. Дані, які визначаються як помилкові і не можуть бути виправлені, відкидаються.
Після очищення даних необхідно перетворити всю отриману інформацію в формат, який буде відповідати вимогам використовуваного програмного продукту (OLAP-сервера). Процедура перетворення набуває особливої \u200b\u200bважливості, коли необхідно об'єднати дані, що надійшли з кількох різних джерел. Цей процес називається консолідацією.
Етап завантаження інформації в ББД полягає в створенні необхідної структури даних і заповненні її інформацією, отриманою на попередніх етапах підготовки даних.
Витяг інформації з ББД дозволяє здійснювати Microsoft SQL Server Analysis Services, яка є одночасно постачальником як багатовимірних даних (multidimensional data provider), так і табличних даних (tabular data provider). Таким чином, виконання запиту повертає або багатовимірний набір даних, або звичайну таблицю залежності від використовуваної мови запитів. Analysis Services підтримує як SQL, так і розширення MDX (multidimensional expressions).
SQL-запити можуть передаватися в Analysis Services, використовуючи такі засоби доступу до даних:
Microsoft OLE DB і OLE DB для OLAP;
Microsoft ActiveX Data Objects (ADO) і ActiveX Data Objects Multidimensional (ADO MD).
OLE DB для OLAP розширює можливості OLE DB, включаючи об'єктами, специфічними для багатовимірних даних. ADO MD розширює ADO аналогічним чином.
Microsoft SQL Server Analysis Services дозволяє виконувати залити з MDX-розширеннями, які забезпечують багатий і потужний синтаксис запитів для роботи з багатовимірними даними, збереженими OLAP-сервером в кубах. Analysis Services підтримує функції MDX для визначення обчислюваних полів, побудови локальних кубів даних та виконання запитів, використовуючи компонент зведених таблиць (Pilot Table Services).
Можливе створення призначених для користувача функцій, які працюють з багатовимірними даними. Взаємодія з ними (передачі аргументів і повернення результату) відбувається з використанням синтаксису MDX.
Analysis Services забезпечує більше 100 вбудованих MDX- функцій для визначення складних обчислюваних полів. Ці функції поділяються на такі категорії: робота з масивами; робота з вимірами; робота з ієрархіями; робота з рівнями ієрархій; логічні функції; робота з об'єктами; числові функції; робота з наборами; робота з рядками; робота з кортежами.
Можливе створення локальних кубів, призначених для перегляду на комп'ютерах, де встановлено OLAP-сервера. Створення локальних кубів вимагає використання MDX-синтаксису і проходить через компонент зведених таблиць (Pilot Table Services), який є OLE DB-клієнтом OLAP-сервера. Цей компонент також робить автономну роботу з локальними кубами при відсутності з'єднання з OLAP-сервером, надаючи інтерфейс джерела даних OLE DB. Для створення локальних кубів використовують оператори CREATE CUBE і INSERT INTO.
Мова запитів MDX, яка є розширенням SQL, дозволяє здійснювати запити кубів з даними і повертати результат у вигляді багатовимірних наборів даних.
Так само, як і в звичайному SQL, творець MDX-запиту повинен спочатку визначити структуру набору даних, повертається. У більшості випадків творець MDX-запиту уявляє собі повернутий набір даних у вигляді багатовимірних структур. На відміну від звичайного SQL-запиту, який оперує з таблицями для отримання двомірного набору записів, MDX-запит має справу з кубами для формування багатовимірного результативного набору даних. Слід зазначити, що MDX-запит може повертати і двовимірні набори даних, які є окремим випадком багатовимірного набору даних.
Візуалізація багатовимірних наборів даних може бути досить важкою. Один з методів візуалізації полягає в обмеженні подачі плоскою, двомірної таблиці, використовуючи безліч вкладених вимірювань вздовж однієї осі. Така вкладеність призведе до появи підзаголовків.
Pilot Table Services, яка входить до складу Microsoft SQL Server Analysis Services, є OLAP-сервером, призначеним для отримання доступу до даних OLAP. Цей компонент функціонує як клієнт Analysis Services.
Функції Pilot Table Services полягають в аналізі даних, побудові кубів і в оптимальному управлінні пам'яттю. Компонент надає інтерфейс до багатовимірних даних. Можливо збереження даних в локальному кубі на комп'ютері клієнта і подальший аналіз без підключення до OLAP-сервера. Pilot Table Services потрібен для виконання наступних завдань:
встановлення з'єднання з OLAP-сервером як клієнтським компонентом;
надання програмам інтерфейсу OLE DB з OLAP- розширеннями;
функціонування в якості табличного джерела даних, підтримує підмножина SQL;
функціонування в якості багатовимірного джерела даних, підтримує MDX-розширення;
створення локального куба даних;
функціонування в якості мобільного настільного OLAP- клієнта.
Компонент зведених таблиць може працювати тільки з одним локальним розділом куба. Також в ньому немає вбудованої системи управління рівнями надання інформації. Тому продуктивність Pilot Table Services прямо пропорційна обсягу даних, до яких він адресується.
Слід зазначити, що OLAP-інтерфейс простий і вимагає знань не більше, ніж електронна таблиця. OLAP дозволяє використовувати різні форми звітів, інтерфейс інтерактивного аналізу даних і можливість генерації друкованих форм. Однак у порівнянні з традиційними способами програмування і генерації призначених для користувача звітів OLAP не тільки в сотні разів зменшує витрати на програмування, але і змінює сам принцип роботи користувача зі звітом.
Відмінність OLAP як інструменту генерації звітів полягає в можливості автоматичного й інтерактивного виконання таких операцій з даними:
рекурсивного угруповання даних; обчислення проміжних підсумків по підгрупах; обчислення остаточних підсумків.
Команди на виконання цих операцій даються самим користувачем. Як елементи управління виступають розділи використовуваної таблиці. Коли користувач змінює форму звіту (наприклад, переміщує стовпчики), система виконує розрахунки проміжних підсумків і відображає новий звіт.
Додатково користувач може змінити сортування і виконати фільтрацію по довільним поєднаннями даних, побачити дані в процентному вираженні, змінити масштаб і виконати інші необхідні перетворення звіту (ці можливості не є неодмінним атрибутом технології OLAP, а залежать від конкретної реалізації інструменту).
В результаті користувач може самостійно, інтуїтивно зрозумілим йому способом з наявного набору даних сформувати всі можливі для цього набору види звітів. Це допомагає подолати одвічний обмеження інформаційних систем, яке полягає в тому, що потужність інтерфейсів завжди нижче потужність бази даних.
Технологія OLAP дозволяє реалізувати практично всі можливі види табличного зображення вмісту бази даних. Якщо продукт досить гнучкий, то завданням програміста є опис семантичного шару (словника), після чого кваліфікований користувач може самостійно створювати нові куби, оперуючи термінами відомої йому предметної сфери. Решта користувачів можуть формувати звіти по кожному кубу.
Таким чином, технологія OLAP служить як розробникам, так і користувачам у всіх тих випадках, коли потрібно бачити інформацію у формі табличних звітів, в яких дані згруповані, а для груп обчислено підсумкові показники.
Досвід показує, що недостатньо надати користувачам великий куб, що складається з безлічі вимірів і фактів. Це обумовлено наступними причинами.
По-перше, в кожен момент користувачеві потрібен цілком певний звіт.
По-друге, деякі алгоритми обчислення підсумків описуються складними формулами, а користувач може не володіти достатньою кваліфікацією для їх визначення.
По-третє, OLAP-звіт може мати специфічну, задану автором звіту методику розрахунку підсумків, розташування вимірювань і початкових умов сортування.
По-четверте, у багатьох випадках зрозуміти дані простіше, якщо дивитися не на таблицю з цифрами, а на діаграму. Для настройки OLAP-діаграми іноді потрібно мати непогану просторову уяву, оскільки куб з безліччю вимірів потрібно відобразити як набір фігур або ліній в тривимірному малюнку. Кількість властивостей сучасних графічних компонентів обчислюється тисячами, тому попереднє налаштування діаграми або графіка для OLAP-звіту може зайняти багато часу.
По-п'яте, як і для будь-якого іншого звіту, для OLAP-звіту важливо його ефектне оформлення, що включає налаштування заголовків і підписів, квітів і шрифтів.
Таким чином, для комфортної роботи користувача OLAP-звіт повинен містити певний набір прикладних метаданих, що описують алгоритми агрегації, попередні умови фільтрації і сортування, заголовки і коментарі, правила візуального оформлення.
При візуалізація інформації багатовимірного куба значущим фактором є впорядкування вимірювань згідно їх схожістю. Основна ідея полягає в тому, що вимірювання, які характеризують схожі параметри, розташовуються поруч. Для визначення подібних вимірів застосовують різні методи кластеризації, зокрема, можна використовувати евристичні алгоритми.
Описана інформаційно-аналітична технологія не є єдино можливою. Але всі вони розвитком Business intelligence (ВІ), призначенням якої є збір, систематизація, аналіз та подання інформації. Вибір конкретної інформаційно-аналітичної технології залишається за користувачем з урахуванням особливостей об'єкта предметної сфери.
