Презентация на тему Технологии анализа данных

(явления, процесса)
Объяснение на основе выявленной зако-номерности поведения социального объекта

Предсказание его поведения в будущем

Цели анализа данных

массивов необработанных данных в целях выявления скрытых закономернос-тей и

Интеллектуальный анализ данных

зна-ний, нацеленная на «раскопку» полезных данных в больших массивах

Data Mining можно отнести следующие:
⮊ искусственные нейронные сети
⮊ деревья

⮊ кластерный анализ

⮊ поиск ассоциативных правил

⮊ эволюционное программирование (генетические алгоритмы)

⮊ методы визуализации данных

и множество других…

Использование выявленных закономерностей для предсказания неизвестных

 Анализ исключений, для выявления и толкова- ния аномалий в найденных закономерностях

Классификация стадий Data Mining

данных и преобразование ее в некото-рые формальные конструкции, обуславливающие

Состоит из следующих действий :

⮊ выявление закономерностей условной логики

⮊ выявление закономерностей ассоциативной логики

⮊ выявление трендов и колебаний

применяются индукции правил условной логики для классификации и кластеризации (описание в компактной форме близких или схожих групп объектов)

установление логических ассоциаций для последователь-ного извлечения при их помощи полезной информации

сбор исходных данных для задачи прогнозирования

прогнозирования новых результа-тов, основанного на анализе прецедентов
Состоит из следующих

⮊ предсказание неизвестных значений

⮊ прогнозирование развития процессов

Т.о. можно получить новое знание о некотором объекте или же группе объектов на основании:

❶ знания класса, к которому принадлежат исследуемые объекты

❷ знания общего правила, действующего в пределах данного класса объектов

в найденных на предыдущих стадиях закономерностях
Найдено правило - "Если

Пример:

Возникает вопрос - к чему отнести оставшиеся 10 % случаев?

Возможны два варианта:

❶ существует некоторое логическое объяснение, которое также может быть оформлено в виде нового правила

❷ оставшиеся 10% - это ошибки исходных данных, следует исправить (очистить) первичные данных

тельной информации о природе связей;
⮊ при необходимости учета и

Используется:

⮊ корреляционный и регрессионный анализ;

⮊ факторный и дискриминантный анализ;

⮊ исчисление индексов и коэффициентов;

⮊ анализ временных рядов и др.

Реализуется:

⮊ программный пакет Statistica;

⮊ программный пакет SyStat;

⮊ программный пакет Stadia;

и др.

Разведочный анализ данных

при-нципах обучения мыслящих существ и функциони-рования мозга, что позволяет

С точки зрения реализации:

Компьютерная программа, результат работы кото-рой зависит от результата функционирования боль-шого количества однотипных элементов – нейронов (подпрограмм), обладающих некоторыми свойствами и признаками

Использование нейронных сетей

( ∑ Wi*Xi )

Принцип функционирования нейронов

пакет NeurOn-line
⮊ NeuralWorks Professional II/Plus
⮊ FOREX-94
и др.
GENSYM
NeuralWare
Уралвнешторгбанк

Инструментальные средства

в виде ориентированного графа
Вершины графа – существенные факторы, определяющие

Дуги графа – непосредственные причинно-следственные отноше-ния между факторами

Когнитивное моделирование

граф (когнитивная карта)
Взвешенный граф
Функциональный граф

Особенности структурного представления

от:
⮊ содержания и сложности построения документа
⮊ условий, целей и

⮊ научной квалификации, богатства опыта и твор- ческой интуиции исследователя

Анализ текстовых документов

Анализ документов позволяет выявить определен-ные особенности, свойства и взаимосвязи тех или иных явлений и процессов, специфику включения в них различных субъектов социально-экономической и политической жизни, проследить динамику их раз-вития.

документ официальным
⮊ является ли документ личным или безличным
⮊ подвергался

⮊ тенденциозный характер документа (биографии, мемуары и т.п.)

Оценка надежности документальной информации

следующим направлениям:
❶ классификация
❷ кластерный анализ
❸ семантическое сжатие текста
❹ построение

Информационно-аналитическая обработка текстов

разделении понятий «тема» и «проблема»
Тема более простая и устойчивая

Проблема более сложная, меняющаяся со време- нем и обстоятельствами лексическая конструкция, синтезируемая из темати- ческих категорий

Классификация текстовых документов

проблемно-тематическую навигацию по информационным фондам
❹ интерпретацию содержания

обладает свойствами:

❶ тематическая полнота, обеспечивающая соот- несение документа соответствующим рубрикам

❷ временная устойчивость, дающая возможность ретроспективного сопоставительного анализа текстов

❸ компактность представления

Система рубрицирования

компактных под-групп документов с близкими свойствами
Различают два основных типа

❶ иерархический

❷ бинарный

построение дендритной структуры, выраженной деревом кластеров, содержащих близкие по смыслу группы доку- ментов

группировка и просмотр документальных кластеров по ссылкам подобия, основанных на весах и определяемых ключевых словах

Кластерный анализ подборок текстовых документов

смыслового содержания текста для выделения све-дений об известных объектах,

❷ автоматическое реферирование текстов

квазирефераты – последовательность извлеченных фраг-ментов текста, наиболее репрезентативно представляю-щих содержание документа

❸ построение гипертекстовых структур

рефераты-клише – набор извлеченных из текста наиболее информативных слов, которые вставляются в заготовлен-ные шаблоны

Семантическое сжатие текста