Презентация на тему Принципы проектирования интеллектуальных веб-приложений. (Лекция 7, 8)

Google

Учитывает Ваши кулинарные предпочтения и предлагает заказ в зависимости

от этого;
- Анализирует похожие меню и предлагает Вам то, что Вы никогда не заказывали

2)Социальная сеть (способность делать логические выводы)
- Проверяет достоверность исторических фактов
- Проверяет достоверность Ваших высказываний в предыдущих сообщениях
- Проверяет достоверность событий Вашей жизни

оценки ссылок

2. Amazon – рекомендации на основе образцов сделанных

пользователем покупок

3. Netflix – интернет-служба видео-проката, 7 000 000 пользователей, 90 000 DVD дисков, 5 000 фильмов и телепередач
(система выработки рекомендаций Cinematch – спрогнозировать понравится ли пользователю фильм на основе его отзывов о других фильмах)

4.Трейдеры – прогнозирование тенденций рынка на основе мнений членов сообщества.

большой объем данных для конкретного приложения.
- динамический;
рассредоточен географически;
каждый

фрагмент информации связан или ссылается на множество других фрагментов информации.

2)Ссылочные структуры (reference structures) – эти структуры обеспечивают одну или несколько структурных и семантических интерпретаций контента.
Словари, базы знаний и онтологии.

3) Алгоритмы (algorithms) – этот элемент относится к слою модулей, позволяющих приложению задействовать информацию, скрытую в данных, и использовать ее в целях абстракции (обобщения), предсказания и (со временем) улучшенного взаимодействия с их пользователями.

(от англ. mash-up — «смешивать») — это веб-приложение — это веб-приложение,

объединяющее данные из нескольких источников в один интегрированный инструмент; например, при объединении картографических — это веб-приложение, объединяющее данные из нескольких источников в один интегрированный инструмент; например, при объединении картографических данных Google Maps — это веб-приложение, объединяющее данные из нескольких источников в один интегрированный инструмент; например, при объединении картографических данных Google Maps с данными о недвижимости — это веб-приложение, объединяющее данные из нескольких источников в один интегрированный инструмент; например, при объединении картографических данных Google Maps с данными о недвижимости с Craigslist получается новый уникальный веб-сервис, изначально не предлагаемый ни одним из источников данных.

Архитектура веб-мэшапов:
1. Провайдер содержимого 
2. Мэшап-сайт
3. Браузер клиента 

веб-мэшапов – всегда 3 части:

Провайдер содержимого — это источник данных.

Данные доступны через API и различные веб-протоколы, такие как RSS, REST и веб-сервисы.

Мэшап-сайт — это веб-приложение, предлагающее новый сервис, использующий не принадлежащие ему источники данных.

Браузер клиента — собственно пользовательский интерфейс мэшапа.
В веб-приложениях содержимое может быть «замэшаплено» клиентским браузером с использованием клиентского языка программирования, например JavaScript.

Чикаго есть мэшап, который интегрирует базу данных департамента о

преступлениях с Google Maps для того, чтобы остановить преступность в областях и предупредить жителей о том, где часто совершаются преступления.
2)видео2)видео и фото,
Flickr — это хранилище данных изображений, позволяющее пользователям организовывать свою коллекцию изображений и обмениваться ими. Используя API Flickr, данные могут быть использованы для создания мэшапов.
3)поиск3)поиск и шоппинг,
Travature — это портал о путешествиях, интегрирующий движок — это портал о путешествиях, интегрирующий движок метапоиска авиаперелётов, гиды о путешествиях и обзоры отелей. Портал позволяет пользователю обмениваться фотографиями и обсуждать свой опыт с другими пользователями.
4)новости
Digg. Мэшап различных новостных веб-сайтов, практически полностью контролируемый пользователями ресурса.

контенту, который рассредоточен по Интернету или, если речь идет

о корпоративной локальной сети, по интранету.

Новостной портал Google News - собирает новостные сообщения из тысяч источников и автоматически группирует похожие сообщения под общим заголовком.
Каждая группа новостных сообщений отнесена к одной из новостных категорий, доступных по умолчанию, например Business (Бизнес), Health (Здоровье), World (Мир), Sci/Tech (Наука и техника).
Есть возможность создавать категорию.

хранилище знаний. Вики-сайты используются социальными сообществами в Интернете и

внутри корпораций в целях обеспечения общего доступа к знаниям.

5)Сайты общего доступа к медиафайлам
YouTube, RapidShare,MegaUpload
Особенность этих сайтов в том, что большая часть их контента представлена в двоичном формате, – это видео- или аудиофайлы.
В большинстве случаев размер наименьшей информационной единицы на этих сайтах превышает размеры, характерные для сайтов-агрегаторов, обрабатывающих текстовые данные.
Объем данных, которые необходимо обработать, составляет одну из самых больших проблем в контексте накопления интеллекта.

6)Онлайн-игры

Результат анализа – области, в которых интеллектуальный компонент добавит

ценность в приложение

2) Анализ данных
Внутренние и внешние данные

собранный из разных источников?
Есть ли в приложении технологические процессы,

реализованные с помощью «мастеров» (wizard)?
Имеет ли приложение дело с текстом на естественном языке?
Включает ли приложение создание отчетов какого-либо рода?
Имеет ли приложение дело с географическими объектами, такими как карты?
Предоставляет ли приложение функциональные возможности поиска?
Используют ли ваши пользователи контент совместно?
Важно ли для приложения обнаружение мошенничества?
Важна ли для приложения верификация идентичности?
Принимает ли приложение решения автоматически, основываясь на правилах?

применения метода ранжирования
Ранжирование – это расположение объектов в порядке

возрастания или убывания какого-либо присущего им свойства. Ранжирование позволяет выбрать из исследуемой совокупности факторов наиболее существенный.

2) За счет использования метода выработки рекомендаций
Рекомендательные системы (РС) применяются в основном для предложения клиенту в реальном времени продуктов (фильмов, книг, одежду), которые вероятно его заинтересуют.
Эти применения характеризуются автоматическим предоставлением рекомендаций пользователям на основании уже совершенных действий (покупок, выставленных рейтингов, посещений и т.д.) и приемом от них обратной связи (заказы в магазинах, переход по ссылкам и т.п.)

в приложениях
Например,
-недвижимость на продажу/аренду на карте города,
-магазины, отделения,

филиалы на карте,
-новости в определенной точке города
и т.д. и т.п.

Приложение
«Новости в любой
точке»

Карта местности
Google maps

Новости с любого
новостного сайта

экранных данных

Поисковые роботы (crawlers) – это компьютерные программы, которые

могут перемещаться по Интернету и скачивать общедоступный контент.
Поисковый робот посещает URL-адреса из некоторого списка, пытаясь пройти дальше по ссылкам и дойти до каждого пункта назначения.
Этот процесс, который может повторяться многократно, называют глубиной обхода (depth of crawling).

Анализ экранных данных (screen scraping) - извлечение информации, которую содержат HTML-страницы.
Это простое, но трудоемкое занятие.
Например, вы хотите создать поисковую систему исключительно для поиска места, где можно поесть.
Извлечение информации о меню с веб-страницы каждого ресторана – одна из ваших первоочередных задач.

- процедура, благодаря которой автор или редактор сайта предоставляет,

частично или полностью, содержимое сайта для публикации на другом веб-сайте. Эта операция получила свое развитие благодаря широкому распространению формата RDF и RSS-каналов.

RSS — семейство XMLRSS — семейство XML-форматов, предназначенных для описания лент новостейRSS — семейство XML-форматов, предназначенных для описания лент новостей, анонсовRSS — семейство XML-форматов, предназначенных для описания лент новостей, анонсов статей, изменений в блогах и т. п.
Информация из различных источников, представленная в формате RSS, может быть собрана, обработана и представлена пользователю в удобном для него виде специальными программами-агрегаторами или онлайн-сервисами.

RSS 1.0, RSS 2.0, Atom

Формат синдикации Atom основан на XML основан на XML и позволяет описывать наборы веб-ресурсов — например, новостные ленты, анонсы статей в блоге и тому подобное.

(REpresentational State Transfer, передача состояния представления) является архитектурным стилем

для распределенных систем данных гипермедиа, например, World Wide Web.
В основе архитектуры RESTful лежит принцип определения ресурсов по универсальным идентификаторам ресурсов (Universal Resource Identifiers, URI).
Управление этими ресурсами осуществляется с помощью стандартного интерфейса, например HTTP, а обмен информацией происходит с помощью представлений этих ресурсов.

интерфейсы API, которые способствуют взаимодействию приложений друг с другом.
Доступно

большое количество фреймворков веб-служб, многие – с открытым исходным кодом.
Веб-службы — это компоненты веб-сервера, которые клиентское приложение может вызывать, выполняя запросы HTTP через Интернет.

компьютерных направлений, нацеленное на разработку компьютеров, способных мыслить подобно

человеку.
Стал прародителем машинного обучения, интеллектуального анализа данных, мягких вычислений и т. д.

Таблица соответствий


Машинное обучение (machine learning) – это способность программной системы, опираясь на прошлый опыт, делать обобщения и использовать их, предоставляя ответы на вопросы, связанные с данными, которые встречались такой системе в прошлом, а также отвечать на вопросы, касающиеся новых данных, с которыми система раньше никогда не сталкивалась.

решений при прогнозировании, широко применяющееся в статистике и анализе

данных.
Дерево решений, подобно его «прототипу» из живой природы, состоит из «ветвей» и «листьев».
Ветви (ребра графа) хранят в себе значения атрибутов, от которых зависит целевая функция; на листьях же записывается значение целевой функции.
Существуют также и другие узлы – родительские и потомки – по которым происходит разветвление, и можно различить случаи.

в области искусственного интеллекта, основанное на попытках воспроизвести нервную

систему человека.

Нейронные сети могут решать широкий круг задач обработки и анализа данных − распознавание и классификация образов, прогнозирование, управление и т.д.

Конкурентами являются классические методы анализа данных, статистики, идентификации систем и управления .

Интернет: ассоциативный поиск информации, электронные секретари и автономные агенты в интернете, фильтрация и блокировка спама, автоматическая рубрикация сообщений из новостных лент, адресные реклама и маркетинг для электронной торговли.

схожих алгоритмов обучения с учителем) — набор схожих алгоритмов обучения

с учителем, использующихся для задач классификации) — набор схожих алгоритмов обучения с учителем, использующихся для задач классификации и регрессионного анализа.
Идею метода удобно проиллюстрировать на следующем простом примере: даны точки на плоскости, разбитые на два класса.
Проведем линию, разделяющую эти два класса (красная линия).
Далее, все новые точки (не из обучающей выборки) автоматически классифицируются следующим образом: точка выше прямой попадает в класс A, точка ниже прямой — в класс B.

на этапе разработки, возможно, не являются репрезентативной выборкой, представляющей

рабочую среду (длинный/средний/короткий).
-Данные могут содержать пропущенные значения.
-Данные могут меняться.
-Данные могут быть ненормализованными (фунты или килограммы).
-Данные могут не соответствовать тому алгоритмическому подходу, который вы планируете применить (типы данных).

приложения
-тестирование производительности

Заблуждение 3: размер данных не имеет значения

-быстрота отклика приложения
-осмысленные результаты на большом наборе данных
-достаточно ли у меня данных?

алгоритмы поддаются масштабированию, другие – нет.
Заблуждение 5: одна

хорошая библиотека годится на все случаи
возможно, для решения другой задачи эффективнее и целесообразнее использовать другой алгоритм.
Заблуждение 6: время вычислений известно
В некоторых приложениях допускается широкий разброс в показателях времени решения при относительно небольшом расхождении в значениях участвующих параметров.