- Главная
- Разное
- Бизнес и предпринимательство
- Образование
- Развлечения
- Государство
- Спорт
- Графика
- Культурология
- Еда и кулинария
- Лингвистика
- Религиоведение
- Черчение
- Физкультура
- ИЗО
- Психология
- Социология
- Английский язык
- Астрономия
- Алгебра
- Биология
- География
- Геометрия
- Детские презентации
- Информатика
- История
- Литература
- Маркетинг
- Математика
- Медицина
- Менеджмент
- Музыка
- МХК
- Немецкий язык
- ОБЖ
- Обществознание
- Окружающий мир
- Педагогика
- Русский язык
- Технология
- Физика
- Философия
- Химия
- Шаблоны, картинки для презентаций
- Экология
- Экономика
- Юриспруденция
Что такое findslide.org?
FindSlide.org - это сайт презентаций, докладов, шаблонов в формате PowerPoint.
Обратная связь
Email: Нажмите что бы посмотреть
Презентация на тему Как мы храним большой социальный граф
Содержание
- 2. План докладаЧто мы решали с помощью графовых
- 3. Графы вездеПрименяются во многих сферах: веб-ссылки; маршруты;социальные
- 4. Графовое хранилище
- 5. Решаемые задачиЗагрузка графа Выполнение аналитической операцииДогрузка новых данных, в случае их появления
- 6. Аналитические задачиПолучить всех соседей вершины (Neighbors)Выполнить обход графа (BFS)Найти кратчайший путь (Shortest path)
- 7. Neo4JНаиболее распространеннаяРазвитое сообществоВысокая функциональностьМожет быть как серверным приложением, так и встраиваемымЕсть бесплатная версия
- 8. Особенности Neo4JВсе операции только внутри транзакции –
- 9. BatchInserterБыстрый импортНЕ отказоустойчивыйНЕ потокобезопасный
- 10. ИндексированиеНовый метод schema.indexFor() – только по атрибутам
- 11. Memory mapped cacheСлужит для ускорения I/OПроецирует файлы хранилища в памятьКаждому файлу свой кэш
- 12. Размеры объектов на дискеCache size = размер объекта * количество объектов
- 13. Настройки memory mapped cacheuse_memory_mapped_buffersmapped_memorynodestore.db.mapped_memoryrelationshipstore.db.mapped_memorypropertystore.db.mapped_memoryи т.д.
- 14. Object cacheХранит в себе объекты для быстрого
- 15. Типы Object cache
- 16. Sparksee (в прошлом DEX)Заявлена высокая производительностьТолько встраиваемаяНе столь распространеннаяСообщество очень маленькоеПолностью закрытаяБесплатна для исследований
- 17. Особенности SparkseeОбязательно задается схема данныхДоступ к объекту только по внутреннему идентификатору
- 18. Настройки SparkseeНастройки ребер:ОриентированныеИндексированныеТипы атрибутов:ОбычныйИндексированныйУникальный
- 19. Sparksee cacheНастройки кэширования минимальныВсе новые объекты попадают
- 20. Тестовый стендIntel Xeon E7540 2.0 GHz64GB DDR32x2TB hard drive
- 21. ПО и настройки Neo4JNeo4J 2.1.5 Community EditionUbuntu
- 22. ПО и настройки SparkseeSparksee 5.1.0 Unlimited licenceWindows Server 2008 x64.NET APICache size 60GB
- 23. Время импорта данных (ч)
- 24. Время обработки графа (с)~10 миллионов вершин и ~100 миллионов ребер
- 25. Время обработки графа (с)~50 миллионов вершин и ~500 миллионов ребер
- 26. ВыводыSparksee производительнее Neo4JВысокая производительность графовых БД ограничивается
- 27. Скачать презентацию
- 28. Похожие презентации
План докладаЧто мы решали с помощью графовых БДГрафовые БД Neo4J и SparkseeНастройка и оптимизация Neo4J и SparkseeКаких результатов удалось достичь
Слайд 2
План доклада
Что мы решали с помощью графовых БД
Графовые
БД Neo4J и Sparksee
результатов удалось достичь
Слайд 3
Графы везде
Применяются во многих сферах:
веб-ссылки;
маршруты;
социальные сети;
и
т.д.
Имеют очень большой объем.
Сложность в анализе графа, а не
в хранении.
Слайд 5
Решаемые задачи
Загрузка графа
Выполнение аналитической операции
Догрузка новых данных,
в случае их появления
Слайд 6
Аналитические задачи
Получить всех соседей вершины (Neighbors)
Выполнить обход графа
(BFS)
Найти кратчайший путь (Shortest path)
Слайд 7
Neo4J
Наиболее распространенная
Развитое сообщество
Высокая функциональность
Может быть как серверным приложением,
так и встраиваемым
Есть бесплатная версия
Слайд 8
Особенности Neo4J
Все операции только внутри транзакции – правильно
и надежно, но медленно и ест много оперативной памяти.
Объекты
– вершины, ребра и атрибуты. Доступ к ним только по внутреннему идентификатору.
Слайд 10
Индексирование
Новый метод schema.indexFor() – только по атрибутам на
вершинах
Устаревший метод graphDb.index() – и по вершинам и по
ребрамИндексация в режиме Batch inserter BatchInserterIndexProvider.nodeIndex()
Слайд 11
Memory mapped cache
Служит для ускорения I/O
Проецирует файлы хранилища
в память
Каждому файлу свой кэш
Слайд 13
Настройки memory mapped cache
use_memory_mapped_buffers
mapped_memory
nodestore.db.mapped_memory
relationshipstore.db.mapped_memory
propertystore.db.mapped_memory
и т.д.
Слайд 14
Object cache
Хранит в себе объекты для быстрого доступа
при обходах графа
Вытеснение объектов осуществляет GC
Реально производительный кэш есть
только в Enterprice версии
Слайд 16
Sparksee (в прошлом DEX)
Заявлена высокая производительность
Только встраиваемая
Не столь
распространенная
Сообщество очень маленькое
Полностью закрытая
Бесплатна для исследований
Слайд 17
Особенности Sparksee
Обязательно задается схема данных
Доступ к объекту только
по внутреннему идентификатору
Слайд 18
Настройки Sparksee
Настройки ребер:
Ориентированные
Индексированные
Типы атрибутов:
Обычный
Индексированный
Уникальный
Слайд 19
Sparksee cache
Настройки кэширования минимальны
Все новые объекты попадают в
кэш
SetCacheMaxSize(int megabytes)
Если megabytes == 0, то используется вся свободная
память минус 512mb.
Слайд 21
ПО и настройки Neo4J
Neo4J 2.1.5 Community Edition
Ubuntu 14.04
LTS
JVM: -d64 –Xmx40G -XX:+UseParallelGC
Batch insertion mode
Use_memory_mapped_buffers
Cache vertices 2GB, relationships
18GB
Слайд 22
ПО и настройки Sparksee
Sparksee 5.1.0 Unlimited licence
Windows Server
2008 x64
.NET API
Cache size 60GB
Слайд 26
Выводы
Sparksee производительнее Neo4J
Высокая производительность графовых БД ограничивается размером
