Презентация на тему: Основные методы исследований интернет-пространства

Основные методы исследований интернет-пространства
Методы сбора и анализа интернет-данных
Метод анализа социальных сетей ( Social Network Analysis )
Метод анализа социальных сетей
Метод анализа социальных сетей
Метод анализа социальных сетей
Метод анализа социальных сетей. Пример интерфейса анализа в пакете Пресс индекс
Метод анализа социальных сетей
Метод анализа социальных сетей
Метод анализа социальных сетей
Метод анализа социальных сетей
Метод анализа социальных сетей
Метод анализа социальных сетей
Пример сетевого сайта: новостной агрегатор Digg.com
2. Автоматический анализ текстов ( Text Mining ).
Автоматический анализ текстов
3. Онлайн опросы
Онлайн опросы
Основные методы исследований интернет-пространства
Основные методы исследований интернет-пространства
Основные методы исследований интернет-пространства
Основные методы исследований интернет-пространства
Основные методы исследований интернет-пространства
Основные методы исследований интернет-пространства
Основные методы исследований интернет-пространства
Основные методы исследований интернет-пространства
Основные методы исследований интернет-пространства
Основные методы исследований интернет-пространства
Что может быть источником больших данных?
Основные принципы работы с Большими данными:
Основные методы исследований интернет-пространства
Основные методы исследований интернет-пространства
Способы и парадигмы обработки данных.
Основные методы исследований интернет-пространства
Основные методы исследований интернет-пространства
Основные методы исследований интернет-пространства
Основные методы исследований интернет-пространства
Основные методы исследований интернет-пространства
1/38
Средняя оценка: 5.0/5 (всего оценок: 94)
Код скопирован в буфер обмена
Скачать (13867 Кб)
1

Первый слайд презентации

Основные методы исследований интернет-пространства

Изображение слайда
2

Слайд 2: Методы сбора и анализа интернет-данных

Изображение слайда
3

Слайд 3: Метод анализа социальных сетей ( Social Network Analysis )

В 1969 году Стэнли Милгрэм опубликовал результаты эксперимента, обнаружившего феномен «маленького мира», где описал ставшее общепринятым понятие «шести рукопожатий ». В 1973 Марк Грэноветтер опубликовал работу « Сила слабых связей».

Изображение слайда
4

Слайд 4: Метод анализа социальных сетей

Что можно изучать?

Изображение слайда
5

Слайд 5: Метод анализа социальных сетей

Какие задачи позволяет решать? Изучать структуры онлайн сообществ Выявлять лонгитюдную динамику социальных сетей Выявлять лидеров мнений Анализ структуры и развития публичных дискуссий Отслеживать формирование и эволюцию новых сетей Замерять конкуренцию в онлайн-среде Усиливать персонифицированность рекламы Повышать продажи и находить новых клиентов

Изображение слайда
6

Слайд 6: Метод анализа социальных сетей

Как проводится анализ?

Изображение слайда
7

Слайд 7: Метод анализа социальных сетей. Пример интерфейса анализа в пакете Пресс индекс

Изображение слайда
8

Слайд 8: Метод анализа социальных сетей

Препятствия при работе с социальными сетями 1) нестабильность качества пользовательского контента (спам и ложные аккаунты), 2) проблемы с обеспечением приватности личных данных пользователей при хранении и обработке, 3) частые обновления данных и функционала. 4) ограничения доступа и блокировки - с целью предотвращения несанкционированного автоматического сбора данных владельцы сервисов зачастую вводят явные или скрытые ограничения на допустимое количество запросов от одного пользовательского хоста.

Изображение слайда
9

Слайд 9: Метод анализа социальных сетей

К примеру, база данных социальной сети Facebook на сегодняшний день содержит более 1 миллиарда пользовательских аккаунтов и более 100 миллиардов связей между ними. Каждый день пользователи добавляют более 200 миллионов фотографий и оставляют более 2 миллиардов комментариев к различным объектам сети. Большинство существующих алгоритмов не способны обрабатывать данные подобной размерности за приемлемое время.

Изображение слайда
10

Слайд 10: Метод анализа социальных сетей

Выход? Генерация случайных социальных графов. На этапе обучения производится построение модели классификации с использованием онлайнового пассивно-агрессивного алгоритма. В зависимости от цели исследования можно выстраивать или очень большую, но поверхностную социальную сеть, или серии небольших, но подробных сетей.

Изображение слайда
11

Слайд 11: Метод анализа социальных сетей

Изображение слайда
12

Слайд 12: Метод анализа социальных сетей

Способы сбора данных онлайн-сетей Можно использовать уже существующий архив или собрать новые данные, используя программы скрэперы и  спайдеры. Скрэперы (скребки)  — это автоматизированные компьютерные программы, которые берут веб-страницу и  парсят ее контент, таким образом, этот контент становится пригодным к использованию в качестве данных. Спайдеры   (пауки) — это специальный класс программ, они следуют по рёбрам связей и собирают информацию. Для спайдеров часто используется «первоначальный посев» — база специально отобранных страниц. Спайдеры возвращают набор пар « нод-нод », который образуется между нодами (узлами сети) из «первоначального посева» и новыми страницами.

Изображение слайда
13

Слайд 13: Метод анализа социальных сетей

Способы сбора данных онлайн-сетей Парсить  можно любую информацию: тексты, фото, таблицы. и т.д. Если коротко, то это сбор информации по разным критериям из интернета, в автоматическом режиме с разбиением информации на корзины (кластеры). В процессе работы парсера сравнивается заданный образец и найденная информация. Для процесса парсинга в программах используются специальные языки программирования: Python, JavaScript, PHP, Perl ….

Изображение слайда
14

Слайд 14: Пример сетевого сайта: новостной агрегатор Digg.com

Изображение слайда
15

Слайд 15: 2. Автоматический анализ текстов ( Text Mining )

Объемы текстовых онлайн-данных настолько велики, что вручную их крайне трудно анализировать (блоги, форумы, контент сайтов). Для этого разрабатываются специальные алгоритмы анализа текстов, цель которых — вычленить смысл, сгруппировать их с похожими по содержанию текстами ( кластеризовать ), получить некую количественную оценку, например, оценить отношение автора к описываемым явлениям или определить эмоциональную тональность коммуникации.

Изображение слайда
16

Слайд 16: Автоматический анализ текстов

Изображение слайда
17

Слайд 17: 3. Онлайн опросы

Первый социологический опрос пользователей Интернета был проведен в январе 1994 г. Дж. Питковым (Технологический институт в Джорджии), в результате было получено 4,5 тыс. ответов и определены характеристики интернет-аудитории. Проводить опросы можно и в соцсетях, при помощи встроенных инструментов ВКонтакте, Facebook, Instagram, но их возможности очень ограничены.

Изображение слайда
18

Слайд 18: Онлайн опросы

Типология выборок онлайн опросов 1. Опрос посетителей сайта, отобранных по принципу случайной выборки. 2. Выборка комплектуется из специально созданной базы данных о респондентах. 3. Участники панелей, созданных на основе случайных выборок из социально-профессиональных и демографических групп.

Изображение слайда
19

Слайд 19

Сервисы онлайн-опросов 1. Google Forms Стоимость:   бесплатно Простые опросы или многоуровневые тесты легко создавать на ПК и мобильных устройствах. Можно менять шаблон по собственному усмотрению, вставлять изображения и видео. Статистика результатов отображается прямо в форме и по желанию оформляется в таблицу. Помимо анкетирования можно собирать e- mail респондентов. Из минусов нужно отметить то, что вставить Google Формы на сайт получится только ссылкой. Но зато количество опросов неограниченно.

Изображение слайда
20

Слайд 20

Сервисы онлайн-опросов 2. Яндекс.Взгляд Стоимость: от 7 000 рублей за 100 заполненных анкет Преимущество сервиса в том, что он умеет находить подходящую аудиторию. Респонденты отбираются по указанным вами параметрам (пол, возраст, место проживания), по готовым сегментам аудитории из CRM или по данным Яндекс.Аудиторий. Для оформления опроса есть готовые шаблоны и возможность самостоятельного создания анкеты. Готовую форму можно распространять ссылкой. Результаты отслеживают посредством встроенной статистики. Некоторый минус Яндекс.Взгляд в том, что все опросы проходят модерацию.

Изображение слайда
21

Слайд 21

Сервисы онлайн-опросов 3. Survey Monkey Стоимость: бесплатно с ограничениями/от € 36 ежемесячно В бесплатной версии доступно максимум 10 вопросов и 100 респондентов. На премиум-планах опросы неограниченны. В сервисе имеется статистика ответов и возможность коллективной работы над формами. Тема шаблона меняется. Есть экспорт ответов в. xls,. pdf,. ppt,. csv. Можно интегрировать форму с популярными программами. Созданным опросом легко делиться в соцсетях или открывать доступ по ссылке.

Изображение слайда
22

Слайд 22

Сервисы онлайн-опросов 4. Survio Стоимость: бесплатная версия с ограниченным функционалом/ premium от € 12,42 ежемесячно. Предусмотрено 100 вариаций шаблонов. В premium -версии количество вопросов не лимитировано, есть настройка доступа по паролю. Настраиваемый дизайн адаптирован для различных устройств. Результаты экспортируют в PDF, DOCx, PPTx. Для распространения анкеты используют ссылку или электронную почту.

Изображение слайда
23

Слайд 23

Сервисы онлайн-опросов 5. Simpoll Стоимость: бесплатно с ограничениями/от 250 руб. в месяц Сервис с легко понятным интерфейсом для создания простых и сложных анкет. Можно сделать форму с развилкой: в зависимости от ответа, респондентам будут показаны разные страницы. Имеется защита по IP и Cookies, интеграция календаря, возможность подбора цветов элементов, добавление комментариев, фото и видео. Готовую форму через html -код можно добавить на сайт, разместить в соцсетях, отправить пользователям прямой ссылкой. Бесплатно доступны 3 опроса по 10 вопросов.

Изображение слайда
24

Слайд 24

Сервисы онлайн-опросов 6. Testograf Стоимость: демо -версия/ от 4 990 руб. за разовую лицензию на 2 месяца Сервис онлайн-опросов без ограничения по числу вопросов и ответов. Есть готовые шаблоны и возможность редактирования форм. Разрешено добавлять медиафайлы, настраивать доступ по паролю и авторизацию через ВКонтакте, ограничивать по IP-адресу, добавлять ссылки и промокоды, брендировать формы. Распространение опроса осуществляется по ссылке, через e- mail, виджет, всплывающую форму, встраивание на сайт. Есть статистика результатов, фильтрация ответов, экспорт данных в несколько форматов.

Изображение слайда
25

Слайд 25

Сервисы онлайн-опросов 7. Oprosso Стоимость: бесплатно 1 опрос с ограничениями/полный доступ к сервису от 99 900 руб. в год Сервис позиционируется как омниканальная исследовательская платформа. Созданные опросы можно распространять по e- mail и SMS, через соцсети, колл -центр и QR-код, онлайн через ссылки и офлайн. Шаблоны форм легко редактировать: меняется дизайн, шрифты, фон. Готовые опросы адаптированы под любые устройства. Можно настраивать квотирование ответов и уведомление о заполнении форм. Результаты легко фильтровать по периодам и каналам сбора. Отчеты выгружаются в PDF, XLS, CSV, SPSS. Имеется возможность командной работы. Есть поддержка 24/7.

Изображение слайда
26

Слайд 26

4. Big Data. Анализ Больших данных.

Изображение слайда
27

Слайд 27

Термин Big Data появился сравнительно недавно. Google Trends показывает начало активного роста употребления словосочетания начиная с 2011 года

Изображение слайда
28

Слайд 28

Big Data – это когда данных больше, чем 100Гб (500 Гб, 1ТБ) Big Data – это такие данные, которые невозможно об рабатывать в Excel Big Data – это такие данные, которые невозможно обработать на одном компьютере Большие данные (англ.  big data ) — серия подходов, инструментов и методов обработки структурированных и неструктурированных данных огромных объёмов и значительного многообразия для получения воспринимаемых человеком результатов и решений класса Business Intelligence, эффективных в условиях непрерывного прироста, распределения по многочисленным узлам вычислительной сети Сейчас термин не использует только ленивый. Ч асто не по делу термин используют маркетологи. Так что же такое Big Data на самом деле?

Изображение слайда
29

Слайд 29: Что может быть источником больших данных?

Логи поведения пользователей в интернете GPS-сигналы от автомобилей для транспортной компании Данные, снимаемые с датчиков в большом адронном коллайдере Оцифрованные книги в Российской Государственной Библиотеке Информация о транзакциях всех клиентов банка Информация о всех покупках в крупной ритейл сети и т.д.

Изображение слайда
30

Слайд 30: Основные принципы работы с Большими данными:

1. Горизонтальная масштабируемость. 2. Отказоустойчивость. 3. Локальность данных.

Изображение слайда
31

Слайд 31

Как это работает. Big data — это большой массив разнородных данных. Чтобы они принесли пользу, в них нужно найти какие-то полезные закономерности: сходства, различия, общие категории и так далее. Процесс поиска таких закономерностей и называют data mining — добыча данных, или глубинный анализ данных. Мы берем большие данные и «добываем» из них новые полезные данные с помощью различных технологий: всевозможных методов классификации, моделирования и прогнозирования, основанные на применении деревьев решений, нейросетей, генетических алгоритмов и других методик.

Изображение слайда
32

Слайд 32

Data mining решает несколько основных задач: Классификация — распределение данных по заранее известным классам. Кластеризация — распределение данных на группы по степени похожести друг на друга. Например, составление разных портретов покупателей на основе их поведения в магазине. Ассоциация — поиск повторяющихся образцов данных. Например, одинаковых наборов продуктов в чеках покупателей. Регрессионный анализ — нахождение важных факторов, влияющих на какой-либо заданный параметр. Анализ отклонений — выявление нетипичных данных, резко отличающихся от обычных.

Изображение слайда
33

Слайд 33: Способы и парадигмы обработки данных

MapReduce – это модель распределенной обработки данных, предложенная компанией Google для обработки больших объёмов данных на компьютерных кластерах.

Изображение слайда
34

Слайд 34

MapReduce предполагает, что данные организованы в виде некоторых записей. Обработка данных происходит в 3 стадии: 1. Стадия Map. На этой стадии данные предобрабатываются при помощи функции map, которую определяет пользователь. Работа этой стадии заключается в предобработке и фильтрации данных. Функция map примененная к одной входной записи и выдаёт множество пар ключ-значение. Что будет находится в ключе и в значении – решать пользователю, данные с одним ключом в будущем попадут в один экземпляр функции reduce.

Изображение слайда
35

Слайд 35

2.  Стадия Shuffle. Проходит незаметно для пользователя. В этой стадии вывод функции map «разбирается по корзинам» – каждая корзина соответствует одному ключу вывода стадии map. В дальнейшем эти корзины послужат входом для reduce. 3.  Стадия Reduce. Каждая «корзина» со значениями, сформированная на стадии shuffle, попадает на вход функции reduce. Функция reduce задаётся пользователем и вычисляет финальный результат для отдельной «корзины».  Множество всех значений, возвращённых функцией reduce, является финальным результатом MapReduce -задачи.

Изображение слайда
36

Слайд 36

Пример. Big data в логистике: планирование грузоперевозок и оптимизация маршрутов. В логистике на перевозку товаров влияет много разных факторов: загрузка складов, пробки на дорогах, состояние парка машин, расположение автозаправок. Если собрать все эти факторы вместе, сопоставить их и проанализировать, можно эффективнее планировать маршруты и время доставки, чтобы избежать простоев транспорта.

Изображение слайда
37

Слайд 37

Пример. Компания ПЭК запустила Центр управления перевозками на базе big data. ПЭК стали анализировать объем и характер заказов, поставок и «мили » и оптимизировать маршруты, собирая данные с дорог и GPS. В итоге им удалось сократить время на доставку и снизить расход топлива. Это помогло им прогнозировать загрузку 189 складов по всей России на месяц вперед и планировать маршруты грузового транспорта, выбирать самые короткие маршруты, избегать пробок и трудных участков пути, экономить бензин.

Изображение слайда
38

Последний слайд презентации: Основные методы исследований интернет-пространства

Слишком сложно Все понятно Слишком легко

Изображение слайда