Иван Бегтин. Фото: РИА Новости

Журналистикой данных заниматься непросто, если данных у вас нет. Нет данных – нет и истории. О том, как и где искать данные и как их извлекать, рассказал на хакатоне в РИА Новости Иван Бегтин, директор некоммерческого партнерства «Информационная культура». Вот короткий обзор.

Когда журналисты начинают работать с открытыми данными, у них есть три варианта:

1. Есть данные, но нет понимания, что с ними делать;
2. Есть идея для истории, но нет данных, чтобы ее доказать;
3. Нет ни данных, ни идеи, но сдавать все надо завтра.

В идеальном случае у вас есть четкое понимание того, о чем вы хотите рассказать, и все необходимые данные, а также время для работы с ними и технологии. Это означает, что вы умеете программировать или общаться с программистами на их языке.

Полную запись выступления Ивана Бегтина можно посмотреть здесь:

Как запустить проект с большими данными

При работе с большими массивами данных готовиться нужно заранее. Важны следующие моменты:

1. Данные: нужно знать, где из искать и что с ними делать.
2. Понимание основных API (application programming interfaces) и доступ к различным наборам данных, которые смогут увидеть важные взаимосвязи,
3. Скрейпинг: извлечение данных с сайтов при отсутствии доступа к структурированным данным.
4. Основные инструменты для обработки данных.

Excel, кстати, вам очень пригодится. Это базовый инструмент любого аналитика, работающего с данными.

Как можно работать с данными: 

1. Берете существующую базу данных.
2. Используете API, которые другие создали до вас.
3. Создаете собственные API под конкретные задачи. Так работают известные издания, такие как The Guardian и New York Times. Это важный шаг при освоении журналистики данных, но надо понимать, что на него могут уйти недели и месяцы работы.

Ищем наборы данных

Поиск подходящего набора данных, содержащего достоверные и удобные для обработки цифры, может быть гораздо сложнее, чем кажется.

Где можно искать наборы данных:

1. Спросите других:
   • Quora.com
   • Stack Overflow
   • Рассылка Open Knowledge Foundation и группы в Facebook
2. Каталоги:
   • Thedatahub.org
   • Hubofdata.ru
   • Datacatalogs.org

Базы данных в интернете:

1. Международные базы данных:
   • The Data Hub
   • Data.worldbank.org позволяет сравнивать параметры развития нескольких стран.
   • Data.un.org
2. Национальные базы данных:
   • Hubofdata.ru
   • Data.gov (США)
   • Data.gov.uk (Великобритания)

Скрейпинг (Web/ screen scraping) позволяет извлекать неструктурированные данные со страниц, из документов и файлов и переводить и в базы данных. Вот в этой книге подробно изложены различные варианты извлечения данных при помощи скрейпинга, начиная от простых плагинов для браузера и заканчивая написанием собственного кода (книга на английском).

Wikipedia как полезный источник данных

Невероятно, но факт: Википедия позволяет экспортировать данные в  машиночитаемом формате. Можно использовать следующие ресурсы:

1. http://ru.wikipedia.org/w/api.php
2. Wikidata.orgFreebase.com, этот сервис принадлежит компании Google
3. Dbpedia.org – один из наиболее гибких сервисов, но непрост в использовании для новичков.

Инструменты для извлечения данных:

1. Программирование:  Python, lxml, Beautiful Soup или любой другой язык программирования.
2. Scraperwiki, Abbyy PDFTransformer и Abbyy Finereader.

Записала Наталья Карбасова

Проект, победивший в хакатоне: bg.ru/pulse

В ноябре компания РИА Новости совместно с международной организацией Global Editors Network (GEN) провела в Москве первый российский хакатон. В нем участвовали редакционные команды, состоящие из журналиста, дизайнера и программиста. Победители российского этапа, команда издания “Большой город”, отправятся на финальный конкурс в Милан.

Цель хакатона – помочь редакциям систематизировать инновационные процессы, в ходе которых появляются новые приложения, интерактивный контент, визуализации данных и новостные игры. Команды состоят из трех человек – журналиста, программиста и дизайнера.

«В редакциях сейчас можно увидеть много инновационных подходов, но за ними редко стоят журналисты», – говорит Антуан Лорен, заместитель директора организации Global Editors Network. «Нужна прямая связь между «технарями» и журналистами, тогда будут и инновации».

Антуан Лорен. Фото: РИА Новости

В этом году хакатон посвящен большим данным и журналистике данных. Здесь можно посмотреть презентацию готовых проектов. Победила команда издания «Большой город» вот с этим проектом. В интервью Антуан Лорен рассказал о том, почему журналистика данных никуда уже не уйдет, зачем проводить подобные хакатоны и как журналистам придется в будущем справляться с цифровым контентом.

В чем особенность этого хакатона?

Обычный хакатон – это такой своеобразный марафон по программированию. Мы же не хотели ограничиваться программированием, а создать культуру взаимопомощи между журналистами и техническими специалистами. Обычный хакатон открыт для участия каждому. Это не наш случай. Мы специально отбирали команды заранее среди команд, вместе представляющих одну редакцию. Это означает, что редакции в некотором роде инвестируют в это мероприятие, ведь они на два дня отрывают людей от работы.

Какой теме посвящен этот хакатон?

Речь здесь идет не только о журналистике данных, но и о создании команд из людей с разными специализациями: журналистов, программистов и дизайнеров. Речь скорее идет о попытке изменить внутреннюю структуру редакций.

Во время хакатона. Фото: РИА Новости

А зачем ее менять?

Когда команда, занимающаяся данными, напрямую интегрирована в работу редакции, то в итоге получается более качественный продукт, причем на постоянной основе. Мы не раз видели, как редакции работают с внешними агентствами, но я считаю, что редакции должны создавать внутренние отделы по работе с данными. Таким образом можно избежать одноразовых проектов, после которых о журналистике данных в редакции забывают на следующие полгода. Такие отделы могут состоять из одного-единственного журналиста, умеющего работать с данными, эффект на других сотрудников в любом случае будет положительным.

Журналистика данных – это долгосрочный тренд, или просто одно из проявлений инновационного подхода внутри редакций?

Думаю, это очень важный тренд, я только не уверен насчет того, как точно его назвать. Проведение расследований при помощи больших объемов данных никуда не уйдет, это, в общем, довольно старое уже явление, раньше оно называлось расследованием при помощи компьютера (computer-assisted reporting). Журналистика данных крутится вокруг взаимодействия с пользователями, вокруг приложений, игр и визуализаций. При этом всегда важную роль играют данные. Интерактивная журналистика, интерактивное производство контента, интерактивные новости – все это уже является журналистикой данных. Например, в газете New York Times люди, занимающиеся журналистикой данных, являются частью команды по производству интерактивных новостей.

То есть речь идет скорее о контенте, чем о данных?

Если журналисты начнут работать с программистами, они смогут производить любой цифровой контент. Журналисты должны научиться сотрудничать с разработчиками и переквалифицироваться в менеджеров цифровых проектов. Это одна из крупнейших задач, которые стоят перед редакциями.

Вопрос в том, как смотреть на контент. Некоторые специалисты говорят о том, что журналистам надо срочно учиться программировать, но я считаю, что учиться надо как раз управлению цифровыми продуктами. Этот подход можно применить не только в журналистике данных, но и для разработки мобильных приложений или онлайн-новостей. То есть или журналисту надо будет стать менеджером продукта, или нужно будет нанять дополнительного человека, который умеет это делать. И вот после этого можно обращаться к дизайнерам и разработчикам.

Интервью вела Наталья Карбасова

Так показывает данные Всемирная организация здравоохранения

В предыдущих постах мы рассказывали о журналистике данных и о таких полезных инструментах, как datawrapper и  infogr.am. Но визуализировать можно не только серьезные массивы данных, но и небольшие объемы информации. Это поможет более наглядно показать ключевые моменты.

Графики помогают наглядно показать и сравнить количественную информацию. Давайте посмотрим, как простые графики обогощают ваш текст.

Показывайте, а не рассказывайте: использование электричества в Индии

Очень простое предложение: «В год Индия расходует 210 гигаватт электричества. Это число должно увеличиться на 36% в 2017 году и еще на 25% в 2022 году». Как это можно наглядно показать читателям?  Вот пример из программы datawrapper.

Можно использовать и другую форму подачи информации.

Разберитесь в вопросе: денежные потоки, отправляемые иммигрантами из Южной Африки

Недавно наш коллега в Малави написал статью о том, сколько денег пересылают домой работающие в Южной Африке мигранты. Он хотел показать суммы, отправляемые в каждую страну. Так как у него было буквально несколько минут до сдачи материала, он быстро построил вот такой график.

Здесь ясно видно, что наибольшая часть денег – около 60 процентов от всех переводов – отправляется в Зимбабве. Этот факт можно показать и по-другому. Вот, например, график, созданный с помощью infogr.am.

Покажите разницу: уровень безработицы в Европе

В этой обучающей статье по использованию Datawrapper известный немецкий специалист по визуализации Грегор Айш (вот интервью с ним)  показал статистику по безработице в Европе за последние 20 лет.  Красным выделены страны с высоким уровнем безработицы (Испания и Греция), синим – страны с низким уровнем (Германия). При разумном использовании цвета и правильном выборе типа графика разница видна невооруженным глазом.

С чего начать?

Попробуйте использовать такие инструменты, как Excel, Office Open Calc или Google Spreadsheets для создания простых графиков. И, конечно, не забывайте про Datawrapper и Infogr.am.

Автор: Кейт Хэисайн

Что такое Infogr.am?

Infogr.am – это онлайн-сервис для создания интерактивных визуализаций и инфографиков. Все, что нужно сделать, – это загрузить данные на сайт, сделать несколько щелчков мышью и автоматически создать из загруженных данных инфографику. После публикации на сайте вы можете встроить ее на своем собственном ресурсе, так же, как вы ставите на страницу видео из YouTube. Полученную картинку можно расшарить в Facebook, Twitter и Pinterest. Самое приятное здесь то, что совершенно не нужно программировать или понимать основы дизайна. Все очень просто и выглядит красиво. Расскажем о том, как пользоваться этим сервисом.

Infogr.am – это латвийская компания, созданная журналистами Улдисом Лейтертсем и Раймондсом Кейз в 2012 году. Основная цель – помочь журналистам самостоятельно создвать симпатичные инфографики без помощи профессиональных дизайнеров.

Как журналисы могут использовать Infogr.am?

С помощью этой платформы вы можете создавать графики из любых данных. Вот, например, график, показывающий, сколько денег мигранты в Африке отсылают домой.

Конечно, можно создавать и более сложные графики и включать в них картинки, текст, карты и даже видео из YouTube и Vimeo. Вот так я расширила первоначальный график.

Плюс сервиса еще и в том, что здесь можно отслеживать изменения во времени (здесь можно посмотреть, как именно). А по этой ссылке можно найти лучшие примеры использования Infogr.am.

Как начать работать с Infogr.am?

Для начала нужно зарегистрироваться, после этого у вас будет три варианта: Создать график, посмотреть библиотеку или перейти на профессиональный платный аккаунт. Просто нажмите на «Создать» (Create) –  и вы перейдете на страницу, где будут предложены различные варианты инфографиков. После этого достаточно загрузить данные в формате XLS, XLSX или CSV – и график готов.

После этого вы можете менять цвета, ширину и высоту текста и другие параметры.

Важные факты

Цена: Базовая версия бесплатна. При переходы на профессиональный аккаунт ($18) вы получаете возможность загружать графики в формате pdf или png, расшаривать их среди избранных пользователей и выбирать из большего количества тем оформления.

Приложение для Excel: Есть бесплатное приложение Infogr.am для Excel 2013, которое позволяет создавать графики прямо в документе Excel.

Язык: Английский.

Автор: Кейт Хеисайн

Грегор Айш

Интерактивные визуализации и инфографика набирают все большую популярность в СМИ, а журналисты начинают раскапывать интересные факты в статистиках и визуализировать их самостоятельно или с помощью программистов. Этот тренд получил название “журналистика данных”.  Что нужно знать начинающим журналистам, работающим с данными, как им сотрудничать с программистами и нужно ли журналистам самим уметь программировать?

Об этом в интервью DW Akademie рассказал немецкий специалист по визуализации данных Грегор Айш (Gregor Aisch). Грегор работал над созданием платформы Datawrapper, которая позволяет журналистам публиковать простые интерактивные графики. Он также разрабатывает визуализации для таких крупных медиаорганизаций, как Deutsche Welle и Zeit Online.

“Журналистам пора перестать бояться хакеров”, – говорит Грегор Айш. “Звучит смешно, но многие до сих пор представляют хакеров как преступников, проводящих дни и ночи за написанием вирусов и взломами систем электронной защиты банков и правительств”.

– Грегор, ты по образованию не журналист, а именно технический специалист. Как тебе нравится работать с журналистами?

Очень нравится!  Они обычно очень четко понимают предмет своего журналистского расследования, и у них множество интерсных идей о том, как преподнести историю. В отделах пиара и маркетинга такой подход нечасто увидишь.

– Что журналистам необходимо знать, чтобы рассказывать интересные истории, основанные на данных?

Нужно понимать масштаб и представлять себе временные затраты на интерактивные визуализации в сети.  Ведь создание интерактивных визуализаций очень похоже на разработку программного обеспечения, нужно понимать, чего ожидать, и уметь управлять ресурсами, чтобы получить результат в нужный срок. Иначе придется пережить массу разочарований.

Визуализация Грегора Айша. Источник: http://opendata.zeit.de/atomreaktoren/#/en/

– Что журналистам важно помнить при совместной работе с программистами?  

Такая работа схожа с работой по управлению проектами. Важно пребывать в постоянном диалоге, особенно в начале проекта. Часто бывает сложно прийти к общеми пониманию того, каким должен быть конечный продукт. Здесь очень помогают эскизы от руки.

– А сами журналисты должны уметь программировать?

Для начала журналистам пора перестать бояться так называемых хакеров. Звучит смешно, но многие до сих пор представляют хакеров как преступников, проводящих дни и ночи за написанием вирусов и взломами систем электронной защиты банков и правительств. Регулярные встречи типа Hacks/Hackers в Берлине помогают навести мосты между журналистами и хакерами, то есть программистами.

Для ежедневной работы с массивами данных советую получить базовые навыки написания скриптов. Вначале будет сложно, но через пару дней вы сами удивитесь, сколько всего уже можете. Написание пары строчек кода часто помогает избавиться от нудного повторения простых задач. Особенно в онлайн-журналистике экономное использование времени крайне важно, ведь там постоянно есть дедлайны для сдачи материала.

К тому же, журналистам и самим полезно понимать в общих чертах, что можно сделать и сколько времени на это примерно уйдет. Конечно, журналист не обязан уметь создавать интерактивные визуализации с нуля. Чтобы научиться этому, понадобится несколько лет. Но надо понимать, что в принципе выполнимо, а что нет.

Визуализация Грегора Айша. Источник: http://vis4.net/labs/fraktion-vs-gewissen/

– Какие инструменты ля визуализации можно использовать, если не умеешь программировать?  

Excel, LibreOffice, Tableau Public, ManyEyes, Datawrapper, QuantumGIS –  все эти инструменты позволяют быстро создавать качественные визуализации данных и карты. Эти программы можно либо бесплатно загрузить, либо использовать веб-версию, часто они уже предустановлены на компьютере. Так что начать можно просто и без лишних затрат. Конечно, временных затрат на изучение новых программ не избежать.

– С чего начать журналистам, интересующимся журналистикой данных?

Для начала советую ознакомиться с одной из программ по работе с электронными таблицами. Большинство историй, основанных на данных, начинаются с простой таблицы, так что важно уметь выполнять простейшие операции, например, разделять количество случаев с летальным исходом при авариях на общее количество аварий во всех регионах страны. Если вам не нравится интерфейс в Excel, советую обратить внимание на бесплатную альтернативу LibreOffice Calc. Это очень простая и мощная программа.

– Сейчас в интернете популярны самые разные визуализации. Какие ошибки чаще всего в них совершаются?  

Во-первых, я обожаю визуализации, так что чем чаще они используются, тем лучше. Одна из худших ошибок, которые мне доводилось видеть, – это неправильное размещение подписей к графикам. Если вы только и делаете, что следуете подсказкам программы, наверняка что-то будет не так.

– Назови, пожалуйста, свои любимые визуализации.

Вот этот пример от New York Times показывает диаграмму рассеяния (scatterplot), на горизонтальной оси мы видим показатели по выпускам из колледжа для черных, испаноязычных и азиатских студентов, на вертикальной оси – показатели по студентам-первокурсникам. На графике четко видно, что в лучших вузах с высоким процентом выпустившихся студентов уровень черных студентов гораздо ниже. Например, в Гарвардском университете на первый курс зачислено только 8,8% черных студентов, при этом до выпуска в этом университете доходят 97% студентов.

New York Times. Источник: http://www.nytimes.com/interactive/2013/05/07/education/college-admissions-gap.html

Эта тема в США сейчас очень актуальна, потому что все больше штатов отказываются от планов по “позитивной дискриминации“. Начиная с времен президентов США Кеннеди и Джонсона с 60-х годах, эти планы должны были гарантировать определенные квоты по студентам различных расовых принадлежностей для университетов. Сейчас все больше республиканских штатов собираются отменить эти планы, потому что считают квоты незаконными.

В последующей интерактивной визуализации редкция NYT показала результаты предудущих запретов в таких штатах, как Калифорния. Они сравнили процентное соотношение первокурсников различных рас с процентом жителей, принадлежащих к этой расе, возраст которых сопоставим с возрастом студентов.  Заметно, что особенно в Калифорнии запрет плана по “позитивной дискриминации” сопровождался серьезным снижением поступлений в колледж испаноязычного и черного населения.

New York Times. Источник: http://www.nytimes.com/interactive/2013/04/16/science/disease-overlap-in-elderly.html

Приведу последний пример. Это потрясающая визуализация, созданная сотрудниками New York Times Мэтью Блочем (Matthew Bloch) и Ханной Фэирфилд (Hannah Fairfield). С помощью диаграмм Венна авторы показывают пересечение различных болезней пожилых людей. У 9% из 700 000 обитателей центров помощи выявлено сочетание болезней сердца, высокого давления и болезни Альцгеймера, все вместе лечить очень сложно.

– Все приведенные примеры – из газеты New York Times. Чем они лучше других?

Аманда Кокс (Amanda Cox), графический редактор NYT, однажды сказала примерно следующее:  “Нужно взять читателя за руку и провести его через всю инфографику”.  Без аннотаций и объяснений любая инфографика – это всего лишь попытка сказать читателям: вот картинки, разбирайтесь, как хотите. Еще NYT правильно подходит к подбору команды. Они нанимают графических редакторов, картографов, 3D-аниматоров и разработчиков интерактивных приложений – и все они работают вместе. Во многих редакциях в Германии графический отдел для печатной версии или для телеканала до сих пор отделен от отдела графики онлайн-редакции. Это сильно затрудняет процесс создания качественных интерактивных визуализаций.

– Какие ресурсы по визуализации данных ты советуешь читать регулярно?

Советую просматривать вот этот список визуализаций, блог Альберто Кайро, вот этот ресурс от Mozilla Open News, а еще это собрание кодов для разных визуализаций и сайт  “Informations Aesthetics”.

– Какие книги посоветуешь журналистам, которые хотят научиться создавать визуализации?

The Wall Street Journal Guide to Information Graphics, The Functional Art: An introduction to information graphics and visualization и Data Visualization: A successful design process.

Интервью вела Наталья Карбасова

Фото: http://dwm.re/wp-content/uploads/2013/01/gregor-aisch2_pic.jpg