БИЗНЕС-КНИГИ

«Темные данные скрыты от нас, и этот факт означает, что мы рискуем недооценить опасность, сделать неправильный вывод и принять неверное решение. Иначе говоря, наше неведение становится причиной ошибок».

* * *

«Темные данные ведут себя аналогично темной материи: мы не видим их, они не обнаруживаются, но все же способны оказывать существенное влияние на наши выводы, решения и действия. И, как я покажу на дальнейших примерах, если не осознать саму вероятность существования чего-то неизвестного, то последствия такой слепоты могут быть катастрофическими и даже фатальными».

* * *

«Хотя иметь много данных полезно, большие данные, то есть объем, — это еще далеко не все. И то, чего вы не знаете, те данные, которых у вас нет, могут быть важнее для понимания происходящего, чем те, которыми вы располагаете».

Перед вами необычная книга. Почти все, что издается на эту тему — будь то популярная литература о больших или открытых данных, обработке данных или пособия по статистическому анализу, — основывается на том, что у вас уже есть. Речь идет об информации, хранящейся в компьютере, ящиках рабочего стола или аудио-, видеозаписях вашего смартфона. Но эта книга совсем о другом. Она о данных, которых у вас нет. Возможно, вы пытаетесь получить их прямо сейчас или когда-то безуспешно пытались сделать это, а может быть, ошибочно полагаете, что они у вас имеются. Как бы то ни было, речь пойдет о данных, которых у вас нет.

Я утверждаю и далее продемонстрирую это на многих примерах, что отсутствующие данные важны не менее тех, которыми мы располагаем. Вы сможете сами убедиться, что неизвестные нам данные являются причиной многих заблуждений, порой имеющих катастрофические последствия. Я покажу, как и почему это происходит. Затем я расскажу, как этого можно избежать — на что именно стоит обращать внимание, чтобы обойти неприятности. А в завершение, когда вы поймете, как возникают темные данные и как они создают нам проблемы, я покажу, как с их помощью перевернуть с ног на голову традиционное представление об анализе данных и, если вы достаточно проницательны, глубже вникнуть в свою область, улучшить процесс принятия решений и выбора действий.

• Предисловие

  ЧАСТЬ I. ТЕМНЫЕ ДАННЫЕ. Происхождение и последствия

• Глава 1. Темные данные. Незримая сила, которая формирует наш мир
  • Призрак данных
  • Так вы думаете, у вас есть все данные?
  • Не было ничего необычного, поэтому мы не придали этому значения
  • Сила темных данных
  • Всюду вокруг нас

• Глава 2. Обнаружение темных данных. Что мы собираем, а что нет
  • Темные данные со всех сторон
  • Извлечение, отбор и самоотбор данных
  • От нескольких ко многим
  • Экспериментальные данные
  • Остерегайтесь человеческих слабостей

• Глава 3. Определения и темные данные. Что именно вы хотите узнать?
  • Ошибки в определениях и измерениях
  • Невозможно измерить все
  • Скрининг
  • Выбор на основе прошлого

• Глава 4. Непреднамеренные темные данные. Видим одно, регистрируем другое
  • Общая картина
  • Обобщение
  • Человеческий фактор
  • Недостатки приборов
  • Объединение наборов данных

• Глава 5. Стратегические темные данные. Уловки, обратная связь и информационная асимметрия
  • Уловки
  • Обратная связь
  • Информационная асимметрия
  • Неблагоприятный отбор и алгоритмы

• Глава 6. Умышленно затемненные данные. Мошенничество и обман
  • Мошенничество
  • Кража идентификационных данных и интернет-мошенничество
  • Мошенничество с личными финансами
  • Мошенничество на финансовых рынках и инсайдерская торговля
  • Страховое мошенничество
  • И прочее

• Глава 7. Наука и темные данные. Природа познания
  • Сущность науки
  • Если бы я знал заранее…
  • Натыкаясь на темные данные
  • Темные данные и общая картина
  • Сокрытие фактов
  • Отзыв публикаций
  • Источник и его достоверность: кто вам такое сказал?

  ЧАСТЬ II. ОСВЕЩЕНИЕ И ИСПОЛЬЗОВАНИЕ ТЕМНЫХ ДАННЫХ

• Глава 8. Принцип работы с темными данными. Проливаем свет
  • Надежда!
  • Связываем наблюдаемые и недостающие данные
  • Определение механизма появления недостающих данных
  • Работа с имеющимися данными
  • Выход за пределы данных: что, если ты умрешь первым?
  • Выход за пределы данных: вменение
  • Неправильное число!

• Глава 9. Полезные темные данные. Переосмысление вопроса
  • Сокрытие данных
  • Сокрытие данных от самих себя: рандомизированные контролируемые исследования
  • Что могло бы быть
  • Репликация данных
  • Мнимые данные: байесовское априорное распределение
  • Частная жизнь и защита конфиденциальности
  • Сбор данных в темноте

• Глава 10. Классификация темных данных. Путь в лабиринте
  • Систематика темных данных
  • Подведение итогов

• Примечания