Что такое метаданные файла
Как управлять и редактировать метаданными фотографий и файлов
Наиболее важной особенностью метаданных является их упорядоченная структура. Информация точно отнесена к категории и имеет определенную форма / формат. Например, категорию Времени создания можно заполнить только с помощью формата записи даты и времени.
Благодаря структурированному виду, метаданные доступны для чтения не только человеком, но и компьютерами. Таким образом, могут быть обработаны машинным способом и использованы для различных целей: индексация, поиск, объединение или автоматическая обработка.
Метаданные в графических файлах (фотографиях)
Каждый тип файла имеет свой стандарт для метаданных. В случае графических файлов, таких как фотографии с цифровой камеры или смартфона (форматы JPEG, TIFF и RAW), мы имеем дело с метаданными формата Exif (Exchangeable image file format), которые очень развиты, в сравнении метаданными других типов файлов.
В Exif можно хранить информацию на тему обстоятельств создания фотографии, месте съемки, типе и параметрах цифровой камеры, информации об авторских правах. Это также место для тэгов, описывающих тему изображения.
Если возникает необходимость детального описания содержания фотографии, Exif можно расширить набором метаданных в стандарте IPTC (International Press Telecommunications Council), в котором, кроме полей, связанных с темой фотографии, есть раздел для контактных данных фотографа. Это стандартное дополнение графических файлов, которые доступны через банки фотографий.
Просмотр и редактирование метаданных файлов
Базовый набор метаданных, который создается автоматически вместе с графическим файлом в цифровом фотоаппарата или сканере, можно прочитать с помощью окна Свойства файла и во всех последних версиях Windows.
Удобный инструмент для чтения метаданных дает браузер графических файлов IrfanView, при условии, что установлен плагин, включающий в себя библиотеку для декодирования Exif. Хотя там не хватает возможности редактирования Exif, IrfanView позволяет создать для фотографии описание в формате IPTC.
С метаданными прекрасно справляются также все программы для обработки цифровых фотографий. Для любительского применения, можно рекомендовать программу Google Picasa, который имеет панель, позволяющую проверить все данные фотографии.
К сожалению, возможности редактирования метаданных ограничена. Поэтому в случае более серьезных потребностей, стоит обратить внимание на Adobe Lightroom, который имеет очень сложные инструменты для просмотра и редактирования метаданных. Хотя программа стоит немалых денег, её можно бесплатно использовать в течение 30 дней. Подробнее о редактировании метаданных в Lightroom Вы узнаете ниже.
Поиск с помощью метаданных файла
Отличный способ использования метаданных – поиск изображений на основе одного из полей Exif. Это можно сделать например в программе Google Picasa. Для этого предназначены специальные команды, которые вводят в поле поиска внутри приложения.
Например, для того, чтобы отобрать фотографии, сделанные при определенной чувствительности матрицы, введите команду ISO 200. Если ввести имя камеры, приложение выберет фотографии, сделанные этой моделью камеры.
Программа также распознает метки, добавленные фотографом. Кроме того, рядом с полем поиска имеется ползунок, который позволяет легко фильтровать результаты поиска на основе диапазона времени.
Интересной функцией Picasa является возможность сохранения такого запроса в виде альбома. Команду сохранения поиска в виде папки ищите в меню Инструменты → Экспериментальные → Сохранить результаты поиска. В этом же меню находится опция сохранения альбома фотографий, помеченных одним тегом. Аналогичный инструмент существует и в Adobe Lightroom, а также в Проводнике Windows.
Метаданные файлов в Интернете
В галереях стандартом является представление метаданных рядом с просматриваемой фотографией. Сайты активно используют данные из EXIF, например, для «привязки» фотографии к географической карте. Например, в галерее Google, в Google+ или Picasa Web Albums, рядом с фото появится карта с предварительным просмотром.
Метаданные файлов в Проводнике Windows
В Проводнике Windows можно читать и изменять содержимое метаданных файлов и графических файлов, а также использовать их для сортировки и автоматического упорядочивания изображений в папке по определенному критерию, например, типу камеры или чувствительности матрицы.
Метаданные файлов в программе Adobe Lightroom
Adobe Lightroom – это «рабочая лошадка» продвинутых любителей и профессиональных фотографов. Приложение предназначено для управления коллекциями из тысяч фотографий и имеет мощные инструменты для редактирования метаданных и автоматического отбора фотографий на их основе.
Что такое метаданные. Объясняем простыми словами
Метаданные — это средство классификации, упорядочивания и характеристики данных.
Проще говоря, метаданные — это данные о данных (об их составе, содержании, статусе, происхождении, местонахождении, качестве, форматах, объёме, условиях доступа, авторских правах и т. п.).
Ежедневно мы отправляем электронные сообщения или файлы. У каждого такого послания есть не только содержание, но и дата и время отправки, указание отправителя и получателя, тип вложения, его объём и прочие характеристики. Это и есть метаданные.
Пример употребления на «Секрете»
«ProPublica обвинила корпорацию в сборе метаданных пользователей WhatsАpp — картинок, номеров телефонов, часовых поясов и даже IP-адресов. Куда они потом передавались? Журналисты ProPublica утверждают, что прямиком к американским силовикам».
(Из материала об уязвимостях проектов Facebook.)
Нюансы
Изначально этот термин означал средство каталогизации архивной информации: карточки библиотечного каталога включают систематизированные данные о каждой книге, в том числе название книги, его автора, жанр, аннотацию и т. д. Идея метаданных с тех пор не изменилась, хоть поле деятельности перешло в цифровой мир. По сути, вы генерируете метаданные прямо сейчас.
У любого файла, телефонного разговора, публикации в Facebook, видеофильма или перевода денег через банковское приложение есть метаданные. Мы часто не замечаем их, поскольку наше внимание закономерно сфокусировано на содержании. Но метаданные неотделимы от самих данных — трудно представить себе документ, у которого нет даты создания или редактирования.
Наличие возможности фильтровать метаданные значительно облегчает поиск определённого документа, файла или контента, ведь они содержат больше ценной информации, чем может показаться на первый взгляд. По метаданным можно выследить человека или получить на него компромат, полностью изменив его жизнь.
Доступ к вашим метаданным, которые передаются через интернет, есть у самых разных людей и организаций. Это могут быть как маркетологи, так и хакеры с госорганами. Например, заголовки писем могут быть доступны не только отправителю и адресату, но и почтовым провайдерам и даже спецслужбам. Владелец сайта, на который вы заходите, может узнать не только ваш IP-адрес, но и версии браузера и операционной системы. Это объясняется тем, что зачастую метаданные общедоступны и никак не защищены.
Правительства разных стран требуют от телекоммуникационных компаний хранить метаданные определённое количество времени для нужд правоохранительных органов и спецслужб. В России за эту процедуру отвечает «пакет Яровой», который предписывает сотовым операторам и интернет-компаниям хранить до шести месяцев весь пользовательский трафик — переписку в мессенджерах, социальных сетях и электронной почте, аудиозаписи звонков. При этом метаданные — то есть информацию о том, кому и когда звонил или пересылал файлы пользователь, — нужно хранить ещё дольше, а именно в течение трёх лет. Правоохранительные органы могут получить эту информацию по запросу.
Виды метаданных
Национальная организация по информационным стандартам (NISO) предлагает классифицировать метаданные таким образом:
Примеры
Метаданные используются при организации разных видов цифровой информации. Вот несколько примеров:
Существуют и признанные стандарты метаданных для определённых форматов данных. Например, таковым можно назвать общеевропейский исследовательский информационный формат (CERIF). Этот стандарт ЕС рекомендует своим государствам-членам для регистрации информации об исследовательской деятельности.
Как метаданные меняют жизнь людей
В апреле 2017 года московского математика Дмитрия Богатова обвинили в том, что он якобы призывал в Сети к массовым беспорядкам и терроризму на акции протеста. По версии следствия, Богатов под псевдонимом Айрат Баширов публиковал на интернет-форуме провокационные материалы о подготовке к вооружённому восстанию. Правоохранительные органы утверждали, что вычислили математика по IP-адресу. Сам Богатов объяснял, что не имеет к Айрату Баширову никакого отношения, поскольку в его квартире функционировал выходной узел сети Tor, с помощью которой с его IP-адреса публиковать сообщения мог фактически кто угодно. Поэтому трафик злоумышленника, предположительно, прошёл через компьютер математика.
Таким образом, метаданные (IP-адрес) послужили поводом для уголовного преследования. После того как Богатов провёл несколько месяцев в СИЗО, уголовное дело против него прекратили. Затем математик вместе с женой покинул Россию. Впоследствии по этому делу задержали Владислава Кулешова из Ставрополя, который признал вину и получил полтора года ограничения свободы.
Невидимая угроза: что нужно знать о метаданных
Мы регулярно делимся фотографиями в соцсетях, создаем плейлисты, оформляем покупки онлайн или отвечаем на email. Однако не все знают, что с каждым новым сообщением или постом, с каждым заказом в интернет-магазине мы оставляем всё больше цифровых следов. Этому способствуют метаданные.
Метаданные — это невидимая информация, или «данные о данных», важная составляющая любого документа, музыкального файла, видеозаписи или фотографии. Они присваиваются автоматически и включают в себя описание самого файла, заголовки и подзаголовки, автора и редактора, дату и время создания, версию и технические характеристики программы, в которой был создан файл, местоположение и т.п.
Метаданные помогают установить лицензионные ограничения на распространение информации, указывая на автора контента.
Провайдеры интернет-услуг и правительственные организации могут использовать метаданные с веб-страниц, электронных писем, телефонных звонков для мониторинга активности в интернете (вспоминаем закон Яровой).
Встроенные в веб-сайты метаданные включают описание ресурса, ключевые слова, метатеги и т.д. Они позволяют систематизировать информацию для поиска, а также идентифицировать контент.
Сайты интернет-магазинов активно используют метаданные для отслеживания привычек, потребностей, изменений вкусов пользователей. Сохраняя такую информацию, как тип устройства, геолокацию и т.д., маркетологи могут формировать актуальные для вас предложения (ну, или пугать излишней осведомлённостью, здесь как посмотреть).
Однако не всегда метаданные используются в благих целях. Эксперты Digital Security изучили вопрос и рассказали о потенциальной опасности от метаданных, попавших в руки к злоумышленникам.
Примечательно, что многие помнят о важности скрытия IP-адреса, знают способы его замены, но при этом даже не слышали о метаданных, которые могут предоставить больше личной информации, чем тот же IP-адрес.
Пользователи отправляют по Сети миллиарды файлов: документов, фото и видео. Только через один WhatsApp — около миллиарда фотографий ежедневно.
Специалисты Digital Security проанализировали популярные мессенджеры, почтовые сервисы, фотостоки и облачные хранилища, чтобы выяснить, как эти сервисы ведут себя с метаданными. Передают ли они файлы с существующими метаданными и личной информацией пользователей или изменяют и удаляют их?
Нам понадобились фотографии, видео и текстовые документы форматов DOCX, JPG, MP4, выборка из 16 популярных сервисов и ресурс Jeffrey’s Image Metadata Viewer. Вы можете ознакомиться с исследованием подробнее. Далее же приводим краткие выводы.
Вот что удалось выяснить:
При отправке любых файлов, будь то фото, видео или текстовый документ по Gmail, Mail или Яндекс.Почте метаданные остаются в целости и сохранности и содержат всю информацию о файле;
При загрузке файлов в облачные хранилища Яндекс.Диск, Google Drive и Mega.nz метаданные также остаются на месте;
В случае пересылки фото через функцию “Камера” (или из “Галереи”) данные убираются полностью, но при этом снижается качество отправляемого материала;
При передаче видеофайла таким же образом Viber оставляет данные нетронутыми; WhatsApp убирает геометку, а Telegram частично удаляет данные;
Метаданные обычно игнорируются как угроза цифровой безопасности, поскольку мы фокусируемся на содержании файла. Но иногда они могут оказаться полезнее, чем сам файл, и послужить источником информации о потенциальной жертве на первом этапе работы социального инженера. (Подробнее о социальной инженерии можете прочитать здесь).
По метаданным фотографий, опубликованных вами в соцсетях, можно вычислить основные маршруты передвижения по городу: место проживания и работы, любимые кафе и магазины. Если вы передаёте фотографии через мессенджеры вложенным файлом, то с ними передаётся и “дополнительная информация” — технические характеристики и модель устройства, на которое было сделано фото, дата съёмки и геолокация. Таким образом, имея ряд изображений одного и того же автора, можно судить о наличии определённых гаджетов, о распорядке дня, маршрутах передвижений и других деталях частной жизни.
Полученную информацию злоумышленник может использовать для подготовки сценария действий и необходимых средств атаки социальной инженерии (фишинговые ресурсы, вредоносные вложения и др.), а также для завоевания доверия пользователя.
Метаданные могут использоваться и при атаках на организации. Например, злоумышленник может подготовить эксплойт, узнав версию ПО. Более того, как мы уже выяснили (стр.8 исследования), в метаданных документов MS Office можно увидеть автора файла, обычно это ФИО или текущий логин операционной системы. Соответственно, неосторожно опубликованные документы компании могут послужить источником для словарей логинов. Мошенники охотно используют их в процессе перебора учетных данных на доступных ресурсах компании.
С точки зрения злоумышленника метаданные полезнее, чем сам файл. Особенно велика вероятность их использования при атаках социальной инженерии. Аналитики Digital Security советуют избавляться от метаданных, это можно сделать через раздел «Свойства». Для этого необходимо кликнуть на вкладку «Подробно» и отредактировать или удалить метаданные, нажав на ссылку «Удаление свойств и личной информации» и выбрав нужные пункты.
В мессенджерах и по почте пользователи отправляют несчетное количество документов и фотографий, и лишь немногие помнят о том, что отправляемые файлы содержат автоматически присвоенные данные о них: дату и время создания, имя автора, версию и технические характеристики программы или устройства и, конечно, отметку местоположения, которая заслуживает отдельного внимания.
Эти цифровые следы способны сыграть злую шутку. Поэтому если вы не хотите делиться личной информацией с третьими лицами — удаляйте метаданные. А чтобы скрыть свое местоположение, стоит отключить геолокацию в настройках камеры.
Наличие у каждого файла метаданных – это лишь еще одно напоминание о том, что сами пользователи могут становиться виновниками утечки своей же личной информации или чувствительной информации своей компании.
Следите за информацией, которой делитесь в Сети и сделайте свое цифровое пространство более безопасным!
Как невидимые данные электронных документов приводят к реальным проблемам
Самые опасные утечки конфиденциальных данных — это те, о которых люди даже не подозревают.
Минутка риторики. IT-угрозы какого типа опасны для корпораций и небольших компаний, правительств стран и отдельных людей? Утечки конфиденциальных данных. Какие утечки сложнее всего предотвратить? Те, о возможности которых жертвы даже не подозревают.
Не подозревают они, кроме всего прочего, о метаданных, легко превращающих обыкновенный электронный документ в ценный компрометирующий материал.
Метаданные в документах: какие они бывают
Начнем с теории. По классификации, используемой американской Фемидой, выделяют три категории метаданных:
1. Метаданные приложений. Они добавляются в файл приложением, в котором он создается, и хранят внесенные пользователем в документ изменения: журнал сделанных правок, комментарии.
2. Системные метаданные. Включают имя автора, название и размер файла, даты создания, изменения и так далее.
3. Внедренные метаданные. Сюда относятся формулы в ячейках электронных таблиц, гиперссылки, связанные файлы. К этой же категории причисляют и EXIF-метаданные графических файлов — о них мы уже рассказывали подробно.
Как написала по следам скандала BBC, в итоге правительство Великобритании для публикации документов вместо формата DOC предпочло использовать PDF, несущий меньше метаданных.
Любопытную историю разоблачения с помощью метаданных рассказали в 2015 году сотрудники американской юридической компании Venable. К ним обратилась некая компания, из которой уволился вице-президент. Вскоре у этой компании сорвался госконтракт — его с помощью уволившегося сотрудника получила конкурирующая организация.
Бывший работодатель заподозрил перебежчика в краже коммерческих секретов, которые и помогли конкуренту получить контракт с американским правительством. В защиту носитель тайны и его новая компания представили документ, содержащий аналогичное коммерческое предложение, но уже в адрес иностранного государства. По их утверждению, оно было подготовлено раньше, чем был объявлен конкурс в США, предназначалось для другого заказчика и потому не угрожало интересам «кинутой» компании.
Вывести злоумышленников на чистую воду позволила обнаруженная в предоставленном файле «временная аномалия». Согласно системным метаданным документа, последнее сохранение файла произошло раньше, чем последняя печать, чего, как признали эксперты с обеих сторон, не могло быть. (Дело в том, что дата последней печати относится к категории метаданных приложения и сохраняется в документе только при сохранении самого файла. Если документ напечатать, а файл после этого не сохранить, новая дата печати в него не запишется.)
Второе доказательство подделки файла заключалось в дате его создания на корпоративном сервере: он был создан уже после начала разбирательства. Кроме того, ответчиков уличили в манипуляции с датами последней модификации файлов формата OLM (файл почтовой базы Microsoft Outlook для Mac).
Скрытные файлы
Богатый выбор средств сбора конфиденциальной информации предоставляют приложения Microsoft Office. Например, в примечаниях к тексту могут быть записаны дополнительные сведения, не предназначенные для публикации. Встроенный в Word механизм учета изменений, который отмечает на полях вносимые в документ правки, тоже может быть полезен «шпиону». Если выбрать опцию «Показать измененный документ», то примечания и список изменений с экрана пропадут, но останутся в файле ждать наблюдательного читателя.
А еще есть заметки к слайдам презентаций, скрытые столбцы в электронных таблицах…
Кстати, попытки спрятать информацию без знания матчасти тоже чреваты. В качестве примера можно рассмотреть опубликованный на сайте CBSLocal документ судебной тяжбы между правительством США и бывшим губернатором Иллинойса Родом Благоевичем о вызове в качестве свидетеля Барака Обамы, датированный 2010 годом.
Часть текста скрыта от любопытствующих глаз черными прямоугольниками. Но можно выделить мышкой все строки, скопировать их в буфер обмена и вставить в текстовый редактор. Теперь можно прочитать весь текст.
Черные прямоугольники в PDF помогут спрятать информацию при печати, но в электронном виде обойти их проще простого
Файлы с двойным дном
Отдельная песня — внедренные в документ данные внешних файлов.
Скачиваем файл, отключаем защиту документа от редактирования (пароль не требуется). На странице 41 — обычная с виду диаграмма. В контекстном меню диаграммы выбираем команду «Изменить данные», и перед нами в первозданном виде открывается внедренный файл Microsoft Excel, содержащий исходные данные для диаграммы.
Файл Word с отчетом, а внутри — файл Excel с множеством исходных данных для этой и других диаграмм
Понятно, что в таких внедренных файлах может быть практически все что угодно, ведь тому, кто публиковал исходный документ, наверняка казалось, что это никто не увидит.
Урожай метаданных
«Выжимка» метаданных из документов интересующей организации может быть автоматизирована — например, с помощью программы FOCA (Fingerprinting Organizations with Collected Archives) компании ElevenPaths.
FOCA может найти и загрузить с исследуемого сайта документы нужных форматов (например, DOCX и PDF), проанализировать их метаданные, а также рассказать многое об организации: используемое серверное ПО, имена пользователей и так далее.
Предостережение: изучение сайтов с помощью подобных инструментов даже в исследовательских целях может не понравиться их владельцам, а то и вовсе сойти за киберпреступление.
Документированные странности
Предлагаем пару особенностей метаданных, о которых, по нашим наблюдениям, знает не каждый IT-специалист. Возьмем для примера файловую систему NTFS, используемую операционными системами Windows.
Первая неочевидная вещь. Если удалить какой-либо файл из папки и сразу сохранить новый файл с тем же именем в эту же папку, то дата создания нового файла останется от старого, удаленного файла. То есть файл мы создали только что, но система уверяет, что он существует уже давно.
Вторая неочевидная вещь. NTFS среди прочего хранит дату последнего доступа к файлу. Однако если открыть файл, а потом посмотреть дату доступа к нему в свойствах, то можно увидеть, что она осталась неизменной.
Может даже показаться, что это баги, но нет: обе странности являются документированными особенностями. В первом случае работает так называемый механизм туннелирования (англ. tunneling), который нужен для совместимости со старыми программами. По умолчанию эффект длится 15 секунд, в течение которых новый файл получает дату создания своего предшественника (настроить этот интервал или вовсе отключить туннелирование можно в реестре). Впрочем, этого хватило, чтобы я сам столкнулся с туннелированием дважды в течение недели при обычной офисной работе.
Второй случай тоже описан в документации: начиная с Windows 7, для повышения производительности Microsoft отключила автоматическую простановку даты последнего доступа к файлу. Включить эту функцию можно в реестре. Впрочем, ее активация не имеет обратной силы — файловая система правильную дату не хранит (проверено низкоуровневым редактором диска).
Надеемся, эксперты по цифровой криминалистике знают все подобные нюансы.
К слову, метаданные файлов могут быть легко изменены как штатными средствами ОС и «родных» приложений, так и с помощью специальных программ. Поэтому использовать их как решающее доказательство в суде вряд ли получится, разве что вместе с сопутствующими свидетельствами вроде журналов почтовых сервисов, файловых серверов и так далее.
Метаданные: защитные меры
В приложения Microsoft Office встроена функция «Инспектор документов» (меню Файл —> Поиск проблем), которая показывает, какие скрытые данные хранятся в файле. Часть из них «Инспектор» может по запросу пользователя удалить, но только не внедренные файлы (как в упомянутом отчете министерства образования США). Вообще же лучше вставлять диаграммы и другие материалы в итоговый документ в виде картинок.
Аналогичные функции удаления метаданных имеет и редактор Adobe Acrobat.
Кроме того, защита от утечек реализуется и в комплексных пакетах информационной безопасности. Так, модуль DLP (Data Loss Prevention) присутствует в Kaspersky Total Security для бизнеса, Kaspersky Security для почтовых серверов и Kaspersky Security для серверов совместной работы. Эти продукты умеют фильтровать такие нежелательные для попадания вовне вещи, как история изменения документа, комментарии и внедренные объекты.
Но идеальный (и, как это и положено идеалам, на все 100% недостижимый) способ побороть любые утечки — это обученные, думающие и ответственные сотрудники.