Что такое кэширование видео
Что такое кэшированные данные или данные кэша?
Многие пользователи смартфонов под управлением системы Android, заходя в менеджер управления использованным дисковым пространством, находят в нем такой пункт как кэшированные данные или данные кэша. Значение занятого им пространства может достигать как несколько килобайт, так и приличные сотни мегабайт. Для смартфона, у которого свободная память заканчивается, освобождение этих несколько сотен мегабайт может спасти ситуацию. Но прежде чем удалять кэшированные данные, давайте разберемся что это вообще такое и каковы последствия их удаления.
Что такое данные, находящиеся в кэше?
В процессе работы операционная система вашего устройства, будь то компьютер или современный смартфон, складывает некоторые “тяжелые” ранее задействованные файлы в специальное хранилище, называемое кэшем. Это могут быть файлы браузеров, программ (instagram, vk, электронная почта) и даже игр.
В Windows кэшированные данные могут называться просто временными файлами.
Вариант обозначения кэшированных данных в Windows 10
Рассмотрим ситуацию. Вы время от времени посещаете тот или иной сайт. Пусть это будет сайт vk.om. Элементы его дизайна (верхняя синяя полоска, фон, изображения кнопок, ваш аватар и т.д.) меняются довольно редко. Чтобы каждый раз не расходовать ваш интернет – трафик и не тратить время на загрузку этих “статичных” файлов, они помещаются во временное хранилище, которое называется кэш. При очередном заходе на сайт vk.com у вас он загрузится быстрее, так как часть файлов не будет загружаться из интернета, а будет взято из кэша, находящегося на вашем устройстве.
Технология кэширования данных широко используется не только интернет – браузерами, но также другими программами и играми. Задача кэша – ускорить работу приложения (сайта) или системы в целом за счет быстрого доступа к часто востребованным данным.
Можно ли удалить?
Делать это конечно же можно и периодически даже нужно. Ведь при размещении данных в кэше система не знает точно потребуются ли эти самые данные снова или нет.
В нашем примере с сайтом vk.com это выглядит так: вы заходите на сайт vk.com, регистрируетесь на нем, пользуетесь день, два, понимаете что он вам не интересен и перестаете на него заходить. А данные в кэше ведь остаются. И таких сайтов с течением времени может быть очень много. То же самое касается программ. Ставите интересную программу, пользуетесь ей, затем она вам надоедает, вы ее удаляете, а в кэше могут остаться какие – то ее остатки.
Поэтому кэш периодически нужно чистить. Этим вы никак не навредите своему устройству, будь то смартфон или ноутбук. После очистки кэша нужные данные просто снова загрузятся с сайта, а затем будут использоваться до очередной очистки. Если же кэш долго не чистить, то со временем его размер может серьезно вырасти, что негативно скажется на быстродействии устройства.
Кэширование видео потока HDS и HLS с прошью NGINX
Трансляция видео живого или по требованию на страницах интернета становится массовым явление и способов организовать такую трансляцию накопилось уже большое количество. На страницах Хабра имеется пару интересных статей как это можно сделать тут тут и здесь.
Но к вопросу о создании масштабируемых систем трансляции материалов практически нет. Данная статья расскажет как кэшировать видео и раздавать на большое количество пользователей.
Чаще всего видео трансляции организована по следующей схеме:
источник – перекодировщик – сервер трансляций — проигрыватель
Такая схема работает и достаточно популярна. Основная проблема, которая встречается при использовании – прожорливость Wowza к памяти и использованию процессора. Организовать трансляцию в 1000 потоков на одном, даже мощном сервере, часто не получится из-за нехватки ресурсов.
В качестве решения такой проблемы предлагается использовать прокси-сервер с кэшированием.
Пользователь грузит страничку с интегрированным флеш видео плеером (Strobe)
Плеер забирает видео поток по протоколу HTTP Dynamic Streaming (HDS) по 9000 порту
Nginx отдает из кеша кусочки потока по HTTP. При отсутствии файлов в кеше забирает кусочки потока от Wowza Media Server по порту 1935
Что будет использоваться в качестве источника видео сигнала, не существенно, такая конструкция будет работать и для Live, и для VOD, и для nDVR потоков.
Как настроить такую схему – пожалуйста под кат
Операционная система – Debian linux 7.0 но данная схема будет работать и на любой другой операционной системе.
Нам потребуется Wowza Media Server — работает под Java и Nginx.
Установка Wowza Media Server
root#apt-get install default-jdk
root#wget http://www.wowza.com/downloads/WowzaMediaServer-3-6-2/WowzaMediaServer-3.6.2.deb.bin
root#chmod +x WowzaMediaServer-3.6.2.deb.bin
root#./WowzaMediaServer-3.6.2.deb.bin
Замечу Wowza Media Server не бесплатное решение и для работы требуется лицензионный ключ
Ключ вводится при первом запуске
root#cd /usr/local/WowzaMediaServer/bin
root#./startup.sh
Установка nginx
root#apt-get install nginx
Настройка
Wowza Media Server – по умолчанию маркирует каждую сессию уникальным ключем и для наших целей такая маркировка будет вредна также Wowza требует указать HTTP Cache-Control headers и указать, чтоб каждый кусочек потоков имел уникальное название.
Подробней про настройку Wowza Media Server на странице официальной документации. www.wowza.com/forums/content.php?457
Нам же нужно будет добавить в описание приложения следующую секцию настроек.
Файл настроек приложения VOD вы найдете тут:
Добавить нужно в секцию HTTPStreamer/Properties
cupertinoOnChunkStartResetCounter
true
Boolean
Готовый файл конфигурационного найдете в конце статьи
Перегружаем Wowza Media Server сервер.
root#service WowzaMediaServer restart
и проверяем что наш Wowza Media Server работает и поток отдается и в нужном виде.
и файл manifest.f4m должен быть примерно такого содержания.
sample.mp4
424
240
596.458
video/mp4
recorded
streaming
AAADrmFic3QBAAAAAAAAAQAAAAPoAAAAAAAJGeoAAAAAAAAAAAABAAEAAAABAAAAGmFzcnQBAAAAAQAAAAABAAAAAQAAADUBAAADZmFmcnQBAAAAAAAD6AEAAAAANQAAAAEAAAAAAAAAAAAAK/IAAAACAAAAAAAAK/IAACvyAAAAAwAAAAAAAFfkAAAr8gAAAAQAAAAAAACD1gAAK/IAAAAFAAAAAAAAr8gAACfgAAAABgAAAAAAANeoAAAwLgAAAAcAAAAAAAEH1gAALeYAAAAIAAAAAAABNbwAACjaAAAACQAAAAAAAV6WAAAydQAAAAoAAAAAAAGRCwAAJxAAAAALAAAAAAABuBsAAConAAAADAAAAAAAAeJCAAAqpQAAAA0AAAAAAAIM5wAAK/IAAAAOAAAAAAACONkAACiHAAAADwAAAAAAAmFgAAAnOgAAABAAAAAAAAKImgAAJ2MAAAARAAAAAAACr/0AADOYAAAAEgAAAAAAAuOVAAApBAAAABMAAAAAAAMMmQAALhAAAAAUAAAAAAADOqkAAC+HAAAAFQAAAAAAA2owAAAwgAAAABYAAAAAAAOasAAAKyIAAAAXAAAAAAADxdIAACyZAAAAGAAAAAAAA/JrAAAr8gAAABkAAAAAAAQeXQAALMIAAAAaAAAAAAAESx8AACpRAAAAGwAAAAAABHVwAAAp/gAAABwAAAAAAASfbgAALMMAAAAdAAAAAAAEzDEAADLxAAAAHgAAAAAABP8iAAAwBAAAAB8AAAAAAAUvJgAAK/IAAAAgAAAAAAAFWxgAACvyAAAAIQAAAAAABYcKAAAo2gAAACIAAAAAAAWv5AAAL7EAAAAjAAAAAAAF35UAACvIAAAAJAAAAAAABgtdAAAutgAAACUAAAAAAAY6EwAALrcAAAAmAAAAAAAGaMoAACn+AAAAJwAAAAAABpLIAAAsbwAAACgAAAAAAAa/NwAANBUAAAApAAAAAAAG80wAACeNAAAAKgAAAAAABxrZAAAq+AAAACsAAAAAAAdF0QAANGkAAAAsAAAAAAAHejoAACt1AAAALQAAAAAAB6WvAAAr8gAAAC4AAAAAAAfRoQAAK/IAAAAvAAAAAAAH/ZMAACvyAAAAMAAAAAAACCmFAAAr8gAAADEAAAAAAAhVdwAAK/IAAAAyAAAAAAAIgWkAACvyAAAAMwAAAAAACK1bAAAr8gAAADQAAAAAAAjZTQAAK/IAAAA1AAAAAAAJBT8AABSr
AgAKb25NZXRhRGF0YQgAAAAAAAl0cmFja2luZm8KAAAAAgMACGxhbmd1YWdlAgADZW5nAAl0aW1lc2NhbGUAQDgAAAAAAAAABmxlbmd0aABAy/WAAAAAAAARc2FtcGxlZGVzY3JpcHRpb24KAAAAAQMACnNhbXBsZXR5cGUCAARhdmMxAAAJAAAJAwAIbGFuZ3VhZ2UCAANlbmcACXRpbWVzY2FsZQBA53AAAAAAAAAGbGVuZ3RoAEF7TYAAAAAAABFzYW1wbGVkZXNjcmlwdGlvbgoAAAABAwAKc2FtcGxldHlwZQIABG1wNGEAAAkAAAkADWF1ZGlvY2hhbm5lbHMAQAAAAAAAAAAAD2F1ZGlvc2FtcGxlcmF0ZQBA53AAAAAAAAAOdmlkZW9mcmFtZXJhdGUAQDgAAAAAAAAABmFhY2FvdABAAAAAAAAAAAAIYXZjbGV2ZWwAQD4AAAAAAAAACmF2Y3Byb2ZpbGUAQFCAAAAAAAAADGF1ZGlvY29kZWNpZAIABG1wNGEADHZpZGVvY29kZWNpZAIABGF2YzEABXdpZHRoAEB6gAAAAAAAAAZoZWlnaHQAQG4AAAAAAAAACmZyYW1lV2lkdGgAQHqAAAAAAAAAC2ZyYW1lSGVpZ2h0AEBuAAAAAAAAAAxkaXNwbGF5V2lkdGgAQHqAAAAAAAAADWRpc3BsYXlIZWlnaHQAQG4AAAAAAAAACWZyYW1lcmF0ZQBAOAAAAAAAAAAMbW9vdnBvc2l0aW9uAEGCfUSgAAAAAAhkdXJhdGlvbgBAgqOqqqqqqwAACQ==
Настройка Nginx прокси сервера с кэшированием
После установки из пакета настройки Nginx вы найдете по адресу /etc/nginx/.
Нам потребуется указать новую секцию сервера с прослушиванием 9000 порта, папку где будем хранить кеш, и директиву включающую, собственно, кэширование и адрес источника кэширования.
Файл настроек Nginx – /etc/nginx/nginx.conf можно редактировать в любимом редакторе.
В описании http секции
proxy_cache_path /var/tmp/nginx/proxy levels=1:2 keys_zone=proxy_cache:1024m max_size=10048m inactive=10d;
директива описывает название папки для кэширования, размер и условия хранения.
И описание секции server
server <
listen 9000;
server_name servername:9000;
location / <
proxy_pass http://:1935;
proxy_cache proxy_cache;
>
>
Указываем имя сервера и откуда брать контент для прокси. Также указано, что контент нужно проксировать.
Перегружаем сервис Nginx
root#service nginx restart
Использование
Кэшированное видео будет доступно по следующим URL
PS Замеченная особенность. Такая схема добавляет задержку в живое видео между событием и собственно видео рядом порядка 30-40 секунд.
Как, почему и когда надо чистить кэш на Android
Кэш приложений может быть спорной темой на Android. Многие люди постоянно чистят кэш приложений, веря в то, что это позволит смартфону работать быстрей. Другие говорят, что это, в первую очередь, сводит на нет всю цель кэширования и просто увеличивает время запуска приложений и выполняемых действий. Истина, как обычно, где-то посередине. Некоторые приложения могут не использовать кэширование эффективно, из-за чего используются излишне большие объемы памяти. Иногда кэш может вызывать проблемы после выхода обновления и надо его сбрасывать. А еще некоторые приложения могут начинать работать медленнее, когда их кэш становится очень большим. Сказать однозначно, надо ли его удалять, нельзя. Но сейчас рассмотрим эту тему подробнее, чтобы вы понимали, когда это делать и как?
Надо ли чистить кэш телефона?
Что такое кэш на Андройд
Кэширование в компьютерном мире это то, что позволяет приложениям, таким, как браузеры, игры и потоковые сервисы хранить временные файлы, которые считаются актуальными для уменьшения времени загрузки и увеличения скорости работы. YouTube, Карты, музыкальные сервисы и множество других приложений сохраняют информацию в виде данных кэша. Это могут быть миниатюры видео, история поиска или временно сохраненные фрагменты видео. Кэширование может сэкономить много времени, так как качество и скорость Интернета не везде одинаковы. Но по иронии судьбы, когда приложения выгружают много данных на ваш телефон, это в конечном итоге замедляет его работу, особенно, когда остается мало места на встроенной памяти.
Наш Иван Кузнецов не так давно писал о том, что никогда не чистит кэш и считает это не нужным. Многие из вас, возможно, с ним не согласны. Да я и сам переодически провожу эту процедуру. Тем не менее, для полноты картины можете ознакомиться с его мнением.
Очистка кэша и данных на Android
Хотя мы часто упоминаем очистку кэша и данных в одном ключе, на Android это два совершенно разных действия. Например, музыкальные сервисы часто сохраняют в кэш информацию, относящуюся к исполнителям, которых вы слушали, но которые не входят в вашу библиотеку. Когда кэш приложения очищается, все упомянутые данные стираются.
Очистка лишней не будет? Не факт.
Более существенные данные включают в себя пользовательские настройки, базы данных и данные для входа в систему. Когда вы очистите кэш, это все удалится и будет не очень приятно. Если говорить грубо, можно сказать, что очистка кэша придает приложению тот вид, который был сразу после его установки, но у вас останутся данные, которые вы сами осознанно сохранили (загруженные песни, видео в оффлайн, карты и так далее). Если вы удалите и эти данные, то приложение будет вообще нулевым. Если чистите и кэш, и данные, проще тогда и приложение переустановить, чтобы вообще все красиво было.
Как очистить память смартфона. Пять простых шагов.
Когда надо чистить кэш
В чем-то я согласен с Иваном и с его мнением, которое я приводил в начале статьи. Нет смысла чистить кэш часто. После того, как вы его очистили, приложение все равно его создаст заново. Только в это время оно будет работать еще медленнее.
Тут важно найти баланс и понять, действительно ли ваш смартфон тормозит из-за кэша или, например, он просто старый и уже не тянет. Если не вникать в это, то можно посоветовать чистить кэш один раз в 3-6 месяцев, но быть готовым, что первые несколько дней скорость работы будет чуть ниже. В итоге, вы как бы освежите приложение, удалив лишний мусор и заново собрав только то, что нужно.
Google Play рассылает пустые обновления приложений. Что делать?
Как очистить кэш и данные на Android
Точную инструкцию для каждого смартфона дать не получится, так как все зависит от производителя и версии ОС, но общие правила будут следующими.
Шаг 1: Запустите «Настройки» и перейдите в раздел «Хранилище» (или найдите его поиском). Так вы сможете узнать, сколько памяти вашего смартфона занято и чем.
Шаг 2. В разделе «Хранилище» найдите «Приложения» (или «Другие приложения») и выберите его. В нем будут перечислены все приложения, а также то, сколько места каждое из них занимает. В некоторых версиях ОС можно найти сортировку приложений по алфавиту или размеру.
Шаг 3: Зайдите внутрь приложения и удалите кэш или данные. Только надо понимать, что это действие необратимо.
Три простых шага для очистки кэша.
В отношении специальных приложений для очистки я очень категоричен и не рекомендую ими пользоваться. Несмотря на их обещания ускорить систему чуть ли не в разы, в лучшем случае они просто сделают то же, что я только что описал. Так почему бы не сделать это самому без установки сомнительных приложений, которые еще и будут собирать ваши данные? Единственное приложение-оптимизатор, которому я доверяю, это Google Файлы, но работает оно именно с хранилищем и чистит в первую очередь мусор. Хотя, на него тоже нельзя слепо полагаться, но оно сделано Google, а к ней доверия куда больше, чем к каким-то левым разработчикам.
Если вы все еще хотите установить подобное приложение, просто помните о том, что они работают в фоновом режиме и используют системные ресурсы. Даже если они что-то ускорят, то сразу замедлят обратно.
Надо ли чистить кэш Android-приложений
Возможность очистки данных — это действительно полезная функция для решения многих проблем, уникальная для Android. Но как и любой полезной вещью злоупотреблять ей не стоит. Не надо чистить кэш и память каждый день. Делайте это периодически и только по мере надобности. Начал телефон работать медленно — пробегитесь по хранилищу. Если увидели, что какое-то из приложений занимает слишком много места, хотя не должно, очистите кэш.
Еще больше полезных советов и рассуждения в нашем Telegram-канале.
Еще раз: очистка кэша не испортит ваш смартфон, но приложение потеряет часть сохраненных данных и оптимизированных под вас настроек. Некоторое время придется накапливать их заново, зато так можно убрать действительно лишнее. Раньше можно было одной кнопкой очистить кэш всех приложений, теперь только по одному, но, наверное, это к лучшему.
Чего точно не стоит делать с кэшем, так это чистить его каждый день или каждую неделю. Так вы точно не сделаете лучше никому.
Что такое кэшированные данные в Android телефоне
Разработчики мобильных приложений не стоят на месте и ежедневно работают над созданием новых продуктов. На смартфоне среднестатистического человека установлено множество программ, включающих мессенджеры, социальные сети, игры и различные сервисы. Иногда можно столкнуться с ситуацией, когда свободное место для загрузки новой утилиты закончилось. Опытные пользователи в этом случае рекомендуют удалить кэшированные данные из памяти устройства. Давайте рассмотрим, что это такое, а также разберёмся с принципом очистки кэша.
Что такое кэшированные данные в телефоне
Если не вдаваться в подробности, то кэшированные данные в телефоне – это временные файлы, хранящиеся в памяти устройства для более быстрой работы приложений или браузера. То есть это могут быть изображения, текстуры, данные веб-страницы и прочая информация.
Для наглядности приведём простой пример. Например, вы открыли мобильный клиент социальной сети и в ленте увидели новый пост с фотографией. Первоначально при медленном интернете картинка будет загружаться довольно долго, что будет заметно невооружённым глазом. После просмотра публикации закроем приложение и отложим телефон в сторону на некоторое время.
Спустя несколько минут можно снова запустить программу и перейти к просмотренному ранее посту. Будет удивительно, но при той же скорости интернета изображение загрузится практически моментально. Всё дело в том, что картинка будет подгружаться не из сети, а из внутренней памяти смартфона. Вот именно эти файлы, хранящиеся в телефоне, и называются «кэшем».
Можно ли удалить кэшированные данные
Мы разобрались, что такое кэшированные данные, а значит разумным будет вопрос: можно ли их удалить из памяти смартфона? Опытные пользователи естественно дадут положительный ответ, аргументирую это тем, что лишние файлы занимают свободное место во внутреннем хранилище устройства. Да, периодически очищать кэш нужно, но часто этого делать вовсе не требуется. Особенно это касается тех приложений, которыми вы регулярно пользуетесь.
Как известно, удаление кэшированных данных приведёт к уничтожению временных файлов и папок, содержащих ранее используемую информацию. Поэтому после выполнения процедуру нужно быть готовым, что в первое время приложение будет запускаться дольше обычного. Однако если со свободным местом проблемы, то очистка кэша – отличный способ освободить несколько мегабайт памяти.
Как удалить кэшированные данные в телефоне
А теперь после уточнения некоторой информации можно перейти к удалению кэшированных данных в телефоне. Перед началом процедуры отметим, что сделать это можно несколькими способами, о которых подробно рассказано ниже. Сначала рассмотрим традиционный метод, позволяющий очистить кэш конкретного приложения через настройки. Чтобы сделать всё правильно, воспользуйтесь следующей инструкцией:
А что делать, если необходимо удалить все кэшированные данные? Не беспокойтесь, переходить на страницу с каждым установленным приложением не придётся. Разработчики операционной системы Android всё продумали, поэтому вам нужно лишь воспользоваться следующим руководством:
Также можно пойти другим путём, установив на телефон специальное приложение. Например, это может быть программа Clean Master.
Кэширование и производительность веб-приложений
Кэширование позволяет увеличивать производительность веб-приложений за счёт использования сохранённых ранее данных, вроде ответов на сетевые запросы или результатов вычислений. Благодаря кэшу, при очередном обращении клиента за одними и теми же данными, сервер может обслуживать запросы быстрее. Кэширование — эффективный архитектурный паттерн, так как большинство программ часто обращаются к одним и тем же данным и инструкциям. Эта технология присутствует на всех уровнях вычислительных систем. Кэши есть у процессоров, жёстких дисков, серверов, браузеров.
Ник Карник, автор материала, перевод которого мы сегодня публикуем, предлагает поговорить о роли кэширования в производительности веб-приложений, рассмотрев средства кэширования разных уровней, начиная с самого низкого. Он обращает особое внимание на то, где именно могут быть кэшированы данные, а не на то, как это происходит.
Мы полагаем, что понимание особенностей систем кэширования, каждая из которых вносит определённый вклад в скорость реакции приложений на внешние воздействия, расширит кругозор веб-разработчика и поможет ему в деле создания быстрых и надёжных систем.
Процессорный кэш
Начнём наш разговор о кэшах с самого низкого уровня — с процессора. Кэш-память процессора — это очень быстрая память, которая играет роль буфера между процессором (CPU) и оперативной памятью (RAM). Кэш-память хранит данные и инструкции, к которым обращаются чаще всего, благодаря чему процессор может получать ко всему этому доступ практически мгновенно.
В процессорах имеется особая память, представленная регистрами процессора, которая обычно представляет собой небольшое хранилище информации, обеспечивающее крайне высокую скорость обмена данными. Регистры — это самая быстрая память, с которой может работать процессор, которая расположена максимально близко к остальным его механизмам и имеет небольшой объём. Иногда регистры называют кэшем нулевого уровня (L0 Cache, L — это сокращение от Layer).
У процессоров, кроме того, имеется доступ к ещё нескольким уровням кэш-памяти. Это — до четырёх уровней кэша, которые, соответственно, называются кэшами первого, второго, третьего, и четвёртого уровня (L0 — L4 Cache). То, к какому именно уровню относятся регистры процессора, в частности, будет ли это кэш нулевого или первого уровня, определяется архитектурой процессора и материнской платы. Кроме того, от архитектуры системы зависит то, где именно — на процессоре, или на материнской плате, физически расположена кэш-память разных уровней.
Структура памяти в некоторых новейших CPU
Кэш жёсткого диска
Жёсткие диски (HDD, Hard Disk Drive), применяемые для постоянного хранения данных — это, в сравнении с оперативной памятью, предназначенной для кратковременного хранения информации, устройства довольно медленные. Однако надо отметить, что скорость постоянных хранилищ информации увеличивается благодаря распространению твердотельных накопителей (SSD, Solid State Drive).
В системах долговременного хранения информации кэш диска (его ещё называют буфером диска или кэширующим буфером) — это встроенная в жёсткий диск память, которая играет роль буфера между процессором и физическим жёстким диском.
Кэш жёсткого диска
Дисковые кэши работают, исходя из предположения, что когда на диск что-то пишут, или с него что-то читают, есть вероятность того, что в ближайшем будущем к этим данным будут обращаться снова.
О быстродействии жёстких дисков и оперативной памяти
Разница между временным хранением данных в оперативной памяти и постоянным хранением на жёстком диске проявляется в скорости работы с информацией, в стоимости носителей и в близости их к процессору.
Время отклика оперативной памяти составляет десятки наносекунд, в то время как жёсткому диску нужны десятки миллисекунд. Разница в быстродействии дисков и памяти составляет шесть порядков!
Одна миллисекунда равна миллиону наносекунд
Простой веб-сервер
Теперь, когда мы обсудили роль кэширования в базовых механизмах компьютерных систем, рассмотрим пример, иллюстрирующий применение концепций кэширования при взаимодействии клиента, представленного веб-браузером, и сервера, который, реагируя на запросы клиента, отправляет ему некие данные. В самом начале у нас имеется простой веб-сервер, который, отвечая на запрос клиента, считывает данные с жёсткого диска. При этом представим, что между клиентом и сервером нет никаких особых систем кэширования. Вот как это выглядит.
При работе вышеописанной системы, когда клиент обращается напрямую к серверу, а тот, самостоятельно обрабатывая запрос, читает данные с жёсткого диска и отправляет клиенту, без кэша всё-таки не обходится, так как при работе с диском будет задействован его буфер.
При первом запросе жёсткий диск проверит кэш, в котором, в данном случае, ничего не будет, что приведёт к так называемому «промаху кэша». Затем данные считаются с самого диска и попадут в его кэш, что соответствует предположению, касающемуся того, что эти данные могут понадобиться снова.
При последующих запросах, направленных на получение тех же данных, поиск в кэше окажется успешным, это — так называемое «попадание кэша». Данные в ответ на запрос будут поступать из дискового буфера до тех пор, пока они не будут перезаписаны, что, при повторном обращении к тем же данным, приведёт к промаху кэша.
Кэширование баз данных
Усложним наш пример, добавим сюда базу данных. Запросы к базам данных могут быть медленными и требовать серьёзных системных ресурсов, так как серверу баз данных, для формирования ответа, нужно выполнять некие вычисления. Если запросы повторяются, кэширование их средствами базы данных поможет уменьшить время её отклика. Кроме того, кэширование полезно в ситуациях, когда несколько компьютеров работают с базой данных, выполняя одинаковые запросы.
Простой веб-сервер с базой данных
Большинство серверов баз данных по умолчанию настроены с учётом оптимальных параметров кэширования. Однако, существует множество настроек, которые могут быть модифицированы для того, чтобы подсистема баз данных лучше соответствовала особенностям конкретного приложения.
Кэширование ответов веб-сервера
Продолжим развивать наш пример. Теперь веб-сервер, раньше рассматриваемый как единая сущность, разбит на две части. Одна из них, собственно веб-сервер, теперь занимается взаимодействием с клиентами и с серверным приложением, которое уже работает с системами хранения данных. Веб-сервер можно настроить так, чтобы он кэшировал ответы, в результате ему не придётся постоянно отправлять серверному приложению похожие запросы. Похожим образом, основное приложение может кэшировать некоторые части собственных ответов на ресурсоёмкие запросы к базе данных или на часто встречающиеся запросы файлов.
Кэш ответов и кэш приложения
Ответы веб-сервера кэшируются в оперативной памяти. Кэш приложения может храниться либо локально, в памяти, либо на специальном кэширующем сервере, который использует базу данных, вроде Redis, которая хранит данные в оперативной памяти.
Мемоизация функций
Сейчас поговорим об оптимизации производительности серверного приложения за счёт мемоизации. Это — разновидность кэширования, применяемая для оптимизации работы с ресурсоёмкими функциями. Данная техника позволяет выполнять полный цикл вычислений для определённого набора входных данных лишь один раз, а при следующих обращениях к функции с теми же входными данными сразу выдавать найденный ранее результат. Мемоизация реализуется посредством так называемых «таблиц поиска» (lookup table), хранящих ключи и значения. Ключи соответствуют входным данным функции, значения — результатам, которые возвращает функция при передаче ей этих входных данных.
Мемоизация функции с помощью таблицы поиска
Мемоизация — это обычный приём, используемый для повышения производительности программ. Однако он может быть не особенно полезным при работе с ресурсоёмкими функциями, которые вызываются редко, или с функциями, которые, и без мемоизации, работают достаточно быстро.
Кэширование в браузере
Теперь перейдём на сторону клиента и поговорим о кэшировании в браузерах. В каждом браузере имеется реализация HTTP-кэша (его ещё называют веб-кэшем), который предназначен для временного хранения материалов, полученных из интернета, таких, как HTML-страницы, JavaScript-файлы и изображения.
Этот кэш используется, когда в ответе сервера содержатся правильно настроенные HTTP-заголовки, указывающие браузеру на то, когда и на какое время он может кэшировать ответ сервера.
Перед нами весьма полезная технология, которая даёт следующие преимущества всем участникам обмена данными:
Кэширование в браузере
Кэширование и прокси-серверы
В компьютерных сетях прокси-серверы могут быть представлены специальным аппаратным обеспечением или соответствующими приложениями. Они играют роль посредников между клиентами и серверами, хранящими данные, которые этим клиентам требуются. Кэширование — это одна из задач, которую они решают. Рассмотрим различные виды прокси-серверов.
▍Шлюзы
Шлюз (gateway) — это прокси-сервер, который перенаправляет входящие запросы или исходящие ответы, не модифицируя их. Такие прокси-серверы ещё называют туннелирующими прокси (tunneling proxy), веб-прокси (web proxy), прокси (proxy), или прокси уровня приложения (application level proxy). Эти прокси-серверы обычно совместно используются, например, всеми клиентами, находящимися за одним и тем же файрволом, что делает их хорошо подходящими для кэширования запросов.
▍Прямые прокси-серверы
Прямой прокси-сервер (forward proxy, часто такие серверы называют просто proxy server) обычно устанавливается на стороне клиента. Веб-браузер, который настроен на использование прямого прокси-сервера, будет отправлять исходящие запросы этому серверу. Затем эти запросы будут перенаправлены на целевой сервер, расположенный в интернете. Одно из преимуществ прямых прокси заключаются в том, что они защищают данные клиента (однако, если говорить об обеспечении анонимности в интернете, безопаснее будет пользоваться VPN).
▍Веб-ускорители
Веб-ускоритель (web accelerator) — это прокси-сервер, который уменьшает время доступа к сайту. Он делает это, заранее запрашивая у сервера документы, которые, вероятнее всего, понадобятся клиентам в ближайшем будущем. Подобные серверы, кроме того, могут сжимать документы, ускорять выполнение операций шифрования, уменьшать качество и размер изображений, и так далее.
▍Обратные прокси-серверы
Обратный прокси-сервер (reverse proxy) — это обычно сервер, расположенный там же, где и веб-сервер, с которым он взаимодействует. Обратные прокси-серверы предназначены для предотвращения прямого доступа к серверам, расположенным в частных сетях. Обратные прокси используются для балансировки нагрузки между несколькими внутренними серверами, предоставляют возможности SSL-аутентификации или кэширования запросов. Такие прокси выполняют кэширование на стороне сервера, они помогают основным серверам в обработке большого количества запросов.
▍Пограничное кэширование
Обратные прокси-серверы расположены близко к серверам. Существует и технология, при использовании которой кэширующие серверы располагаются как можно ближе к потребителям данных. Это — так называемое пограничное кэширование (edge caching), представленное сетями доставки контента (CDN, Content Delivery Network). Например, если вы посещаете популярный веб-сайт и загружаете какие-нибудь статические данные, они попадают в кэш. Каждый следующий пользователь, запросивший те же данные, получит их, до истечения срока их кэширования, с кэширующего сервера. Эти серверы, определяя актуальность информации, ориентируются на серверы, хранящие исходные данные.
Прокси-серверы в инфраструктуре обмена данными между клиентом и сервером
Итоги
В этом материале мы рассмотрели различные уровни кэширования данных, применяющиеся в процессе обмена информацией между клиентом и сервером. Веб-приложения не могут мгновенно реагировать на воздействия пользователя, что, в частности, связано, для действий, требующих обмена данными с серверами этих приложений, с необходимостью выполнения неких вычислений перед отправкой ответа. Во время, необходимое для передачи данных от сервера клиенту, входит и время, необходимое для поиска необходимых данных на диске, и сетевые задержки, и обработка очередей запросов, и механизмы регулирования полосы пропускания сетей, и многое другое. Если учесть, что всё это может происходить на множестве компьютеров, находящихся между клиентом и сервером, то можно говорить о том, что все эти задержки способны серьёзно увеличить время, необходимое для прихода запроса на сервер и получения клиентом ответа.
Правильно настроенная система кэширования способна значительно улучшить общую производительность сервера. Кэши сокращают задержки, неизбежно возникающие при передаче данных по сети, помогают экономить сетевой трафик, и, в результате, уменьшают время, необходимое для того, чтобы браузер вывел запрошенную у сервера веб-страницу.
Уважаемые читатели! Какие технологии кэширования вы используете в своих проектах?