Streambox VCR Suite (Для загрузки стримов по устаревшим версиям протокола rtsp.Сейчас может пригодиться только для конвертации файлов из формата ra в mp3)
RTMP, RTMPE
Wireshark+filter: RTMPT
Снифферы мультимедиа ссылок:
RTMPDump 2.5 (Handshake 10 support) #
Гарантированно 100% способа скачать rtmpe стрим нет,надо перебирать разные утилиты в каждом конкретном случае.
GetFLV
Как искать SecureToken к RTMPE отсюда и далее
RTMFP (Flash P2P)
Перед началом воспроизведения flash-плеер предлагает использовать пиринговую сеть
Примеры..
Скачивание через rtmpdump возможно лишь в некоторых случаях, когда доставка стрима дублируется по rtmp
Поток состоит из множества сегментов с расширением *.ts
Примеры..
Подробнее.
Подробнее.
FFmpeg 1 2 3 | QMPlay2 (Рекомендуются к использования только стабильные релизы с указанием конкретной версии,например,3.0,это последняя сборка от Zeranoe,пригодная к использованию на XP)
Jaksta | Replay Media Catcher (поддержка заявлена,но качают только посегментно.)
Как скачать HLS-стрим (без DRM),если известны только адреса (номера) ts-сегментов
Adobe HDS
Wireshark+filter: http.request.uri contains «f4m»
Расширение HDS Link Detector для Firefox
Примеры..
Подробнее.
Расширение Adobe HDS / HLS Video Saver для Chrome
GetFLV
Сниффер мультимедиа ссылок: URL Helper
Расширение Media Sniffer для Firefox
Примеры..
Любой менеджер закачек
HTTP Pseudo Streaming
Любой браузер с определением мультимедиа. Например, Firefox c расширениями Download Helper или FlashGot или Media Sniffer
Примеры..
Подробнее.
Любой менеджер закачек.
Firefox c расширениями FlashGot, Video DownloadHelper (или подобными им)
расширение Firefox GreaseMonkey со скриптом SaveTube(или подобным) (до 720p)
downsub.com (загрузка субтитров)
GetFLV
4K Video Downloader (для скачивания плейлистов с YouTube)
Сохраняем видео с сервиса YouTube c помощью VLC плеера
Как скачать плейлист с YouTube 1 2
Как скачать и склеить аудио и видео с YouTube (особенно актуально для загрузки видео высокого разрешения)
Плеер (как правило) требует наличия плагина Silverlight
Примеры..
Подробнее. Подробнее.
ISM Downloader
Как скачивать Microsoft Smooth Streaming видео
Torrent TV (Ace Stream)
Плеер требует наличия Ace Stream P2P Multimedia Plug-in
Подробнее.
Ace Player в составе Ace Stream Media
MPEG-DASH
Wireshark+filter: http.request.uri contains «mpd»
Примеры..
youtube-dl GUI 1 2 3 4
http.request.uri contains «mjpeg»
Атрибут content-type в ответе сервера при запросе таких файлов в браузере определяется как multipart/x-mixed-replace
Примеры..
Подробнее.
FFmpeg 1 2 3 | QMPlay2
и практически любой современный браузер/менеджер закачек
MMS
Снифферы мультимедиа ссылок:
и большинство современных менеджеров закачек
GetFLV
Универсального способа определения технологии стриминга видео нет. Наиболее надежным способом является изучение сетевого дампа, снятого в момент начала воспроизведения видео онлайн. Для захвата дампа лучше всего использовать сниффер Wireshark, распознающий большое количество протоколов. Выше перечислены наиболее популярные протоколы стриминга и предлагается ПО для сохранения стримов. Иногда сервера могут использовать при передаче видео нестандартные порты и Wireshark может не определить протокол, в этом случае бывает полезно сохранить сетевой дамп и сделать в нем ручной поиск по паттернам (как в текстовом файле).
Большая просьба для новичков и всех, кто затрудняется идентифицировать/скачать стрим: Перед заданием вопроса в теме настоятельно рекомендуется сначала испробовать перечисленные ниже рекордеры для автоматического сохранения стримов, поддерживающие большое количество протоколов и сервисов:
Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору DLZ Я так и не понял как закачивать с tree.tv Можно ли разжевать эту тему для меня?Спасибо
Добавлено: LZAA С каких сайтов можно качать программой ffmpeg? Как обойти ограничение по местоположению? Спасибо
Всего записей: 1711 | Зарегистр. 09-01-2010 | Отправлено:19:13 29-11-2017
pasha9174
Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору Есть сейчас возможность скачивать одним файлом с MEGOGO? Последний Firefox с дополнениями Video Downloader Pro и DownloadHelper. Не работают толком (самой скачки нет, а из кеша просмотренного в онлайне собирается файл и тот кривой). Internet Download Manager тоже не подхватывает. http://megogo.net/ru/view/53241-21-i-bolshe.html http://megogo.net/ru/view/1340751-igra-endera.html PS Да ещё совсем никак не определяются фильмы которые по подписке. Нужна так же возможность их скачать (пусть даже защищенный DRM файл) Вообщем хэлп люди.
Всего записей: 6 | Зарегистр. 29-11-2017 | Отправлено:21:52 29-11-2017
Какой операционной системой пользуетесь? Фильм по подписке: регистрация, ссылка?
Всего записей: 1711 | Зарегистр. 09-01-2010 | Отправлено:23:12 29-11-2017
pasha9174
Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору Windows 10. Mozilla Firefox 57. С подписки мне нужно 8 фильмов. В 1080p (то есть максимальное качество) https://megogo.net/ru/view/2092141-karate-pacan.html https://megogo.net/ru/view/2889101-gol.html https://megogo.net/ru/view/1609661-vkus-nochi.html https://megogo.net/ru/view/1452321-ugnat-za-60-sekund.html https://megogo.net/ru/view/1450961-odinokiy-reyndzher.html https://megogo.net/ru/view/2134781-bez-lica.html https://megogo.net/ru/view/2092261-chelovek-pauk-3-vrag-v-otrazhenii.html https://megogo.net/ru/view/1452481-plan-igry.html
Если получится вытянуть ссылки m3u8 максимального качества буду очень благодарен.
PS Акк отправил вам на почту которая в профиле. Тут лс не дает отправить (ошибка)
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору Слово „регистрация“ заметили?
Всего записей: 1711 | Зарегистр. 09-01-2010 | Отправлено:01:18 30-11-2017
pasha9174
Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору Я вам на почту отправил которая в профиле. Надеюсь не фейковая))) А то лс не отправляется (ошибку выдает) И ещё в приватной теме для вас тут написал http://forum.ixbt.com/topic.cgi?id=0:128526
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору Каратэ-пацан: https://vs35.vcdn.biz/849e2014ade6f5a5fddb6e0a4e4d5e55_megogo/vod/mpd/o/34974111/u_sid/g7q70mmv3iq9udmh6ef4929661/u_uid/194270872/u_vod/4/u_device/html5/u_srvc/4931/g/qi/media-i1045779541.m4s Гол!: https://vs333.vcdn.biz/579193dc899596755acec6fec2d61c50_megogo/vod/mpd/o/46367651/u_sid/g7q70mmv3iq9udmh6ef4929661/u_uid/194270872/u_vod/4/u_device/html5/u_srvc/4931/g/ru/media-i1005475501.m4s Вкус ночи: https://vs304.vcdn.biz/6a2f02801b779b012102b78bca13eb52_megogo/vod/mpd/o/28390991/u_sid/g7q70mmv3iq9udmh6ef4929661/u_uid/194270872/u_vod/4/u_device/html5/u_srvc/4931/g/ru/media-i837427131.m4s Угнать за 60 секунд: https://vs324.vcdn.biz/b7601cdefe92766ddc014fc3c7eac029_megogo/vod/mpd/o/24873031/u_sid/g7q70mmv3iq9udmh6ef4929661/u_uid/194270872/u_vod/4/u_device/html5/u_srvc/4931/g/ru/media-i783769101.m4s Одинокий рейнджер: https://vs326.vcdn.biz/fee4147b9f563c415def7efcbcf4a55a_megogo/vod/mpd/o/24870921/u_sid/g7q70mmv3iq9udmh6ef4929661/u_uid/194270872/u_vod/4/u_device/html5/u_srvc/4931/g/ru/media-i783813751.m4s Без лица: https://vs305.vcdn.biz/823f3e0c52d8e50ff31ca5d2b37755b4_megogo/vod/mpd/o/35184531/u_sid/g7q70mmv3iq9udmh6ef4929661/u_uid/194270872/u_vod/4/u_device/html5/u_srvc/4931/g/ru/media-i785414831.m4s Человек-паук 3: Враг в отражении: https://vs328.vcdn.biz/567c356027fdb3cf6a5fe121d45d89eb_megogo/vod/mpd/o/34974451/u_sid/g7q70mmv3iq9udmh6ef4929661/u_uid/194270872/u_vod/4/u_device/html5/u_srvc/4931/g/ru/media-i1014661681.m4s План игры: https://vs309.vcdn.biz/d8e10b3b39fc8388a1dba743557515ff_megogo/vod/mpd/o/24873191/u_sid/g7q70mmv3iq9udmh6ef4929661/u_uid/194270872/u_vod/4/u_device/html5/u_srvc/4931/g/ru/media-i936406911.m4s
Всего записей: 1711 | Зарегистр. 09-01-2010 | Отправлено:03:42 30-11-2017
pasha9174
Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору LZAA Спасибо. Значит буду пробовать со старым Firefox вытягивать.
Теперь проблема с сайтом okko.tv. Кто нибудь оттуда пробовал скачивать? IDM выдает огромное количество кусочков около 100 кб. В getflv при воспроизведении видео выдает ошибку. Хотя f4m ссылку вытягивает, даже выбор битрейта предлагает 700 или 2000 но все равно не скачивает. Акк с подпиской могу также предоставить чтоб кто нибудь попытался. Оттуда 9 файлов надо в максимально возможном качестве. (Да и думаю 2000 битрейт это какое то ограничение, а то для Full HD маловато)
Всего записей: 1711 | Зарегистр. 09-01-2010 | Отправлено:18:29 30-11-2017
pasha9174
Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору Отправил на вашу почту. Те же данные что и в мегого. Там же и ссылки того что попробовать стянуть.
Всего записей: 6 | Зарегистр. 29-11-2017 | Отправлено:19:54 30-11-2017
kallmax
Мне нужно много этих видеороликов, и вы ищете форум здесь, с этой темой. Как я могу получить ссылку, загрузить аудио и видео, а затем собрать ее вместе, чтобы играть. Я знаю, как скачать, потому что я видел другие видео с этого сайта в Интернете, но не то, что хочу.
Я видел выше, помогая загружать с помощью mpeg-dash plus уже с видео ссылкой.
О том, что в Интернете с каждым годом становится все больше «тяжелого» контента. А также о том, что в современном мире огромную роль играет скорость работы веб-сайтов и сервисов. Если скорость слишком мала ― это чревато потерей аудитории, а во многих случаях ― ещё и прибыли. Один из надёжных способов решения этой проблемы ― использование сетей доставки контента (Content Delivery Networks, CDN).
Selectel предлагает услугу CDN с 2014 года, и мы подробно изучили техническую сторону вопроса. В этой статье поговорим об устройстве и особенностях работы современных CDN.
Основные термины
Прежде чем начать предметный разговор об особенностях CDN, определимся с основной терминологией.
CDN (Content Delivery Network) — это географически распределённая сетевая инфраструктура, обеспечивающая быструю доставку контента пользователям веб-сервисов и сайтов. Входящие в состав CDN cерверы географически располагаются таким образом, чтобы сделать время ответа для пользователей сайта/сервиса минимальным.
Ориджин (origin) — сервер, на котором хранятся исходные файлы или данные, раздаваемые через CDN.
PoP (point of presence, точка присутствия) — кэширующий сервер в составе CDN, расположенный в определенной географической локации. Для обозначения таких серверов также используется термин edge.
Динамический контент ― контент, генерируемый на сервере в момент получения запроса (либо изменяемый пользователем, либо загружаемый из базы данных).
Статический контент ― контент, хранимый на сервере в неизменяемом виде (например, бинарные файлы, аудио- и видеофайлы, JS и CSS).
Немного истории и теории
Резкий рост Интернета в середине 1990-х привел к ситуации, что серверы стали с трудом выдерживать нагрузку. С серверами того времени (которые по техническим характеристикам иногда были слабее не самого производительного современного ноутбука) приходилось идти на разные ухищрения: погуглите, например, «иерархическое кэширование» и information superhighway ― сейчас эти словосочетания используются разве что в статьях по истории интернет-технологий. Чтобы понять, как развивались технологии раздачи контента, сделаем небольшое теоретическое отступление.
Обратим внимание: раздача статического и динамического контента связаны с разными типами нагрузки на сервер. В случае с динамическим контентом, генерация которого связана с обращениями к базе данных, важны быстродействие процессора и объём оперативной памяти.
Для раздачи статического контента, который в большинстве случаев оказывается очень «тяжелым» и который нужно загрузить очень быстро, важна в первую очередь скорость сети. Смысл технических решений для ускорения раздачи статики заключается в следующем: обеспечить горизонтальное масштабирование без сложных двусторонних синхронизаций с основным сервером.
Для снижения нагрузки владельцы веб-сервисов ещё в конце 1990-х годов начали раздавать статику и динамику с разных серверов. Крупные веб-проекты с огромной аудиторией, разбросанной по всему миру, начали размещать серверы со статикой в разных географических точках.
Тогда же, в конце 1990-х, стали появляться компании, у которых организация раздачи статики стала одним из основных направлений бизнеса. В 1998 году студент Массачусетского технологического института Дэниэл Левин и преподаватель математики Томсон Лейтон основали компанию Akamai. Ныне она является одним из крупнейших (если не самым крупным) CDN-провайдером в мире.
Уже в 2004 году CDN использовали более 3000 компаний; общий объем расходов на доставку контента составлял до 20 миллионов долларов в месяц.
Количество CDN во всём мире постоянно растет: соответствующие услуги предоставляют как крупные международные компании (например, Akamai, Amazon, Cloudflare), так и многочисленные региональные провайдеры (подробные обзоры).
CDN используется не только для раздачи статики в строгом смысле слова: распределение контента по многочисленным серверам в разных точках планеты помогает обеспечивать доступность в периоды пиковых нагрузок.
В течение последних 10-12 лет широкое распространение в Интернете получил еще один тип контента ― стриминговый (многочисленные сервисы потокового аудио и видео, которые в наши дни имеют огромную популярность и миллионную, если не миллиардную, аудиторию). Раздача сегодня является еще одним распространенным сценарием использования CDN.
Рассмотрим принципы работы и особенности использования CDN более подробно.
Как работает CDN
Представим себе веб-сервис, которым пользуются люди на всей территории России. Основные серверы расположены в Санкт-Петербурге, а пользователи находятся в самых разных географических точках: скажем, в Краснодаре (2 604,2 км от Петербурга), Новосибирске (3 826,1 км), Иркутске (5 661, 7 км) или Владивостоке (9 602, 4 км). Чем дальше пользователь находится от оригинального сервера, тем больше время «оригинального» ответа. На заре Рунета, в самом начале 2000-х, жители Южно-Сахалинска или Петропавловска-Камчатского могли дожидаться полной загрузки простой веб-страницы полновесные 5, а то и все 10, минут.
При использовании CDN всё происходит по-другому: пользователь из Владивостока переадресуется к географически ближайшему кэширующему серверу в составе CDN, благодаря чему доставка статического контента происходит гораздо быстрее.
Для ускорения раздачи динамики при использовании CDN используются другие механизмы: CDN-провайдер за счет своей сети сокращает сетевой маршрут.
Ещё один интересный сценарий использования CDN ― так называемый live-streaming: пользователи Интернета со всего мира могут в браузере (а иногда и в специальном приложении) смотреть или слушать трансляцию с мест событий. Устроено это так: один или несколько ориджин-серверов принимают c видеокамеры транслируемый поток, который сразу же ретранслируется на точки присутствия. Ориджин-серверы при этом контент клиентам не раздают. В состав стриминговых CDN входят также балансировщики нагрузки, перенаправляющие запросы к наименее загруженным на текущий момент edge-серверам.
Как организована раздача контента?
Как правило, для настройки раздачи статического контента через CDN необходимо выполнить следующие шаги:
Шаг 1: Вынести статику сайта на отдельный домен, например, static.example.com — это будет origin.
Шаг 2: Для работы через CDN создать домен вида cdn.example.com.
Шаг 3: Подключить CDN у провайдера. Для подключения владельцу веб-сервиса необходимо сообщить провайдеру следующее: домен, с которого он будет забирать статику — static.example.com; домен, с которого будет идти раздача — cdn.example.com.
Шаг 4: У своего DNS-регистратора настроить CNAME запись с cdn.example.com на домен CDN-провайдера, который CDN провайдер выделяет при подключении. Например, в CDN Selectel такой домен имеет вид 85e77c09-bc03-43bf-b8f3-9492ae33390f.selcdn.net, где 85e72c09-bc03-43bf-b8f3-9492ae33390f генерируется автоматически.
Шаг 5: На своем сайте изменить домен для статики, которую планируется раздавать через CDN, на cdn.example.com.
Пользователь набирает в строке браузера адрес www.example.com, с которого он получает HTML-страницу. При этом весь статический контент, например, графические изображения, подгружается из CDN (с адреса cdn.example.com).
Статический контент, предназначенный для раздачи, часто помещается в объектные хранилища (об этом мы писали еще шесть лет назад). Существует множество плагинов и расширений для популярных CMS (WordPress, Joomla, Drupal, 1C Битрикс и других), с помощью которых можно настроить интеграцию с облачными сервисами хранения и раздачу статики через CDN.
Веб-сервис после подключения CDN будет работать на том же оригинальном сервере. Кэшированные части сайта будут загружены на серверы CDN-сети. Система находит для пользователя ближайший сервер и максимально быстро загружает статику сайта с него.
Обратим внимание на один важный момент: серверы, входящие в состав CDN, не являются подобием файловых серверов, на которые контент размещается для последующего скачивания. CDN используются не для хранения контента, а для кэширования на основе конкретных алгоритмов.
Как CDN понимает, где находится ближайший кэширующий сервер?
Как правило, для подгрузки контента из CDN используются две популярные технологии: GeoDNS и AnyCast.
С помощью GeoDNS можно привязать к одному доменному имени несколько IP-адресов. В зависимости от географического положения (определяется по IP-адресу, с которого пришел запрос) пользователь перенаправляется на ближайший сервер. Об особенностях работы GeoDNS можно почитать в этой статье (на английском языке).
При использовании технологии Anycast адреса общие, но маршрутизация происходит на «свои» серверы в пределах региона. При обращении к адресу www.example.com пользователь переадресуется на ближайшую точку присутствия. Провайдер пользователя получает несколько анонсов от разных сетей, в которых есть точка присутствия, и маршрутизатор провайдера выбирает из них самый близкий. Ответ аналогичным образом возвращается по наиболее короткому маршруту.
Как кэшируется контент?
Самой распространенной является схема по первому обращению: максимальное количество времени на загрузку затрачивает пользователь, обратившийся к оригинальному серверу первым. Все последующие пользователи будут получать данные, кэшированные на ближайшей к ним точке присутствия.
Здесь очень важна география: например, после обращения пользователя из Рио-де-Жанейро данные будут закэшированы на сервере, находящемся на территории Бразилии, что не решит проблемы со скоростью доступа для пользователей из Парижа или Лондона.
Для преодоления ограничений, накладываемых этой схемой, используются технологии регионального извлечения: соседние серверы, входящие в состав CDN, забирают контент друг у друга, а не обращаются к оригинальному серверу.
В большинстве CDN пользователь, отправивший запрос на получение статического контента, переадресуется к ближайшей точке присутствия и получает кэшированную версию этого контента с неё. Если ближайшая точка присутствия не сможет найти файлы, начнётся поиск по соседним точкам присутствия, откуда и будет перенаправлен ответ пользователю. В CDN Akamai эта процедура называется tiered distribution (на русский можно перевести как «многоуровневая раздача»).
Для чего используются CDN?
Чаще всего CDN используется для уменьшения времени отклика кэшированного контента, что, как мы уже упоминали выше, уменьшает отток посетителей из-за медленной загрузки ресурса и тем самым сокращает возможные финансовые потери. Также CDN помогает снизить риск потери доступа к контенту из-за падения основного сервера. Контент будет доступен всё время, пока вы восстанавливаете работоспособность основного сервера.
Использование CDN существенно снижает нагрузку на основной сервер, что помогает решить проблему пиковых нагрузок. Современная CDN способна переживать очень большие нагрузки. В конце 2018 года компания Akamai заявила о рекордном объеме передаваемого через CDN трафика: 72 Тб/c.
В наше время CDN активно используются также для раздачи стримингового контента.
О чем важно помнить при работе с CDN?
Как и любая технология, CDN обладает рядом особенностей.
Самая первая проблема, с которой могут столкнуться использующие CDN веб-сервисы ― это задержки кэширования. Вполне вероятна следующая ситуация: на основном сервере файл был изменён, а вот на кэширующих серверах он всё ещё будет лежать в неизмененном виде. Это особенно важно, когда через CDN распространяется часто обновляемый контент (фотографии с места событий, новые версии ПО и так далее)
Чтобы обеспечить доставку «свежего» контента в современных CDN имеется функция очистки кэша, то есть удаление контента из пула кэширования. Кроме того, владельцы сайтов и сервисов могут сами управлять настройками, используя заголовки-валидаторы (см. наши рекомендации на эту тему в опубликованной ранее статье).
Еще одна сложность связана с блокировками: если по той или иной причине будут заблокированы сервисы, являющиеся вашими «соседями» по IP CDN-провайдера, вместе с вами может оказаться заблокированным и ваш сайт. Но и это проблема решаема: по запросу CDN-провайдеры могут изменить ваш IP-адрес.
Кому нужны CDN?
CDN нужны в первую очередь проектам с большой аудиторией в разных регионах или странах. Здесь всё ясно: снижение задержек, быстрая раздача контента и повышение уровня удобства, и, как следствие, больше довольных пользователей.
CDN может пригодиться также разработчикам мобильных приложений: по статистике, пользователи часто отказываются продолжать работу с приложением из-за проблем со скоростью. В последнее время появились специальные технические решения, ориентированные на раздачу контента на мобильные устройства. Они так и называются ― Mobile CDNs. Соответствующие услуги предлагают многие крупные CDN-провайдеры ― например, Akamai или Amazon.
Нужны CDN и проектам, ориентированным на распространение игрового, мультимедийного контента и стриминг (об этом уже было сказано выше).
На что обратить внимание при выборе CDN-провайдера (вместо заключения)
Число пользователей вашего веб-сервиса растет, аудитория расширяется, и вы задумываетесь о подключении CDN для оптимизации и ускорения раздачи статики и снижения нагрузки на основные серверы.
На что нужно обратить внимание при выборе CDN-провайдера?
Во-первых, на количество точек присутствия. Это особенно актуально для проектов с обширной международной аудиторией. Нелишним будет узнать информацию о точках присутствия в наиболее интересных для вас регионах и сопоставить их с потенциальной аудиторией сайта.
Во-вторых, это наличие стыков с операторами связи. Это тоже немаловажный фактор, от которого зависит скорость и эффективность работы CDN. Например, у CDN-провайдера с точками присутствия в 100 городах, но небольшим количеством стыков задержка может быть больше, чем у провайдера, у которого точки присутствия расположены в 5 городах, но стыков с операторами связи гораздо больше.
К сожалению, такую информацию в большинстве случаев CDN-провайдеры не публикуют, поэтому проверить всё можно только тестированием.
В-третьих, на наличие дополнительных услуг и функций. Многие CDN-провайдеры предоставляют такие услуги, как анализ статистики потребления, управление политиками кэширования, управление HTTP-заголовками, предзагрузка очень «тяжёлого» (от 200 МБ и более контента), полная и выборочная очистка кэша.
Кроме того, при выборе CDN-провайдера нужно проверить, поддерживает ли он необходимые вам технологии и протоколы (HTTP/2, IPv6, сертификаты SSL и другие).
