the 1 adblocker что это

AdBlock: особенности работы и продвинутые методы блокировки

Привет, Хабр! Часто по работе сталкиваюсь с вопросами вроде: как же работают блокировщики рекламы?

Хочу поделиться с вами некоторыми интересными, но порой сомнительными решениями, которые можно встретить в работе расширений, и обсудить в комментариях работу блокировщиков.

В своей статье расскажу о самых интересных и необычных решениях по блокировке рекламы с помощью JavaScript’a и не только. Также посмотрим на новые направления разработки блокировщиков и куда все движется.

Статья будет полезна прежде всего веб-разработчикам, так как пользователи с блокировщиками могут столкнуться с проблемами на их проектах. А также тем, кто в данный момент ими пользуется, для более глубокого понимания работы.

Рынок блокировщиков

На данный момент самыми популярными решениями являются различные браузерные расширения, однако ими все не заканчивается. На картинке указаны основные, хотя, например, в Chrome Web Store можно найти еще сотню других.

В некоторых мобильных браузерах есть специальные опции для включения блокировки (например, Opera), некоторые изначально работают как браузеры – со встроенным блокировщиком рекламы и отслеживания (AdBlock Browser, Brave).

В некоторых мобильных браузерах есть специальные опции для включения блокировки (например, Opera), некоторые изначально работают как браузеры – со встроенным блокировщиком рекламы и отслеживания (AdBlock Browser, Brave).

Отдельным списком можно выделить следующие инструменты:

VPN серверы с функцией блокировки рекламы;

DNS серверы с блокировкой рекламы

мобильные операторы с услугами блокировки рекламы.

Браузерные расширения

Многие представляют, как работают браузерные расширения, у блокировщиков тот же принцип. Подробнее почитать про устройство расширений под Chrome.

Перейдем к общей схеме работы расширения на примере AdBlock Plus.

Почти все блокировщики основаны на списках фильтрации, это такие файлы https://easylist-downloads.adblockplus.org/ruadlist+easylist.txt, которые содержат список правил для фильтрации контента на определенных сайтах. Также в них есть общая часть, которая относится к фильтрации на всех ресурсах, так что вы ненароком тоже можете случайно попасть под фильтрацию одного из общих фильтров (которые работают на всех сайтах).

Например, вы создали на своем сайте какой-то

На основе этих файлов и происходит вся фильтрация контента сайта. Изменениями в этих списках занимаются конкретные форумы и модераторы (например: RuAdList https://forums.lanik.us/viewforum.php?f=102), некоторые можно найти и на github’e https://github.com/abp-filters/abp-filters-anti-cv.

Как читать/писать фильтры

Для общего понимания стоит разобрать, как выглядят типичные фильтры. Слева указывается блокируемый адрес, а справа, после разделителя, идут особые параметры: какие запросы блокировать и на каком домене это нужно делать. Подробнее можно почитать здесь.

С помощью подобных фильтров можно заблокировать почти любой, загружаемый на странице ресурс. Среди которых могут быть:

Блокировка с помощью JavaScript

Давайте рассмотрим на примере:

Фильтр на примере: localhost#$#hide-if-shadow-contains /MyAds/

На живом примере мы видим, что блокировщик успешно справился с задачей блокировки закрытого Shadow DOM на основании его внутреннего контента.

Фильтр: localhost#$#abort-on-property-read Object.prototype.testMethod

В данном примере рассмотрено создание типичного класса, который прогнали, например, через Babel.

X-Path

Возможно, некоторые уже сталкивались с языком запросов X-Path, но немногие знают, что его можно применять в вебе (зачастую он используется парсерами страниц). Тут отличный справочник, если кого-то заинтересовало.

В браузере также существует особое API для исполнения следующих выражений, что позволяет блокировщикам избирательнее выбирать элементы для блокировки.

Perceptual Image Hash

Еще одно интересное направление работы – это работа с изображениями, так как во многих рекламных объявлениях можно встретить одинаковые картинки с логотипом рекламной сети, по этим картинкам зачастую можно найти расположение всего объявления и целиком заблокировать.

Алгоритм примерно следующий:

Нормализуем размер картинки под общий пресет;

Разделяем картинку на I1, I2 … In не перекрывающихся блоков, где N – кол-во блоков, равных длине финальной hash bit строки;

Зашифровываем I1, … In блоки с помощью секретного ключа K в новую последовательность блоков;

Для каждого этого блока вычисляем его среднее M1….Mn, а затем вычисляем общее среднее Md = median(Mi), где I = 1…N;

Создаем 64-битный хэш на основании того, находится значение выше или ниже среднего (подробнее).

Давайте рассмотрим на примере этих двух изображений:

Img#1 Img#2

Если мы сравним 2 хэша, получившиеся из двух изображений, то увидим, что дистанция Хэмминга между этими хэшами равна 3, что означает схожесть изображений.

Часть кода фильтра hide-if-contains-image-hash из AdBlock Plus.

На этом примере мы можем видеть, что блокировщик проходится по всем картинкам и ищет среди них похожие на рекламу, что позволит найти похожую даже если по url об этом догадаться нельзя.

DNS фильтрация

Для начала напомню, что DNS позволяет нам, кроме всего прочего, по имени хоста получить IP адрес.

DNS фильтрация работает в том случае, если вы укажете в качестве DNS адресов для вашего устройства, например адреса AdGuard’a. Далее AdGuard по своему усмотрению предоставляет для обычных доменных имен их реальные IP адреса, а для рекламных – IP адреса, которые возвращают заглушки.

Минус в том, что они пропускают все или ничего, зато DNS серверы можно установить прямо на свой роутер и убрать часть рекламы со всех устройств (или получить проблемы со всеми сайтами/приложениями, которые начнут некорректно работать). Ну и конечно никто не может гарантировать, что данные ваших посещений никто не сольет.

HTTPS фильтрация

Итак, есть еще один тип блокирования, когда вы устанавливаете к себе на устройство специальное приложение (например AdGuard). И взамен получаете рутовый сертификат AdGuard к себе на устройство, который позволяет перехватывать ваш HTTPS трафик еще до того, как он попал в браузер и вырезать оттуда рекламу. (А может и не только рекламу).

Как по мне, способ очень экстремальный и экстравагантный, доверять кому-то весь свой трафик я не готов.

Нейронные сети для блокирования рекламы GCNN

Ну и конечно куда уж в 2021 году без Machine Learning в вебе. Сразу оговорюсь, что разбираюсь в теме на уровне новичка и эксперты в комментариях, надеюсь, меня если что поправят.

Итак, в качестве входных данных для нейронной сети выступает часть DOM модели исходного веб-сайта.

Например возьмем следующую простую DOM структуру.

Начнем с верхнего HTML элемента и вычислим все его соседние элементы. В последствии необходимо будет пройтись по всем элементам.

Затем нам необходимо составить вектор фич для каждого элемента. В качестве примера можно использовать любые свойства элементов. Например, мы обозначили, что элемент с типом div обозначается числом 29 и т.д. Тоже самое повторяет с названиями атрибутов у элементов, возможно, их размерами и т.д.

Затем с помощью любого подходящего алгоритма, например, вычисление среднего или поиск максимума, получаем среднее по выборке соседних векторов фич элементов.

После этого полученные значения попадают в обученную нейронную сеть, которая на входе имеет количество нейронов, соответствующее размерности вектора после получения среднего. Может иметь любое количество скрытых слоев, и на выходе иметь несколько коэффициентов, которые нам пока ни о чем не говорят.

Но конечно же, вся мощь открывается после того, как мы создадим несколько подобных слоев. Это необходимо, чтобы наша нейронная сеть ориентировалась не только на первых соседей заданного элемента, но и смотрела глубже, в зависимости от того, как мы хотим ее обучить.

На втором слое в нашем примере, будет происходить все то же самое, за исключением того, что входом для сети будут коэффициенты, полученные на первом слое.

В конце концов, мы должны получить какой-то конечный коэффициент, позволяющий нам говорить о наличие или отсутствии в данном элементе рекламы.

AdGraph

AdGraph – это такой необычный набор патчей для Chromium в движок Blink и JavaScript движок V8, которые позволяют на основе загружаемых ресурсов выстраивать граф зависимостей на основе трех слоев HTML, HTTP и JavaScript.

Общая схема работа

Затем AdGraph, с помощью натренированной нейронной сети Random Forest, классифицирует граф. В качестве исходной информации для обучения были использованы фильтры блокировки, о которых мы говорили ранее.

Подробнее можно посмотреть тут:

Вместо итогов

Пользоваться блокировщиками или нет – личное дело каждого пользователя. Про себя скажу, что не пользовался и не пользуюсь, а сталкиваюсь с этим в основном по работе в департаменте рекламных технологий.

Для всех тех, кто пользуется, считаю полезным знать и понимать как ваши инструменты работают. Для остальной части аудитории если вы занимаетесь веб-разработкой, то вы скорее всего не раз и не два столкнетесь с проблемами пользователей на ваших проектах при включенном блокировщике рекламы.

Источник

Что такое Adblock простыми словами, как его скачать, установить и настроить, а также, отключить полностью и удалить – подробный анализ от эксперта

Рекламы с каждым днем становится все больше, порой от нее невозможно спрятаться. Всплывающие окна и другой отвлекающий контент рано или поздно вызывают желание избавиться от этого безобразия навсегда. Несмотря на то, что AdBlock не единственное решение проблемы, он стал символом свободы от навязчивых предложений. Даже конкуренты упоминают его для описания своих продуктов. Если ваш браузер все еще не знает ничего про адблок — что это такое и с чем его едят — мы расскажем об этом в статье.

Что такое AdBlock

Адблок (adblock) – это браузерное расширение, блокирующее рекламный и шок-контент. Его можно установить в Google Chrome, Mozilla FireFox, Opera, Microsoft Edge, на все устройства iOs и Android.

Отдельные алгоритмы действуют на страницах Twich, Youtube и Facebook. Главной мишенью блокировщика являются всплывающие окна, баннеры и фоновая реклама.

Для чего нужен

Длительное время власти разных государств никак не регулировали хаотичное возникновение и распространение интернет-рекламы. Многим компаниям удалось завоевать внимание пользователей благодаря развитию сети, но одновременно наблюдалось процветание всех возможных видов мошенничества.

Рекламные блоки, кроме своей надоедливости, часто предлагали некачественный товар. Случайные клики по некоторым баннерам угрожали пользователям рассадником троянских программ на личном ПК, кражей личных данных, блокировкой кошельков и вымогательством.

Источник

Что такое Adblock

2 ноября 2017 Опубликовано в разделах: Азбука терминов. 43167

Есть две версии — AdBlock и AdBlock Plus. У них разные разработчики, но функционал один и тот же. Есть незначительная разница в деталях.

Чтобы понять, что это за программа Adblock Plus, представим следующую жизненную ситуацию. Вы смотрите любимый фильм в интернете, на YouTube или другом ресурсе.

И тут кино прерывается на небольшую рекламу, на 10-30 секунд. Конечно, такая реклама намного короче той, что мы видим по телевизору, но удовольствие от просмотра она все-таки портит. Также мы постоянно наталкиваемся на рекламные сообщения при чтении статей, поиске необходимой информации и других действия в интернете. Adblock Plus является своего рода волшебной палочкой, которая блокирует рекламу, и больше ничего не помешает просмотру.

Однако в ряде случаем программа блокирует и полезную информацию, поэтому может возникнуть необходимость отключить ее для определенного интернет-ресурса или полностью.

Для чего нужен Adblock

Его главная задача – препятствовать появлению назойливой рекламы как на отдельных сайтах, так и полностью при работе с браузером. Сегодня широко распространено расширение Adblock Plus. Его функционал мало чем отличается от простого Адблока, зато имеется несколько преимуществ:

Как включить AdBlock

Как отключить Адблок

Итак, мы разобрали, такое Adblock, теперь расскажем, как отключить или удалить это расширение полностью.

Мы рассмотрели, как отключить расширение для всего браузера. Но чаще всего пользователи отключают Адблок для определенной страницы. Это называется одноразовое отключение:

Как вы видите, программы блокировщики довольно полезны, они берегут наши нервы и избавляют от рекламы. Однако некоторые ресурсы могут устанавливать запрет на подобные расширения. Например, видеохостинги закрывают доступ к тем или иным видео, пока вы не сделаете их сайт исключением.

Источник

The 1 adblocker что это

Продолжаем убирать мусор из телефона и интернета. В предыдущем посте, мы рассмотрели удаление рекламы в Навигаторе и в интернете в целом.

Теперь займемся мусорными приложениями, которые стали устанавливать по требованию в этом году, а так же некоторыми мусорными приложениями от производителей. Эти приложения жрут память, батарею, занимают место. И они в принципе не нужны.

Есть две элементарные схемы, как их убрать. Список приложений будет ниже.

А) Просто отключаем их в телефоне.

Настройки – приложения – все приложения. И теперь пройдитесь по каждому приложению и если оно вам не нужно, то заходим в него и нажимаем:

Отключить (или удалить, если есть такая возможность)

Уведомления – отключить все

Разрешения – отключить все

Передача данных – отключить фоновый режим. Даже отключенное приложение все равно получает данные (это можно сделать даже у тех приложениях, которыми вы пользуетесь. Просто в закрытом виде, приложение все равно получает данные в фонов режиме, что негативно влияет на заряд батареи).

Батарея – ограничение в фоновом режиме – ограничить.

Очистить кеш – очищаем.

Таким образом, вы не удалите встроенные приложения с телефона, но полностью отключите их. Теперь, если вы установили скажем YouTube Vanced, то при переходе с браузерных ссылок, оригинальный YouTube не будет открываться автоматически.

Некоторые приложение простым способом не отключаются, например, Клавиатура Facemoji keyboard for Xiaomi. Для этого идем в Play Market и скачиваем программу Activity Launcher.

Таким же способом можно удалить еще ряд ненужных вам приложения.

Есть и видео инструкция на английском:

Б) Удаляем полностью из телефона.

1.Если у вас уже есть расширение VPN на ПК или ноуте, то пропускайте этот пункт. Если нет, то идем в интернет магазин Chrome и устанавливаем Browsec VPN.

Открываем расширение и включаем ползунок, он автоматически поставит травокурляндию, этого хватит за глаза.

2. Переходим на сайт 4PDA по ссылке (не забываем, чтобы скачать, нужно зарегистрироваться на сайте. )

и скачиваем программу ADB AppControl 1.7.1 и распаковываем архив.

3. Делаем все, как на видео, чтобы было просто и понятно. Работает для всех телефонов на Android.

О программах, которые можно смело удалить:

YouTube – камон, ребят, YouTube Vanced. В 2021/22 году, уже стыдно не иметь на Android YouTube Vanced, при условии, что он гораздо круче премиума, поскольку в него встроен SponsorBlock (который удаляет встроенную рекламу в ролик). Оригинальный YouTube стоит удалить или отключить, хотя бы для того, чтобы он не открывал ссылки из браузера.

Сам Vanced можете скачать отсюда, а в предыдущем посте, есть вся инструкция для установке и настройке:

Меню SIM-карты — эту дрянь, сотовые операторы используют для рекламы, например, как на Мегафоне при проверке баланса появлялось окно с рекламой. Удаляйте без сожаления.

Google Карты – это бесполезная утилита для тех, кто пользуется Яндекс картами. Без нее на устройство станет больше места, а его батарея будет держать заряд значительно дольше.

Теперь о российских обязательных приложениях

Яндекс.Браузер – если пользуетесь другими браузерами, то стоит его удалить, хотя бы в качестве наказания, что пролоббировали себя в новом законе. Да к тому же, занимает место, жрет батарею в фоне и устраивает слежку.

Яндекс.Диск – облачное хранилище, если не пользуетесь, то смело удаляйте, так же занимает место, жрет батарею в фоне и устраивает слежку.

ICQ New – это пздц. Удаление в обязательном порядке. Те, кто пользуется, должны быть в одиночестве.

«Новости Mail.Ru» – еще один рассадник рекламы и слежки. Удаляем.

Kaspersky Internet Security – антивирус, наиболее ресурсоёмкий в списке. Если вы не качаете всякие левые приложения с левых сайтов, то антивирус вам в принципе не нужен. Более того, есть отличный блокировщик рекламы AdGuard (скачивать только с оф сайта), который защищает гораздо лучше+убирает всю рекламу в интернете и телефоне.

Applist.ru – неработающий каталог приложений, выпущенный Минцифры. Удаляем смело.

Дополнительно для Xiaomi:

MSA – это приложение, которое внедряет рекламные объявления в загрузки и браузер. Удалять немедленно. Инструкция по отключению есть в предыдущем посте.

Analytics – это предустановленное в прошивку приложение, которое занимается сбором и анализом информации о действиях пользователя в системе. Удалять немедленно.

Клавиатура Facemoji keyboard for Xiaomi – у многих проблема удалить это приложение. Можете воспользоваться либо полным удалением по инструкции выше, либо по инструкции ниже.

Все остальное, можно удалять, только внимательно изучив функционал системных приложений, чтобы не задеть работу телефона.

О паре полезных приложениях, которые стоит установить:

Для начала, нам необходимо на всякий случай установить с Play Market Browsec VPN, дабы ссылки на 4 PDA открывались. Включаем ползунок на этом приложении и можно спокойно заходить на любые сайты.

Яндекс навигатор, Яндекс погода, Яндекс электрички, Яндекс Карты, инструкция, как убрать в них рекламу, есть в предыдущем посте.

DiskDigger photo recovery – данное приложение можно скачать с Play Market и оно показывает вам все удаленные фотографии с вашего телефона. Если вы собрались продавать телефон, то удалите все окончательно, дабы ваши интимная жизнь не стала общественным достоянием. Если случайно удалили нужную фотографию, то можете ее восстановить.

Источник

Блокировщики рекламы: Adblock и Adblock Plus

Оглавление

Вступление

Перед вами второй обзор из цикла материалов, посвященных блокировщикам рекламы (они же антибаннеры). В статье «Блокировщики рекламы: история развития и виды приложений» мы выяснили, что такое реклама и чем она отличается от интернет-рекламы, какие виды рекламы существуют и почему с ней борются, как давно и какими средствами, и главное — каковы успехи и тенденции данной борьбы.

К сожалению, из-за моей ошибки произошла путаница в очередности публикации, из-за чего финальный материал вышел раньше, нежели статья, его предваряющая. И если делать все правильно, то стоит начать с этой, ну а в конце вас ждет ссылка на завершение.

реклама

Но вернемся к теме. Возможно, вводная статья некоторым читателям показалась скучной, поскольку теория мало кого привлекает – большинство предпочитает наглядные опыты. В нашем случае это будут практические тесты расширений для браузера.

Благодаря им можно будет дать ответ на вопрос: правда ли, что антибаннеры из полезных утилит, предназначенных для уменьшения нагрузки на процессор и оперативную память и ускорения загрузки веб-страниц, превратились в главных пожирателей ресурсов, замедляющих загрузку?

Далее вы узнаете о причинах выбора конкретного браузера, расширений и тестовых сайтов. Будет описан стенд и методика, а также подробно рассмотрены и протестированы два наиболее популярных расширения – Adblock и Adblock Plus. Вам интересны их результаты? Оставайтесь с нами и узнаете много не только нового и интересного, но полезного.

Тестовый стенд, методика тестирования и ПО

Процесс тестирования проводился на ноутбуке Samsung RC 710:

Такая конфигурация является типичной, и полученные данные будут актуальны для большинства пользователей.

реклама

Интернет – «Ростелеком», оптоволокно 4 Мбит/с.

Прежде чем приступать к тестированию расширений для браузера, надо его или их выбрать. На первый взгляд, сделать это совсем просто, но это только кажется. Изначально хотелось охватить максимально возможное количество аудитории пользователей браузеров и выбрать от трех до пяти наиболее популярных. Но детальная проработка данного вопроса выявила следующие проблемы:

Взвесив все «за» и «против», мы остановились на Google Chrome последней версии (на момент тестирования – 46.0.2490.86M).

Выбор на него пал по следующим причинам:

Подбор расширений для Chrome в свою очередь оказался нетривиальной задачей. Связано это как с огромным их количеством вообще, так и с большим выбором антибаннеров. Кроме того, обнаружились и дополнительные трудности:

В результате долгих поисков были выбраны следующие расширения:

Думаю, большинству читателей уже понятна методика выбора. Выбирались наиболее популярные по количеству пользователей расширения. Последнее расширение было выбрано в качестве эксперимента с целью ответить на вопрос: стоит ли обращать внимание на что-то новое или лучше пользоваться старым и проверенным?

Да, я в курсе, что наверное уже достал своим: «Выбор был сложен…» (произносить занудным голосом) Но выбрать на самом деле было непросто, сайтов миллионы. Правда, с их количеством определиться было легко – по количеству расширений – пять штук, а вот чтобы конкретизировать, пришлось пораскинуть мозгами, и не как в том анекдоте про пулю и голову Штирлица.

реклама

Сайты выбирались по следующим критериям:

Вот что получилось:

Измерялись следующие параметры:

Браузер работал на настройках по умолчанию. Адреса сайтов были добавлены в панель закладок в том же порядке, в каком были указаны выше, и в нем же вызывались.

реклама

Для каждого расширения проводился полный объем измерений. Это значит, что на чистом браузере производился замер времени доступа и объема всех сайтов, после чего ставилось расширение и замеры повторялись. Далее первое расширение удалялось, браузер чистился и цикл повторялся. Такая методика связана с тем, что содержание сайтов постоянно обновляется. На весь цикл тратилось не более 30-40 минут.

Измерение времени загрузки проводилось с помощь встроенных в браузер «Инструментов разработчика». Если кто не знал, находятся они по адресу: «Настройка и управление Google Chrome» – «Разработка». Для быстрого вызова можно использовать комбинацию клавиш Ctrl + Shift + I. Выглядят вот так:

Открывался браузер, вызывались инструменты разработчика, с панели закладок загружался сайт, получались данные. Брался результат времени загрузки, на скриншоте он находится снизу справа и выделен красным цветом. Затем используемая программа закрывалась, производилась очистка кэша и истории работы браузера с помощью утилиты CCleaner 5.11. Все тесты на время загрузки проводились по пять раз для каждого сайта, после чего высчитывалось среднее значение.

реклама

Потребление оперативной памяти открытой страницей и расширениями измерялось встроенным в браузер инструментом – «Диспетчером задач». Вызвать его можно по адресу: «Настройка и управление Google Chrome» – «Разработка» или комбинацией клавиш: Shift + Esc.

Замер потребления памяти измерялся отдельно от замера времени загрузки. Очищался браузер, загружался сайт, после его полной загрузки открывался диспетчер задач браузера, запись показателей производилась спустя минуту после загрузки сайта.

Измерение потребления памяти всеми сайтами с расширением проходило путем открытия представленных выше ссылок, данные записывались после полной загрузки сайтов и минутного ожидания. Ну а использование встроенных инструментов браузера обусловлено их доступностью и тем фактом, что они дают возможность любому человеку провести свои замеры.

Расширения тестировались на настройках по умолчанию. Если после установки открывалось окно настройки с подробным описанием того, что делает каждый из ползунков, то производилась настройка согласно рекомендациям производителя.

реклама

Такая методика использовалась не потому, что автор лентяй, а потому что большинство пользователей не будет заниматься ручным подключением дополнительных списков блокировки. К слову, у большинства расширений нет подробного описания списков, только названия. В качестве доказательства могу привести историю из жизни. По работе был в IT отделе головной организации. У одного из работников заметил установленное расширение блокировки рекламы, не буду его называть, это не важно, я порекомендовал ему другое. Он удалил старое, установил новое, переключил те ползунки, которые ему предложил производитель, и на этом настройку расширения закончил.

Источник