какие символы допустимы в url
Что такое URL адрес сайта? Параметры и допустимые символы URL
Параметры и допустимые символы URL адреса сайта
В одной из предыдущих статей я описывал человеко-понятные урл — ЧПУ URL и разное отношение поисковиков к ним. В данной статье хотелось бы рассмотреть само понятие УРЛ, так как оно является основополагающим для всего Интернета.
URL (Uniform Resource Locator) — переводится с английского как Унифицированный указатель ресурса, или Единообразный (универсальный) локатор ресурса, т.е. это путь, по которому можно найти любой файл и каталог в сети Интернет.
URL адрес страницы сайта состоит из следующих элементов: протокол://полное доменное имя/(папка(и))/имя ресурса (файла). В расширенном варианте УРЛ может выглядеть так:
схема://логин:пароль@хост:порт/(папка(и))/имя ресурса (файла)?параметры#якорь
Основные параметры Урл:
Пример из WordPress’а
Допустимые символы URL
В URL адресе допустимы только латинские буквы, арабские цифры и ограниченный набор знаков препинания:
Также возможны запятые (,) и точки с запятой (;), но используются они редко и обычно кодируются, как и все остальные символы (русские буквы, пробелы и т.п.). Яркий пример закодированных урл’ов — статьи Википедии — http://ru.wikipedia.org/wiki/%D0%95%D0%B6.
Правила кодирования нелатинских букв (в т.ч. кириллицы) и прочих не допустимых символов URL: сначала буква кодируется в UTF-8 (кодировку Unicode) — получается 2 байта из каждого символа. Затем каждый из этих байтов преобразуется в шестнадцатиричную систему счисления и перед ним ставится знак процента (%), получается что-нибудь такое: %D0%95%D0%B6 (по-русски будет «еж»). Недопустимые знаки препинания кодируются так:
Кодирование символов в адресах. Справка из Википедии (кликабельно)
Среди УРЛ выделяют относительные и абсолютные, а также статические и динамические URL адреса страниц сайта. Об этом будет рассказано в следующих статьях.
Символы, разрешенные в URL
кто-нибудь знает полный список символов, которые можно использовать в вам без кодирования? На данный момент я использую A-Z a-z и 0-9. но я хочу узнать полный список.
меня также интересует, есть ли спецификация, выпущенная для предстоящего добавления китайских, арабских url-адресов (как очевидно, что это будет иметь большое влияние на мой вопрос)
8 ответов
EDIT: Как правильно указывает @Jukka K. Korpela, этот RFC был обновлен RFC 3986. Это расширило и прояснило символы, действительные для хоста, к сожалению, его нелегко скопировать и вставить, но я сделаю лучший.
в первом согласованном порядке:
символы, разрешенные в URI, зарезервированы или не защищены (или символ процента как часть процентной кодировки)
говорит это RFC 3986 незарезервированных символов (sec. 2.3) а также зарезервированные символы (sec 2.2), если они должны сохранить свое особое значение. А также процентный характер как часть процента-кодирование.
полный список 66 неограниченных символов находится в RFC3986, здесь:http://tools.ietf.org/html/rfc3986#section-2.3
— Это любой символ в следующем наборе:
я протестировал его, запросив мой веб-сайт (apache) со всеми доступными символами на моей немецкой клавиатуре в качестве параметра URL:
они не были закодированы:
не закодировано после urlencode() :
не закодировано после rawurlencode() :
Примечание: перед PHP 5.3.0 rawurlencode() закодированных
из-за RFC 1738. Но это было заменено RFC 3986 так что его безопасно использовать, сейчас. но я не понимаю, почему например <> кодируются с помощью rawurlencode() потому что они не упоминаются в RFC 3986.
дополнительный тест, который я сделал, касался автоматического связывания в почтовых текстах. Я тестировал Mozilla Thunderbird, aol.com, outlook.com, gmail.com, gmx.de и yahoo.de и они полностью связали url, содержащие эти символы:
некоторые люди теперь предложили бы к используйте только rawurlencode() chars, но вы когда-нибудь слышали, что у кого-то были проблемы с открытием этих сайтов?
наконец, я бы сказал, что это нормально использовать эти unencoded:
Список недопустимых символов в url
Начните работать с нами. Предоставляем услуги по разработке сайтов любой сложности!
Список недопустимых символов в url
Привет. Не многие из нас знают что есть некий свод правил при формировании адреса страницы. И ещё меньшее количество людей обращает внимание на то, что иногда может попасть в ЧПУ при редактировании адреса страницы. Данные правила, а именно какие символы являются допустимыми, а какие нет для построения адреса страницы, определяются сервером и непосредственно самой платформой (CMS/CMF) сайта. Т.е. единый и универсальный список сейчас отсутствует. На определённых платформах создать url с так называемым «запрещённым» символом будет возможно, но такая страница будет не правильной и при работе с ней будут возникать ограничения. К примеру, если запрет установлен со стороны сервера то даже настроить обработку 404-й ошибки для ссылок с некорректными символами будет невозможно (не изменяя при этом конфигурацию сервера). Платформой сайта эти правила попросту не будут обрабатываться. Это касается не только символов, но и определенных директорий.
Как создать корректное ЧПУ с точки зрения разработки
1) От чего же тогда отталкиваться?
2) Какие правила являются общепринятыми?
3) И как построить корректное ЧПУ с точки зрения разработки?
Дело в том, что ссылка с недопустимым значением будет расцениваться не корректной и по отношению к алгоритмам поисковых ботов. Почему?
1) Поисковый бот действует в рамках своих алгоритмов и не сможет распознать ссылку с символами которые не понимает.
2) Либо сможет распознать ссылку, но посчитает её недостаточно качественной.
Поэтому для основ SEO продвижения и правильной работе со ссылками крайне важно настроить корректный ЧПУ.
Список разрешенных в url символов
Допустимые символы в url запомнить очень просто.
Всё остальное лучше исключить и не использовать. Однако если есть острая необходимость поэкспериментировать и разнообразить жизнь поисковым ботам на свой страх и риск, предлагаем Вашему вниманию два запасных набора символов.
The резерв символы:
Символы которые, как правило, считаются небезопасными:
В заключении хотим обратить внимание на то, что при формировании url может возникнуть очень много нюансов связанных с синтаксисом, а охватить их всех в одной статье нет возможности. Также сейчас слишком мало информации на этот счёт, а документация в полной мере не дает ответ на вопрос или слишком сложна. Возможно Вам также будет полезен «Справочник по кодировке ASCII». Найти данный либо схожие справочники на просторах интернета не составит особого труда.
Если статья была для Вас полезна или Вы нашли опечатку пожалуйста напишите комментарий и поделитесь своим мнением.
One thought on “ Список недопустимых символов в url ”
Респект. Качественные продукты выкладываете!
URI — сложно о простом (Часть 1)
Появилось таки некоторое количество времени, и я решил написать сий пост, идея которого возникла уже давно.
Связан он будет будет с такой, казалось бы, простой вещью, как URI, детальному рассмотрению которой в рунете уделяется как-то мало внимания.
«Пфф, ссылки они и в Африке ссылки, чего тут разбираться?» — скажете вы, тогда я задам вопрос:
Перед тем как начать хотел бы обозначить, что есть пост на схожую тему, в котором все обозначено проще и немного понятнее. Целью же этого поста, я ставлю более глубокое изучение вопроса и сбор информации об URI в одном месте, дабы «не потерять». Ну, почти в одном месте, статья будет разделена на две части
А для удобства бахнем оглавление, которое работает не без особенностей URI, которую мы рассмотрим попозжа, в этой статье.
Ознакомление
1. URI
Унифицированный Идентификатор Ресурса, в простонародье — URI
Самое свежее описание того, чем же все-таки являются эти пресловутые URI датируется январем аж 2005-го, а именно RFC3986, написанный самим Тимом Бёнесом-Ли, родоначальника всеми нами любимого тырнета.
Резюмируя п.1.1 можно сформулировать определение:
Многие из вас замечали, что на разных ресурсах ссылки называют то URL, то URI и, вероятно, становилось интересно — какой же из вариантов правильный?
Дело в том, что URL увидел свет и был документирован в 1990 году, в то время как URI был документирован лишь в 1994 году. И вплоть до 2002 года, до выхода RFC3305, уместными были оба варианта именования, что, порой вносило путаницу.
В п.2 RFC3305 сообщается об устаревании такого термина как URL, применимо к ссылкам, и что отныне верным будет именование URI, с того момента, во всех документах W3C использует термин URI. Исходя из этого, применяя термин URL к соответствующим ссылкам, вы не делаете смысловой ошибки, но делаете ее с точки зрения правильного именования.
Так же примечателен тот момент, что вплоть до выхода RFC2396, в 1997 году, URI расшифровывался как Universal Resource Identifier, что можно увидеть в RFC1630
1.1. Синтаксис
URI составлен из ограниченного набора символов, состоящих из цифр, букв и нескольких графических символов, все эти символы вписываются в кодировку US-ASCII (ASCII). Зарезервированное подмножество символов может использоваться, чтобы разграничить компоненты синтаксиса в URI, в то время как остающиеся символы: не зарезервированный набор и включая те зарезервированные символы, которые не действуют как разделители в данной компоненте URI, определяют данные идентификации каждого компонента.
Зарезервированные символы
Не зарезервированные символы
Для данного случая, согласно ABNF :
ALPHA — любая буква верхнего и нижнего регистров кодировки ASCII (в regExp [A-Za-z])
DIGIT — любая цифра (в regExp 7)
HEXDIG — шестнадцатиричная цифра (в regExp [0-9A-F])
Процентное кодирование
Т.о., %20, например, означает пробел.
1.2. Компоненты URI
где в квадратных скобках опциональные компоненты
Переходя по указанной в оглавлении ссылке, браузер производит переход ко вторичному ресурсу относительно данной страницы, т.е. скроллит вниз, до появления нужного на экране.
На этом, пожалуй, знакомство с URI можно закончить и начать углубляться в отдельные подвиды URI, а именно
2. URL
URL используются, чтобы определить местоположение ресурсов, обеспечивая абстрактную идентификацию расположения ресурса. Определив местоположение ресурса, система может выполнить множество операций на ресурсе, которые могут быть характеризованы такими словами как ‘доступ’, ‘обновление’, ‘замена’, ‘поиск атрибутов’. В целом только метод доступа должен быть определен для любой схемы URL.
2.1. Структура
В целом, URL имеет схожую структуру, для всех схем, хотя для каждой отдельно взятой схемы, структура может отличаться от общего шаблона.
Графически ее можно выразить в следующем виде: 
3. URN
Унифицированные имена ресурсов (URN) предназначены, чтобы служить постоянными, независимыми от расположения, идентификаторами ресурсов и разработаны для упрощения отображения других пространств имен (которые совместно используют свойства URN) в URN-пространство. Таким образом, синтаксис URN обеспечивает средство закодировать символьные данные в форме, которая может быть отправлена посредством существующих протоколов, записана при помощи большинства клавиатур, и т.д.
3.1. Структура
Самоидентифицирующийся URN
Такие URN содержат в NID название хэш-функции, а в NSS значение хэша, вычисленного для идентифицируемого объекта. Такие ссылки используются в magnet-ссылках и заголовках p2p-сети Gnutela2.
Например, URN из magnet-ссылки с одного торрент-трекера:
magnet:?xt=urn:btih:c68abc1ba9b8c7c4bc373862cad1a8c01d69e53d.
С теорией все, во второй части рассмотрим, что можно и что нужно делать с URI, если мы их обрабатываем, а именно — нормализация, разбор и т.д.
За сим откланяюсь, спасибо что читали, надеюсь не было скучно, удачи!
Какие символы допустимы в url
Думаю, будет полезна эта ссылка.
» точно не мешает индексации. Раньше много хомяков было на сайтах хостеров и урлы у них были аля hoster.ru/
Astario:
» точно не мешает индексации. Раньше много хомяков было на сайтах хостеров и урлы у них были аля hoster.ru/
Буду благодарен, если приведете пример урла с «
Astario:
С фтп то понятно, меня интересует http, вроде бы @ это служебный символ и получается его нужно перекодировать в %40 или ПС сама перекодирует?
Допустимые символы в url: цифры 2, латиница в нижнем регистре [a-z], точка[.], слеш [/], дефис [-], нижнее подчеркивание [_]
Это не все допустимые символы.
Вбейте в поиск в кавычках: «Газовые настенные котлы Viessmann с тепловой мощностью до 30 кВт» и посмотрите на урл (там всего 1 должен быть в выдаче).
остальные там просто не нужны 🙂
Нет ничего достоверней В3огр. Где-то тут наверняка можно всё найти (я сам в буржуйском не силен, что бы по-быстрячку найти конкретный ман).
Тильда означает каталог юзера (после тильды в см). Это происходит при не настроенных виртуалхлстах на апаче.
Т.е. на самом деле, если на хостинге hosting.com вам выделено место (заведён юзер), то у вас есть свой каталог (/home/user/). И он будет доступен по адресу типа hosting.com/
user (в случае не настроенных виртуалхостов)
ворос в тему вроде как):
вроде как ПС как-то относительно недавно заявили, что теперь индексят и кирилицу, если все в UTF-8)))
вот у меня такие урлы:
вроде как и запятую должен схавать)) или заблуждаюсь?)
в качестве экперемента пытаюсь их уже месяц в индекс запихать. и не идут они туда))
в основном ориентируюсь на Яндекс, гугл вроде часть страниц взял. жду пока еще..
яндекс взял 40 страниц, потом через какое то время все их и выкинул из индекса((( толи из за урл, толи контент не уникальный(а он такой и есть) не понравился.
кто-нить такие урл в индекс проталкивал? поделитесь ссылками.
или уже забить переводить все в транслит, т.к. на основном сайте эксперементировать не охота)) но не хочется и с транслитом возится)), т.к.
скриптом беру «Вася» и ищу это в БД и выдаю результат со страницами всех Вась и ссылками типа http://site.ru/name/Вася_ Иванов/
а если переделывать получается придется из урл «Vasya» переводить в «Вася» искать в БД, и все ссылки в тексте переделать на с «Вася_Иванов» на «Vasya_Ivanov», короче путаница какая-то )))