Usenet

Материал из Национальной библиотеки им. Н. Э. Баумана
Последнее изменение этой страницы: 00:34, 26 июня 2016.

Usenet (англ. usenet — сокр. от англ. user network) — компьютерная сеть, используемая для общения и публикации файлов. Usenet состоит из новостных групп, в которые пользователи могут посылать сообщения. Сообщения хранятся на серверах, которые обмениваются ими друг с другом. Usenet - это разговор "многих со многими".

Для многих Usenet и есть Сеть. Фактически ее часто путают с Internet. Но это совершенно отдельная система. Все подсистемы Internet могут нести Usenet, но и многие подсистемы вне Internet тоже могут, от совершеннейших машин под UNIX до старых машин семейства XT и Apple II. Доступ к Usenet осуществляется по протоколу NNTP. NNTP — протокол прикладного уровня модели OSI.

Технически сообщения Usenet передаются вокруг всего света от одной местной системы к другой с помощью одного или нескольких специфических протоколов Сети. В вашей местной системе все ее сообщения Usenet хранятся в одном месте, к которому имеет доступ каждый владелец раздела на этой системе. Таким образом, сколько бы людей ни читали сообщение, местная система должна хранить только одну его копию. Многие местные системы регулярно "разговаривают" с несколькими другими на тот случай, если какая-то из их связей выйдет по каким-то причинам из строя. Когда две местных системы соединяются, они сравнивают списки сообщений Usenet, которые у них есть. Если какое-то сообщение отсутствует у одной из них, другая его передаст, и наоборот.

Введение

Usenet был задуман в 1979 году, и публично создан в 1980 году в Университете Северной Каролины в Чапел - Хилл и Университете Дьюка , в течение десяти лет до того , как World Wide Web был разработан и широкая общественность получила доступ к Интернету , что делает его одним из старейших компьютерных сетей систем связи все еще ​​широко использующихся. Первоначально он был построен на " ARPANET ", с использованием UUCP в качестве транспортного протокола доставки почты и передачи файлов, а также объявления с помощью недавно разработанного программного обеспечения новостей , таких как A News . Название Usenet подчеркивает надежду его создателей на то, что USENIX организация будет принимать активное участие в его работе. [1]

Статьи , которые пользователи публикуют в Usenet организуются в тематические категории , называемые новостные группы , которые сами по себе логически организованы в иерархии субъектов. Например, sci.math и sci.physics находятся в пределах SCI. * иерархии, для науки. Или, talk.origins и talk.atheism для разговоров. Когда пользователь подписывается на телеконференции, то новостной клиент программного обеспечения отслеживает, какие статьи были прочитаны пользователем.

В большинстве телеконференций, большинство статей являются ответами на какую-либо другую статью. Множество статей , которые можно отнести к одной не отвеченной статье называется поток .

Когда пользователь отправляет статью, она изначально доступна только на сервере новостей данного пользователя. Каждый сервер новостей общается с одним или несколькими другими серверами (его "подборки") и обменивается с ними статей. Таким образом, статья копируется с сервера на сервер и в конечном счете должна дойти до каждого сервера в сети. Более поздние соединения равноправных узлов ЛВС сети работают по аналогичному принципу, но для Usenet это , как правило , отправитель, а не приемник, который инициирует переводы. Некоторые отмечают , что это , неэффективный протокол в эпоху обильного доступа к сети с высокой скоростью. Usenet была разработана в условиях, когда сети были гораздо медленнее и не всегда доступны. Многие сайты в исходной сети Usenet будет подключаться только один раз или два раза в день для приема или отправки пакетов сообщений. [2] Это в значительной степени потому , что сеть POTS , как правило , используется для передачи, и телефонная плата была ниже в ночное время .

Usenet имеет значительное культурное значение в сетевом мире, дав начало многим широко признанным понятиям и терминам , такие как " FAQ " и " спам ". [3]

Формат и передача статей Usenet аналогична сообщения электронной почты Интернет. Разница между ними состоит в том, что Usenet статьи может прочитать любой пользователь , чей сервер новостей несет группу , к которой данное сообщение было отправлено, в отличие от сообщений электронной почты, которые имеют один или несколько конкретных получателей.

Сегодня важность Usenet уменьшилась по к отношению интернет - форумам и блогам. Usenet отличается от таких сред несколькими способами: Usenet не требует личной регистрации с соответствующей группой; информацию не требуется хранить на удаленном сервере; архивы всегда доступны; и чтение сообщений не требует почты или веб-клиента, а только клиент новостей. Группы в alt.binaries все еще ​​широко используются для передачи данных

Принцип организации и система групп Usenet

Usenet - это система телеконференций Internet. Вообще говоря, термин телеконференция не очень удачен. В Internet есть другие средства, которые также реализуют принцип телеконференций. Ветераны Usenet предлагают придерживаться термина "newsgroup" или просто "group", который можно перевести как "группа новостей" или просто "группа". В сети существует несколько информационных ресурсов аналогичных Usenet. Это и Listserv, и BBS, однако ни один из них не организован как распределенная информационная система. Последнее значит, что в случае BBS или Listserv для каждой тематики выделена специальная машина, к которой обращаются пользователи со всего света. Аналогичным образом в сети ARPA были построены почтовые списки. В Usenet же нет центрального места хранения, и информация осуществляет постоянный круговорот в сети от сервера к серверу, от сервера к клиенту, от клиента к серверу.

Организация группы "comp"

В Usenet следует различать смысловую и техническую стороны. С точки зрения информационного ресурса система организована как большой иерархический каталог. Узлы этого каталога - группы новостей. Группа новостей - это постоянно изменяющийся набор сообщений пользователей, которые интересуются предметной областью данной группы. Сообщения в группе обычно не задерживаются более нескольких дней (стандартное значение по умолчанию - 5). Существует порядка десятка групп верхнего уровня, которые имеют свои подгруппы. Проиллюстрировать такую организацию можно на примере группы "comp" (компьютеры и компьютерные технологии).

Организация системы серверов Usenet

Пользователь может выбрать одну или несколько подгрупп и осуществить на них подписку. Подписка подразумевает процедуру оповещения пользователя о появлении новых статей по интересующей его теме. Естественно, что пользователь и сам может отправить свое мнение, оформленное в виде сообщения, в группу. Сообщение оформляется в соответствии со стандартом почтового сообщения Internet (RFC-822). Фактически Usenet выполняет функции периодического издания. В настоящее время существует несколько тысяч групп - от достаточно серьезных и профессионально-ориентированных до групп посвященных играм, шуткам и просто всякой всячине (что, впрочем, тоже серьезное занятие).

Техническая сторона вопроса организации Usenet вызывает некоторую путаницу. Объясняется она тем, что, с одной стороны, в системе используются почтовые сообщения Internet, а с другой стороны, многие пользуются услугами Usenet только по почте. Для того чтобы разобраться в этом вопросе, сделаем небольшой экскурс в историю развития Usenet.

В настоящее время система серверов Usenet организована следующим образом:

Пользователь осуществляет подписку на одном из серверов Usenet, который ближе для данного пользователя, обычно это машина, на которой расположены все информационные ресурсы организации или учебного заведения. По мере поступления новых сообщений от пользователей, серверы обмениваются между собой этой новой информацией. Пользователь может подписаться на любом сервере на любую группу новостей. Последний факт принципиально отличает Usenet от систем BBS и Listserv, где подписка осуществляется на машине, которая реально ведет списки сообщений. Каждый сервер ведет список подписчиков и список телеконференций, на которые осуществлена подписка. При поступлении статьи, сервер информирует известные ему серверы о том, что появилась новая информация и в случае запроса передает ее. Это взаимодействие осуществляется посредством протокола NNTP.

Интернет - провайдеры, информационные серверы и Newsfeeds

Сегодня используется отдельное программное обеспечение для чтения новостей клиента, программа, которая напоминает почтовый клиент, но вместо этого получает доступ к Usenet серверам. Некоторые клиенты , такие как Mozilla Thunderbird и Outlook Express обеспечивают обе возможности.

Новостной сервер является одним из самых сложных для управления Интернет-услуг из-за большого объема данных, небольшая клиентская база (по сравнению с основными интернет-сервисами, такие как электронная почта и веб-доступ), а также непропорционально большой объем поддержки клиентов. Многие сайты поддерживают ограниченную новостную ленту, с ограниченным числом групп. Обычно исключенными из такой подборки являются иностранные группы новостей и alt.binaries иерархия , которая включает в себя программное обеспечение, музыку, видео и изображения, на долю которых приходится более 99 процентов данных статей.

Есть также Usenet провайдеры, которые специализируются на предоставлении сервиса пользователям, чьи провайдеры не поддерживают новости, или которые поддерживают ограниченное количество.

Чтение новостей

Новостные группы, как правило, доступны с дикторов: приложения, которые позволяют пользователям читать и отвечать на посты в группах новостей. Эти приложения выступают в качестве клиентов к одному или нескольким серверам новостей. Хотя исторически, Usenet был связан с Unix операционной системы , разработанные в AT&T , дикторы доступны для всех основных операционных систем. [4] Современные почтовые клиенты часто также имеют встроенный диктор. Однако, часто эти интегрированные клиенты имеют низкое качество, по сравнению с автономными дикторами, и неверную реализацию Usenet протоколов и стандартов. Многие из этих интегрированных клиентов, например, Microsoft 's Outlook Express, не любят пуристы из-за их неправильного поведения.

С появлением всемирной паутины (WWW), веб фронтэнды (web2news) становятся все более распространенным явлением. Веб фронтэнды снизили требования технических требований для некоторых приложений и некоторых Usenet NNTP сервер аккаунтов. Есть множество сайтов , предлагающих веб - шлюзы , основанные на Usenet группах, хотя некоторые люди начали фильтрацию сообщений, с помощью некоторых веб - интерфейсов по той или иной причине. Группы Google [5] является одними из таких веб фронтэндов и некоторые веб - браузеры могут получить доступ к Google Groups через новости. [6]

Модерируемые и немодерируемые группы новостей

Модерируется только меньшая часть новостных групп, а это означает, что сообщения, представленные читателями не распространяются непосредственно на Usenet, а вместо этого отправляются по электронной почте модераторам новостных групп для утверждения. Модераторы должны гарантировать, что сообщения, которые читатели видят в группе новостей соответствуют правилам этой группы, хотя они не обязаны следовать этим правилам. [7] Как правило, модераторы назначаются в заявке для группы новостей, и изменения модераторов придерживаются плана преемственности. [8]

Исторически сложилось так, что mod.* иерархия существовала до реорганизации Usenet. [9] Теперь, модераторы группы могут появиться в любой иерархии, как правило , с помощью добавления .moderated к названию группы.

Usenet группы в иерархии Большой-8 (Big-8) создаются предложения, называющиеся запросом для обсуждения, или RFD. RFD необходимо иметь следующую информацию: название группы новостей, запись файла checkgroups, и модерируемый или немодерируемый статус. Если группа будет модерироваться, то она должна быть обеспечена по меньшей мере, одним модератором с действительным адресом электронной почты. Другая информация , которая является полезным , но не обязательно включает в себя: правила группы, обоснование и политику модерации , если группа будет модерируемой. [10]

Немодерируемые группы новостей составляют большинство Usenet групп новостей и сообщений, представленных читателями для немодерируемых группы новостей сразу же распространяются на всеобщее обозрение. Почти все немодерируемые группы Usenet стали скоплением спама . [11] Создание Модератором группы часто становится горячим предметом спора, поднимая вопросы , касающиеся цензуры и желаний части пользователей , чтобы сформировать сообщество.

Технические детали

Usenet представляет собой набор протоколов для создания, хранения и извлечения новостей "статей" (которые напоминают сообщения электронной почты в Интернет) и для обмена их среди читательской аудитории, которая потенциально широко распространена. Эти протоколы обычно используют алгоритм затопления (Flooding) , распространяющий копии всей сети участвующих серверов. Всякий раз, когда сообщение достигнет сервера, сервер направляет сообщение всем своим соседям сети, которые еще не видели статью. Только одна копия сообщения хранится на сервере, и каждый сервер делает его доступным по требованию читателей, способных получить доступ к этому серверу.

RFC 850 был первым формальным описанием сообщений, которыми обмениваются Usenet серверы. Он был заменен на RFC 1036 , а затем на RFC 5536 и RFC 5537 .

В случае размещения неуместной информаций, Usenet имеет поддержку автоматизированного удаления поста из всей сети путем создания сообщения отмены, хотя из-за отсутствия аутентификации и, как следствие злоупотребления, эта возможность часто отключена. Правообладатели могут по- прежнему просить вручную исключить контрафактный материал с использованием положений договора Всемирной Организации Интеллектуальной Собственности, такие как закон США об авторском праве .

В Интернете, Usenet транспортируется через протокол передачи сетевых новостей (NNTP) на TCP - порт 119 для стандартных, незащищенных соединений и на TCP порт 563 для SSL в зашифрованном виде соединений , который предлагается только на несколькими сайтами.

Организация

Основной набор мировых новостных групп содержится в девяти иерархиях, восемь из которых используются в соответствии с руководящими принципами по обоюдному согласию, которые регулируют их администрирование и именование. В настоящее время Большой восьмеркой являются:

  • comp.* - связанные с компьютером дискуссии (comp.software, comp.sys.amiga)
  • humanities.* - изобразительное искусство , литература и философия (humanities.classics, humanities.design.misc)
  • misc.* - различные темы (misc.education, misc.forsale, misc.kids)
  • news.* - дискуссии и объявления о новостях ( что означает Usenet, а не текущие события) (news.groups, news.admin)
  • rec.* - отдых и развлечения (rec.music, rec.arts.movies)
  • sci.* - наука , связанные дискуссии (sci.psychology, sci.research)
  • soc.* - социальные дискуссии (soc.college.org, soc.culture.african)
  • talk.* - разговоры о различных спорных вопросов (talk.religion, talk.politics, talk.origins )


alt.* иерархия не подлежит процедурам контроля групп в Большой восьмерке, и это в результате она менее организованная. Группы в alt.* иерархии имеют тенденцию быть более специализированными или конкретным, например, может быть группа в большой восьмерке, которая содержит дискуссии о детских книгах, но группа в иерархии альт может быть посвящена одному конкретному автору детских книги. Бинарные файлы размещены в alt.binaries.*, что делает ее самым крупным из всех иерархий.

Многие другие иерархии групп распространяются вместе с ними. Региональные и языковые специфические иерархии , такие как japan.*, malta.* И ne.* могут служить как иерархии конкретных стран и регионов, таких как Япония, Мальта и Новая Англия. Компании и проекты управляют своими собственными иерархиями, чтобы обсудить свои продукты и техническую поддержку сообщества, такие как исторический gnu.* иерархия от Free Software Foundation. Microsoft закрыла свой ​​сервер новостей в июне 2010 года, обеспечивая поддержку теперь своей продукции на форумах. [12] Некоторые пользователи предпочитают использовать термин "Usenet" для обозначения иерархий только большой восьмерки; другие также включают альт.

Newsgroup

Основной строительный блок Usenet - это группа новостей ("newsgroup"), которая представляет собой собрание сообщений по некоторой группе тем (в других сетях это называют конференциями, форумами, досками объявлений или группами по интересам). Этих групп новостей сейчас более 5000 на нескольких разных языках, и они охватывают все - от искусства до зоологии, от научной фантастики до Южной Африки. Некоторые общедоступные системы, обычно те, которые работают через посредство меню, стараются облегчить ситуацию, деля Usenet на несколько основных категорий. Выбрав одну из них, вы получите список групп новостей в этой категории. Затем выберите ту группу новостей, которая вас интересует, и читайте.

Другие системы дают возможность составить свой собственный "список чтения", чтобы смотреть сообщения только в тех конференциях, в которых вы хотите. В обоих случаях конференции организованы согласно некоторой иерархии, придуманной в ранние восьмидесятые. Имена групп новостей начинаются с самой общей темы. Например, группы новостей, имя которых начинается с "comp.", посвящены конкретным темам, относящимся к компьютерам. За этими общими темами следуют более детализированные (например, группы "comp.unix" ограничиваются обсуждением вопросов, связанных с Unix).

Главные иерархии

bionet Исследовательская биология
bit.listserv Конференции, возникшие как списки рассылки Bitnet
biz Бизнес
comp Компьютеры и относящиеся к ним темы (comp.software, comp.sys.amiga)
misc Дискуссии, которые больше некуда поместить (misc.education, misc.forsale, misc.kids)
news Новости о самой Usenet (news.groups, news.admin)
rec Хобби, игры и отдых (rec.music, rec.arts.movies)
sci Наука (кроме исследовательской биологии) (sci.psychology, sci.research)
soc "Социальные" группы, часто связанные этнически (soc.college.org, soc.culture.african)
talk Политика и связанные с ней темы (talk.religion, talk.politics)
alt Противоречивые или необычные темы; поддерживается не всеми подсистемами
humanities искусство, литература, философия (humanities.classics, humanities.design.misc)

Кроме того, многие местные системы ведут группы новостей по конкретному городу, штату или региону. Например, ne.housing - группа новостей, где жители Новой Англии дают объявления о съеме квартир. Все увеличивается число систем, несущих группы новостей K12, которые рассчитаны на учителей и учащихся начальной и средней школы. А во многих городах ведутся группы новостей clari, которые фактически являются коммерческими службами, состоящими из сообщений телеграфных агентств и уникальной службы компьютерной хроники

Загрузка и публикация файлов в Usenet

Серверы Usenet дублируют (частично или полностью) информацию хранящуюся друг у друга, чтобы их пользователи могли общаться между собой. Однако, работают они не синхронно. Каждый из них имеет свои ограничения на объём загружаемой информации с других серверов и сроки её хранения (англ. retention rate). Причем администрация сервера сама определяет, какие группы и в каком объёме синхронизовать. Платные серверы негласно приветствуют практически любой контент, в том числе нарушающий авторские права.

Среди факторов, осложняющих публикацию в Usenet, есть и ограничение на объём одной публикации (кол-во строк / мегабайт). На каждой серверной ферме администрация устанавливает свой лимит. Поэтому перед публикацией большие файлы, например, фильмы или образы дисков, нужно разбивать на части не более 50-ти мегабайт. Это — необходимая рекомендация и правило хорошего тона. Небольшие файлы лучше распространяются между серверами, сохраняется их целостность.

На случай возможной утраты, повреждения отдельных томов архивов или файлов, используются PAR2-файлы (англ. parchive, parity file), содержащие необходимые данные для контроля и коррекции ошибок. С их помощью файлы легко восстанавливаются и дополняются при частичной утрате. Обычно для работы с PAR2 используют утилиту QuickPar.

Все файлы, имеющиеся в Usenet, будь то музыка, изображения, видео, программное обеспечение, образы дисков, игры и прочие, представлены в текстовой кодировке и прикреплены к сообщению, точно так же, как и в электронной почте.

Большой популярностью пользуется кодировка yEnc, как наиболее компактная.

Тематические группы для поиска и публикации файлов

Фильмы и сериалы

   alt.binaries.dvd.*
   alt.binaries.multimedia.*
   alt.binaries.movies.*
   alt.binaries.vcd.*
   alt.binaries.multimedia.anime (аниме-сообщество имеет несколько групп, подробнее на www.animeusenet.org, обсуждение в alt.binaries.multimedia.anime.d)
   alt.binaries.hdtv

Музыка

   alt.binaries.music.*
   alt.binaries.sounds.*

Программы и игры

   alt.binaries.boneless
   alt.binaries.comp
   alt.binaries.cd.image
   alt.binaries.warez.ibm-pc (одна из старейших и культовых варезных ньюсгрупп)
   alt.binaries.warez.*
   alt.binaries.cracks.*
   alt.binaries.x
   alt.binaries.mac.* (для Mac OSX)
   alt.binaries.games
   alt.binaries.emulators

Книги

   alt.binaries.e-book.*
   alt.binaries.sounds.audiobooks.*
   alt.binaries.sounds.mp3.audiobooks.*

Картинки

   alt.binaries.pictures.*

Шрифты

   alt.binaries.fonts (обсуждение, запросы на конкретные шрифты, помощь в опознании шрифта)
   alt.binaries.fonts.floods

Программы

Популярные клиенты

Для Windows

   NewsLeecher — http://www.newsleecher.com
   NewsBin — http://www.newsbin.com
   Usenet Explorer — http://www.netwu.com/ue
   News Rover — http://www.newsrover.com
   UltraLeecher — http://www.ultraleecher.com
   Forte Agent — http://www.forteinc.com
   NZB-O-Matic — http://nzb.wordtgek.nl
   Xnews — http://xnews.newsguy.com
   Outlook — не поддерживает NZB-файлы и yEnc кодировку

Для Mac OS X

   Unison — http://www.panic.com/unison

Кроссплатформенные

   NZBGetNews — http://www.nzbgetnews.com/
   Nzblord - http://nzblord.com
   Pan — http://pan.rebelbase.com
   Tin — http://www.tin.org
   Slrn — http://www.slrn.org
   Gnus — часть Emacs
   KNode — в составе KDE
   NZBGet — http://sourceforge.net/projects/nzbget/

Вспомогательные программы

Для Windows

   QuickPar — http://www.quickpar.org.uk — создание PAR2, разбиение файлов на части и сбор
   SmartPAR — http://parchive.sourceforge.net — аналогичная программа
   HJSplit — http://www.hjsplit.org/windows/ — разбиение файлов на части

Для Mac OS X

   MacPAR deLuxe — http://www.xs4all.nl/%7Egp/MacPAR_deLuxe — работа с .par и .par2
   Split&Concat — http://www.xs4all.nl/%7Eloekjehe/Split&Concat/ — аналогичная программа

Для GNU/Linux

   PyPar2 — http://pypar2.silent-blade.org — работа с .par2
   Gnus - http://www.gnus.org/

Популярные серверы

   Inn — наиболее распространенный Usenet-сервер
   Leafnode — кеширующий Usenet-сервер без возможности создания собственных групп новостей
   S-news
   Suck

Поисковики

Поиск файлов в Usenet (создание списков в формате .nzb для их загрузки с помощью клиентских программ):

   BiNZB - http://binzb.com/ - Бинарный индексатор по 2.000 новостным группам
   FindNZB - http://findnzb.net
   Mp3box — http://mp3box.to - Каталог музыки, основанный на данных из музыкальных новостных групп
   Binsearch — http://www.binsearch.info
   NZBFriends - http://nzbfriends.ru - Usenet поисковик на русском
   NZBid - http://nzbid.org/ - Usenet поисковик-каталогизатор
   Yabse — http://www.yabsearch.nl
   Nzbindex — http://nzbindex.nl
   Bintube — http://www.bintube.com
   Aeton — http://search.aeton.biz
   Newzbin — http://www.newzbin.com — основатели формата NZB, поисковик-каталогизатор
   Nzbnova — http://www.nzbnova.com
   AnimeUsenet — http://www.animeusenet.org — аниме в Usenet
   UsenetHub - http://usenethub.com/ - платный идексатор с расширенными возможностями, вроде встроенного просмотра графики, полной загрузки самих файлов прямо из браузера пользователя и т. п.

Поиск информации в текстовых сообщениях

   groups.google.com — http://groups.google.com

Примечания

Источники

Ссылки