Поисковик Majestic-12

(источник: http://blog.majesticseo.com/general/... )



Хороший день: 8 октября 2009 года - поисковик MJ12 (Majestic-12 Distributed Search Engine) зафиксировал более триллиона уникальных адресов веб-страниц в Интернете. Это вторая организация в мире, публично объявившая о преодолении рубежа в 1 триллион найденных веб-страниц; первой была Google (28 июля 2008 года). Но MJ12 использовал для этого по сравнению с Google существенно меньше аппаратных средств и намного меньше трудовых ресурсов. В то же время энергия движения и сила духа MJ12 достаточны для того, чтобы вскоре оставить Google позади.
Пока впечатляющие результаты работы поисковой машины MJ12 актуальны и востребованы только web-специалистами. На основе базы данных MJ12 функционирует проект Majestic-SEO, дающий исчерпывающие отчёты по беклинкам (в настоящее время ведущие поисковики показ обратных ссылок блокируют). Но уже в следующем (2010) году начнутся работы по написанию полнотекстового поисковика, что будет интересно и полезно уже всем.

Работа MJ12 основана на распределённых вычислениях. Любой энтузиаст в любой точке мира может принять участие в грандиозном проекте MJ12, установив крохотный клиент MJ12node на свой компьютер. Но надо иметь ввиду, что для его работы необходим безлимитный трафик сети (и чем толще, тем лучше), который клиентом MJ12node может использоваться на 100%; процессор компьютера также будет изрядно загружен. MJ12node индексирует страницы в соответствии с заданиями, получаемыми с основного сервера, и отправляет результаты обратно на сервер. За счёт этого центральный сервер снимает с себя 99% затрат времени по индексированию сети.

Руководство по установке и настройке MJ12node можно найти здесь:
http://www.majestic12.co.uk/...
http://www.majestic12.co.uk/...
http://www.xtremesystems.org/forums/... .

Проект имеет детализированную статистику, обновляемую ежечасно. Вот например статистика по участникам проекта:
http://www.majestic12.co.uk/projects/dsearch/users.php .

Офис MJ12 находится в английском городке Бирмингам, в строении Faraday Wharf (главное здание научного парка Астон):


По теме:
http://www.majesticseo.com/research/...
http://uk.prweb.com/...
http://www.ukspa.org.uk/news/...
http://www.birminghampost.net/...
http://distributed.ru/wiki/pro:majestic12
http://distributed.org.ua/...

О Majestic-SEO:
http://35metod.ru/backlinks-majestic-seo/


Небольшое дополнение для запускающего на своём компьютере паука MJ12. Ответ на вопрос "Сколько букетов и воркеров выставлять ?".

• Программа не требует инсталляции. Чтобы программа начала получать задания и кролить (to crawl) сайты, необходима нехитрая регистрация. Почти все настройки оставляем по умолчанию, но некоторые необходимо изменить для эффективной работы паука.
• Обязательно. Начать надо с указания скорости, которую вы готовы пожертвовать MJ12 и которую сможет обеспечить ваш провайдер. На вкладке Tools - Options - Connection задаём скорость Downstream. Например 5120 (Мегабайт в секунду). Скорость Upstream можно установить любую и небольшую, лишь бы программа успевала выгружать образующиеся данные и не захлебнулась в них. Также программа может захлебнуться в накапливаемых данных, если не будет хватать мощности процессора и он не будет успевать архивировать данные.
• Обязательно. Скорость соединения определит максимальное число активных асинхронных процессов (Maximum number of async workers), например 150. Активироваться будет столько процессов, сколько позволяет скорость загрузки. Если допустим 90 активных процессов загрузят ваше соединение, то более активироваться процессы не будут, даже если их число установлено больше.
• Обязательно. На вкладке Tools - Options - Crawler выставляем количество открытых букетов (Maximum open URL buckets), например 50. С сервера MJ12 будет загружаться именно указанное количество букетов, т.е. в данном случае 50. Но открываться будут не обязательно все 50 букетов, а то количество, которое активирует указанное число активных процессов. Максимум открытых букетов ограничен ресурсами вашего компьютера, каждый открытый букет займёт на жёстком диске до 250-300 Мегабайт. Программа не контролирует и не сигнализирует превышение ресурса диска, в этом случае её работа сперва начнёт сильно замедляться, а затем она просто намертво зависнет.
• Опционально. Можно существенно увеличить объём данных, приходящихся на один URL, установив на вкладке Tools - Options - More Crawler галочку Request deep crawl buckets only. Но общая скорость сканирования (и количество отсканированных URL) при этом пропорционально уменьшится. Кроме того, сервер MJ12 не всегда может предложить ёмкие букеты, альтернативные же букеты он предлагать не будет, что чревато простоем вашей программы.

Кратко повторю цепочку взаимосвязей параметров программы. Ограничение скорости загрузки ограничит число активных (рабочих) процессов. Максимум активных (рабочих) процессов ограничит число открытых букетов. Максимум открытых букетов ограничен свободным пространством жёсткого диска.

Настройка программы более детально.
Снова о настройке.
Ещё соображения по настройке. читать дальше

IPREDator, финальная версия

Во всемирный день дурака - 1 апреля - в Швеции вступил в силу новый закон на базе IPRED [Intellectual Property Rights Enforcement Directive - директива по усилению охраны прав интеллектуальной собственности], благодаря которому правообладатели (а точнее говоря, их подвид - копирасты) смогут требовать у торрент-трекеров и вообще любых сайтов логи, чтобы затем преследовать пользователей в судебном порядке.

Для нейтрализации законодательных ужесточений на этот же день был запланирован коммерческий запуск анонимайзера от The Pirate Bay - IPREDator. Название основано на игре слов "IPRED" и "predator" [англ. "хищник"]. Правда запуск бета-версии анонимайзера реально произошёл по техническим причинам позже (в июне 2009), но на днях (сентябрь 2009) заработала уже финальная версия IPREDator'а.

IPREDator работает по принципу VPN - виртуальной частной сети, активность в которой не протоколируется. Сервис платный и стоит 5 евро в месяц.

Противостояние копирастам и, более общо, противникам информационной свободы эффективно происходит по многим направлениям, несмотря на их мощную поддержку со стороны государственных служб и крупного бизнеса (эти направления в т.ч. использование для обмена специальных программ, анонимайзеров; уход в анонимные сети - их множество; из тех, что на слуху I2P, Perfect Dark, Freenet). Парадоксально, но самым эффективным способом нейтрализации разрушительной активности копирастов всё-таки является открытый информационный обмен без предохранения, в котором участвует огромное количество людей, миллионы - но чреватый последствиями для некоторых счастливчиков, выбираемых из общей массы для показательных казней.

Почитать в тему можно здесь:
pazzive.livejournal.com/166399.html
pazzive.livejournal.com/178249.html читать дальше

Как убрать под кат в Blogger'е

(источник: http://blogger4you.blogspot.com/... )

Рекомендованный в Blogger'е и продублированный на некоторых блогах способ ката дефектен, так как приводит к появлению надписи "Читать дальше..." во всех сообщениях. Здесь описан корректный способ реализации ката.

Заходим на вкладку
Панель инструментов - Макет - Изменить Html
и ставим галочку Расширить шаблоны виджета.

1) Находим тег </head> и перед ним пишем кусок кода, описывающий CSS-style:

<style>
a.more{display:none;}
<b:if cond='data:blog.pageType !=&quot;item&quot;'>
span.fullpost {display:none;}
span.fullpost + a.more {display:inline;}
span.fullpost + div + a.more {display:inline;}
<b:else/>
span.fullpost {display:inline;}
</b:if>
</style>

2) Теперь находим в нашем Html-коде строчку
<data:post.body> (она может иметь вид <data:post.body/>)
и после неё вставляем код

<a class='more' expr:href='data:post.url' style='font-size:130%;'
title='Читаем всю статью...'>Читать дальше...</a>

Шаблон исправлен. Нажимаем Просмотр и Сохранить.

3) Чтобы статья стала расширяемой, вторую её часть (скрываемую) заключаем между тегами <span class="fullpost"> и </span>. читать дальше

I2P - шапка-невидимка и сапоги-скороходы

(первоначальный источник: http://forum.antichat.ru/... )


В отличие от "двухслойной" сети Freenet (opennet / darknet), которая является самодостаточной частью инета, но изолирует пользователя в себе, децентрализованная анонимная сеть I2P (i2p2.de) позволяет делать защищённый серфинг по всему инету. Причём, в отличие от программы Tor подобного назначения, это происходит существенно быстрее, и, кроме того, в I2P заложены многие другие актуальные функции, в частности, p2p файлообмен, анонимные сайты (eepsites) и т.д. Т.е. I2P - не просто анонимная сеть, но мощная служба, обеспечивающая анонимность по многим направлениям.

Аббревиатура I2P расшифровывается как Invisible internet project - проект невидимого интернета. Разработчики сети ранее принимали участие в проекте Freenet.

Сеть построена на основе самоорганизующейся распределённой Network database. Причём сама Network database нечто иное, как модифицированная DHT сеть, применяемая в BitTorrent сетях. Только если в торренте DHT хранит хэши, названия торрентов (в uTorrent), и IP адреса пиров, то тут Network database хранит в себе хэшированные адреса узлов сети, зашифрованные AES IP адреса, Ratio клиента (соотношение отданного в сети к скачанному), а также публичные ключи шифрования, причём соединения по Network database тоже зашифровано. Таким образом, сеть I2P получается полностью децентрализованной, что в совокупности с шифрованием информации обеспечивает её живучесть.

В I2P используются множественные слои шифрования, а также используется маршрутизация через несколько других компьютеров в сети, чтобы обеспечить анонимность и отправителя и получателя информации. Сеть использует 3 типа шифрования:
- сквозное шифрование - шифруется соединение между двумя пирами сети; это нужно например для p2p (BitTorrent) или при доступе к сайтам внутри сети (eepsites);
- тоннельное шифрование - шифрование аналогично первому, только трафик передаётся ещё через 3 случайно выбранных узла, причём пакеты делятся на 2 узла и склеиваются на 3, что делает сниферство пакетов между узлами 1 и 2 бесполезным.
- транспортное шифрование - шифруется аналогично сети TOR: выбираются 3-5 случайных узлов и через них проходит трафик в случайном порядке, последний узел обеспечивает доступ в инет.


Для работы клиента сети I2P требуется Java (версии 1.5 и выше). Установка клиента проста; после его запуска через адрес http://localhost:7657 ты попадаешь в мир I2P со своими сервисами, приложениями, личным кабинетом, где можно отслеживать трафик, а также мониторить новые ноды. В недрах этой сети поддерживаются такие сервисы, как почта, браузинг, ведение блогов, файлообмен (по протоколу BitTorrent, Kademlia, Gnutella), мгновенные сообщения. Основные приложения, доступные для использования внутри I2P:

• Susimail (localhost:7657/susimail/susimail) - почтовый клиент
  
• SusiDNS (localhost:7657/susidns/index.jsp)
• I2Psnark (localhost:7657/i2psnark) - торрент-клиент
  
• eepsite (localhost:7658)
• I2PTunnel (localhost:7657/i2ptunnel/index.jsp)
• мониторинг туннелей (localhost:7657/tunnels,jsp)

Непосредственно анонимный серфинг в инете осуществляется посредством HTTP-proxy I2P на порту 4444. Также в самой сети установлены защищённые веб-узлы (eepsites), специально заточенные для соблюдения анонимности.

Для анонимного блоггинга и форумов инсталлируется Syndie.


Сайт проекта I2P: i2p2.de.
Вики: ru.wikipedia.org/wiki/I2P и anticopyright.ru/wiki/I2P.
Другие ссылки:
planetpeer.de/wiki/index.php/Das_deutsche_I2P-Handbuch - I2P, руководство пользователя,
http://www.irongeek.com/... - видео как начать работать в I2P,
eepsite.com - установка клиента I2P и как сделать свой eepSite,
i2psites.com - поиск по I2P сайтам,
p2pforums.com/viewforum.php?f=104 - I2P на p2p форуме,
gulli.com/news/i2p-an-anonymous-network-2009-03-09 - интервью с zzz - одним из анонимных разработчиков I2P.

Внутренние ресурсы сети I2P. Список сайтов можно посмотреть на
ugha.i2p/EepsiteIndex
Сайты библиотек в сети I2P:
blacklib.i2p - книги на английском языке,
de-ebook-archiv.i2p - книги на немецком языке,
Торренты в сети I2P:
tracker.postman.i2p
torrents.i2p

Если вопрос анонимности вас не волнует, на сайты, размещённые в сети I2P, можно зайти и непосредственно из инета через гейт i2p.to, например
blacklib.i2p.to
но скорость работы в этом случае будет очень медленной.
По теме:
http://i2prus.wordpress.com/
http://www.censorshipsucksballs.com/... читать дальше

Freenet, средство для свободы

(источник: http://scteam.wordpress.com/... )


Freenet (freenetproject.org), наиболее известная из p2p анонимных зашифрованных сетей, эволюционирует. В конце текущего года ожидается версия 0.8.0, которая обещает многое, а сейчас доступна версия 0.7.5, также существенно улучшенная. Работающий на всех системах с виртуальной машиной Java версии 1.5 или выше, Freenet позволяет пользователям общаться и обмениваться данными в полной безопасности.


Создатель сети Ян Кларк считает, что программное обеспечение может сделать невозможным применение Hadopi (французский законопроект, ставящий целью тотальную цензуру обычных пользователей Интернета; кое-что о нём здесь). Сейчас Freenet находится в версии 0.7.5. Анонимная и зашифрованная сеть вначале была создана чтобы помогать китайским диссидентам свободно высказываться, без риска цензуры или репрессий, но она была принята также и другими пользователями, которые желают обмениваться информацией свободно, без риска уголовного преследования за возможные формальные нарушения. Проект распространяется под свободной лицензией GPL, и в настоящее время поддерживается одним разработчиком на полной ставке и сообществом разработчиков на добровольной основе.

Сеть Freenet превращает компьютер пользователя в узел, который отдаёт часть своего жёсткого диска в распоряжение сети, не зная при этом, что транзитом следует через него. Вся информация шифруется и распределяется по разным узлам таким образом, что невозможно установить, кто загрузил данные и по каким узлам они распределены. Очень далёкий от традиционных p2p сетей, Freenet прежде всего полезен для свободы слова, так как он позволяет создавать анонимные сайты в формате XHTML ("Freesites") и посылать электронную почту любой степени скрытности ("Freemails“). Обмен файлами - лишь одна из функций сети, не главная.

Являясь по своему характеру полностью децентрализованным и скрытным, Freenet конечно вызывает споры. Педофилы или террористы могут использовать сеть для распространения своей информации, которая затем проходит транзитом через жёсткие диски всех пользователей, без ведома последних. Именно по этой причине, такие законопроекты как Hadopi или Loppsi, стремясь к цензуре обычных пользователей Интернета, фактически поощряют развитие анонимных сетей, которыми могут воспользоваться уже настоящие преступники, вследствие чего анонимные сети могут стать контрпродуктивными и опасными. Но в потоке претензий к p2p-сетям Freenet всегда был несущественным.

Версия 0.7.5, осуществлённая после преодоления финансовых затруднений (Google спонсировал 18.000 $, чтобы проект выжил), вносит главным образом следующие изменения:
- интеграция db4o (база данных по объектам), которая позволяет уменьшить объём используемой памяти задействованных узлов и, следовательно, использовать Freenet на небольших машинах; типичный узел займёт теперь от 100 до 250 Мегабайт оперативной памяти, не больше;
- внесение изменений в веб-интерфейс FProxy, который становится проще в использовании для новичков;
- новый инсталлятор для упрощения установки Freenet и большей совместимости с Windows Vista;
- система плагинов изменена в основе, что даёт возможность создавать зависимости между плагинами и обновлять их автоматически; это подготовка к версии 0.8.

Следующую версию, Freenet 0.8.0, ждут с нетерпением. Среди других очень важных изменений, влияющих на производительность сети, особенно при обмене большими файлами, в версии 0.8 будет система мгновенной коммуникации с шифрованием (Freetalk / WOT). Она будет иметь принцип "сети доверия", чтобы выделить пользователей, имеюших в сети хорошую репутацию, и замалчивать спамеров или тех, чьи намерения оцениваются как вредные для безопасности сети и её пользователей.

- картинка с проекта 2001 года FreeWeb freeweb.sf.net (создание сайтов в сети Freenet).

Freenet в Wiki: ru.wikipedia.org/wiki/Freenet ,
http://wiki.freenetproject.org/ .
Прогресс работ над версией 0.8 отражён здесь: bugs.freenetproject.org/roadmap_page.php .
Форум проекта, где собирают и обсуждают предложения по улучшению проекта: freenet.uservoice.com .
Другие ссылки: en.wikipedia.org/wiki/Freenet ,
de.wikipedia.org/wiki/Freenet ,
sarwiki.informatik.hu-berlin.de/Freenet ,
doc-fr.freenetproject.org . читать дальше

Библиотеки LibGen, RuLib: знания свободны!

LibGen - мощная web-библиотека

Если вы ищете книгу, и эта книга учебного или научно-технического характера, с высокой степенью вероятности вы найдёте её в качественно сделанной библиотеке Library Genesis, или кратко LibGen (gen.lib.rus.ec). Библиотека содержит порядка 100.000 наименований книг, продублирована в BitTorrent-сети и находится в развитии.

Список подобных или связанных с этой библиотекой некоторых других ресурсов (в т.ч. более широкого тематического охвата) можно найти здесь: xplusy.isnet.ru/links_2.html.

RuLib - p2p библиотека в DC-сети

Новая технология пополнения библиотечных ресурсов изложена и реализована в библиотеке RuLib (rulib.narod.ru). Отфильтрованные энтузиастами из общего информационного потока спутниковых каналов связи (spacelib.narod.ru) файлы нужных форматов становятся доступными любому пользователю через DC-сеть. Конечно, это лишь один из всевозможных источников пополнения библиотеки RuLib, распределённой в DC-сети.

Точкой сборки библиотеки является поисковик магнет-ссылок на файлы ресурсов RuLib в DC-сети dc-poisk.no-ip.org. Если нужные вам файлы найдены, то для каждого файла будет указаны две ссылки: magnet и tth. Кликнув на tth, вы получите имена всех юзеров, расшаривших данный файл с аналогичным хэшэм. Найти к каким хабам в текущий момент подключен интересующий вас юзер, можно по его имени на хаблистах publichublist.nl или dchublist.com. Подключаете DC-клиента к этим хабам, кликаете ссылку magnet, и DC-клиент скачивает файл.
Почитать про DC-сети и скачать клиента можно например здесь: dccp.ru.

Для пользователя DC-сеть не так удобна как BitTorrent-сеть, но система работает! На сегодня проиндексировано более 250.000.000 имён файлов, распределённых более чем по 16000 юзерам.

читать дальше

WDL - мировая цифровая библиотека

Мировая цифровая библиотека (wdl.org) продолжает тренд создания зеркальной реальности в сети - для информации сеть вполне естественная среда обитания и размножения. Реальные объекты получают там своё отражение в виде оцифрованных версий. Международный проект WDL в многоязычном формате представляет материалы по истории и культуре разных стран мира. В числе культурных сокровищ, представленных в WDL - рукописи, карты, редкие книги, музыкальные партитуры, записи, фильмы, снимки, фотографии и архитектурные чертежи.


Деморолик WDL: youtube.com . Мировая библиотека в википедии: ru.wikipedia.org .

читать дальше