Дорвеи: часть вторая

В прошлой части мы обозначили основные качества дорвея, а именно:

• Уникальный контент. В основном парсится выдача поисковиков по ключу, RSS каналы, затем идёт процесс генерации контента используя алгоритм цепей Маркова, синонимизацию, математические модели семантики и прочие.
• Страницы. Под каждый ключ своя оптимизированная страница с определённым на стадии генерации процентом вхождения ключей в текст, метатегами и прочими оптимизированными внутренними факторами ранжирования.
• Перелинковка. Основная и первоочередная задача дорвея - попасть в индекс поисковой системы. И чем больше страниц попадет в индекс, тем лучше. Поэтому все страницы дорвея должны быть доступны и легко находимы краулерами поисковых систем. Также важную роль играет карта дорвея - список всех страниц дора

Остановимся подробнее на уникальном контенте и нч ключевикам - откуда их брать.

Контент

Существует несколько способов получения контента, которыми многие пользуются:

• Парсинг выдачи поисковых машин по ключу - вводится запрос, в ответ получаем описания сайтов в серпе. Вот эти описания и парсим. Впоследствии можно обработать его цепями Маркова или синонимизировать.
• RSS каналы - с часто обновляемых сайтов грабим по RSS контент и делаем его уникальным помощью цепей Маркова.
• Перевод контента с одного языка на другой по нужному ключу.

И еще способы, которыми пользуются немногие:

• Восстановление сохранённой копии на сервере веб-архива archive.org. ( Ищите домены с именем кея в домене - это уже залог тематичности текстов, после нахождения сайта(-ов) проверяйте на уникальность в google или Яндексе ( смотря на что работаете) ). Если ручками парсить, то вот вам в помощь плагин для лисы ScrapBook
• Искусственная генерация естественного текста. Есть огромное количество разработанных алгоритмов создания естественных и уникальных текстов, реализованные в готовых программных модулях. Хотя проблема логических цепей, разбора семантики и прочее - очень далеки от решения, но то что есть - заслуживает пристального внимания.

Ключи

Решений много.

• База Пастухова. Самый удобный способ получения качественных ключей. Купить можно здесь: http://www.pastukhov.com/
• Другие базы. Дороже и не факт, что удобнее или качественнее базы Пастухова. Раз и два.
• Парсинг “прямого эфира” Описывал здесь ( В целях повышения своих навыков программирования - напишу в выходные парсер прямого эфира яндекса )
• Парсить отсюда.Вот отсюда, отсюда, отсюда и еще, еще, еще для буржуев. И вот эти два сервиса: раз и два для русского трафа.
• SEODigger.com Показывает запросы по которым находят тот или иной сайт. Есть база как для русского, так и буржуйского сегмента ( база гугловская ). Как парсить: парсим из выдачи гугла топ100 по запросу(-ам), вводим поочерёдно урлы топ100 в seodigger.com и парсим его выдачу. На выходе куча качественных нч и сч.
• Статистика Liveinternet.ru Ищем тематические сайты с открытой статистикой и парсим список по запросам с которых нашли этот сайт за месяц. Собираем таких списков как можно больше и компилируем в одну базу предварительно почистив её от вч, левых запросов и прочего мусора

В следующий раз опишу:

• Факторы внутренней оптимизации или какие нужны страницы для дорвея
• Внутренняя и внешняя перелинковка дорвеев

Комментарии