A-Parser 1.2 - продвинутый парсер поисковых систем, Whois, DMOZ, Alexa, и еще 85+ сервисов

1.2.1661 - новые парсеры: Яндекс Балабоба и позиции в DuckDuckGo, улучшения во встроенных парсерах



Улучшения

• Добавлен парсер позиций DuckDuckGo: SE:: DuckDuckGo:: Position
• Добавлен парсер Яндекс Балабоба: SE::Yandex::Balaboba
• Реализована работа с XEvil через API Antigate v2
• Добавлена передача кук Google при включении опции ReCaptcha2 pass proxy в SE::Google
• Обновлен список доменов в SE::Yandex
• В связи с тем, что Яндекс теперь всегда выдает по 10 результатов на страницу, в SE::Yandex убран параметр Links per page
• В HTML::LinkExtractor и Check::BackLink добавлен сбор <a> тега
• В Shop::AliExpress добавлена поддержка сессий
• В HTML::EmailExtractor добавлена опция Skip meta tags, при ее включении указывает парсеру не собирать почты в meta тегах
• В парсере DeepL::Translator актуализирован список языков

Исправления в связи с изменениями в выдаче

• Исправлено определение опечатки по запросу в SE::Yandex
• SE::Yandex::WordStat - исправлена авторизация в режиме HTTP
• Исправлено определение рекламы в SE::Yandex:: Direct
• Исправлен Shop::Wildberries:: ProductsList при парсинге по ключевым словам
• SE::Baidu - исправлена работа в тех случаях, когда по запросу нет результатов
• SE::Google, SE::Yandex, SE::Bing, SE::Google::Images, Rank::MajesticSEO, Rank::MOZ, Shop::AliExpress, Shop::Amazon, SE:: Pinterest

Исправления

• Исправлен выбор региона в SE::Yandex
• Исправлена обработка url с кириллицей в PAA SE::Google
• Исправлена работа SE::Google::KeywordPlanner, в некоторых случаях парсер не видел ответ и ошибочно повторял попытки
• Исправлена ошибка логина в парсере SE::Yandex:: Direct
• В SE::Yandex::Register исправлен баг при отображении Яндексом ошибки о некорректном номере телефона или о других проблемах
• SE::Google::Translate - в некоторых случаях парсинг завершался с ошибкой
• Исправлен баг с ошибочным выводом результатов в Net::HTTP при сборе через регулярку, в случаях когда один запрос отработал успешно, а другой нет, и второй вывел результаты первого
• Исправлена ошибка с висящими процессами Chrome после завершения задания на Windows 11
• Исправлена доступность fs.constants

 

Сборник статей #16: вывод результатов в JSON, синхронизации файлов и SEO кейс продвижения сайта

Представляем 16-й сборник статей, в который вошли статья о вариантах вывода результатов в JSON виде, статья о синхронизации А-Парсеров на разных ПК с помощью Google Диск и SEO кейс продвижения сайта с выходом на иностранный рынок.

Обзор вариантов вывода результатов в JSON виде
Полный обзор всех возможных способов вывода результатов в JSON виде с примерами: вывод в JSON для одиночных запросов, формирование JSON построчно, формирование объекта в памяти и вывод результатов в JSON в конце работы задания.



Синхронизация А-Парсеров на разных ПК с помощью Google Диск (Google Drive)
В этой статье описывается как синхронизировать файлы А-Парсера, конфиги, все настройки которые вы сделали на одном ПК, с другим ПК.
В качестве инструмента будет использоваться простой и бесплатный Google Диск (Google Drive) с помощью которого вы можете хранить и передавать коллегам файлы и папки, а также работать над ними вместе с другими пользователями на компьютере или мобильном устройстве.



Как мы потратили 1 млн рублей для выхода на иностранный рынок SEO: кейс с расходами и результатами
Статья на vc.ru о том, как мы за 3 месяца вывели сайт с нуля в топ по Южной Африке. Делимся готовой пошаговой схемой быстрого вывода сайта на иностранный рынок, с данными по нагрузке сотрудников, расходами, таблицами и примерами ТЗ.
Для массовой проверки выдачи Google использовался Python и парсер A-Parser.
Кейсы по применению нашего парсера Google и его описание:
https://a-parser.com/docs/parsers/se-google




Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки ) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники статей

 

Сборник рецептов #53: популярные запросы Google Trends, парсер yep.com и проверка домена в выдаче

53-й сборник рецептов, в котором собраны парсер популярных запросов за сутки на Google Trends, парсер yep.com и пресет для проверки на содержание доменов в выдаче.

Парсинг популярных запросов за сутки Google Trends
Парсер для сбора поисковых трендов за сутки с Гугл Трендс. Собираются дата, название запроса, трафик, похожие запросы и ссылка на позицию.


Парсер yep.com
Простой пресет для парсинга поисковой системы yep.com.


Yandex - проверка на содержание доменов в выдаче
Пресет для проверки на содержание доменов в выдаче с записью в разные файлы результатов по условию.


Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

 

1.2.1683 - новый парсер Cloudflare::Radar, поддержка сервиса CaptchaAI, исправления ошибок



Улучшения

• Добавлен новый парсер Cloudflare::Radar, определяет категории доменов
• В парсеры Util::ReCaptcha2, Util::ReCaptcha3, Util::hCaptcha добавлена поддержка сервиса CaptchaAI
• В Rank::Ahrefs добавлен сбор рейтинга страницы (URL rating)
• Обновлен список языков в DeepL::Translator

Исправления в связи с изменениями в выдаче

• Адаптация к изменениям в верстке Google и Яндекс
• Исправлен сбор totalcount в SE::Yandex для некоторых запросов
• Исправлен выбор региона в SE::Yandex:: Direct
• Исправлена работа Rank::Ahrefs::KeywordGenerator c Country - United Kingdom
• В Shop::Yandex::Market по некоторым запросам не было результатов
• SE::Google::Images, Rank::Ahrefs::KeywordGenerator, Shop::Yandex::Market

Исправления

• Исправлено лишнее использование сессии на последней попытке в SE::Google
• Исправлен парсинг поисковой выдачи Яндекс, когда в выдаче только 1 результат
• Исправлена ошибка в Telegram::GroupScraper, из-за которой парсились не все имена и ссылки на логины
• Исправлен баг в SE::Yandex:: Position, из-за которого ошибочно осуществлялся поиск по запросу вместе с искомым доменом
• Исправлена проблема в Check::RosKomNadzor, из-за которой при массовом парсинге иногда не менялась прокси
• В HTML::LinkExtractor исправлен сбор внутренних ссылок после редиректа
• Puppeteer: улучшена работа с сайтами, запрашивающими доступ в модальном диалоге

 

Обновленные пресеты в каталоге A-Parser

Парсинг базы фильмов из IMDB
Парсер получает данные о каждом фильме и записывает их в результат: название, дата выхода, рейтинг, рекомендаций к ним и другое

Получение показателей скорости загрузки сайтов с помощью Chrome UX Report Compare Tool
Получение показателей скорости загрузки сайтов с помощью Chrome UX Report Compare Tool. Используется технология Chrome User Experience Report (CrUX) - это набор данных, отражающий, как реальные пользователи Chrome взаимодействуют с популярными сайтами в Интернете.

Парсер профиля YouTube
Парсинг данных о Youtube канале: дата регистрации, количество просмотров, страна, email из описания (если есть), описание, ссылки

Парсинг istio.com
Парсер для анализа текстов на сервисе istio.com. С его помощью можно определить такие показатели как тошнота, водность, словари, тематика, статистика и т.п. В качестве запросов можно подавать как тексты, так и ссылки на страницы.

Оценка страниц с использованием Lighthouse
Парсер для оценки производительности, доступности и оптимизации веб-страниц с использованием технологии Lighthouse. Lighthouse - это автоматизированный инструмент с открытым исходным кодом для улучшения качества веб-страниц. С помощью данной технологии осуществляется аудит сайта и можно получить такие показатели как производительность, доступность, оценку доступности для поисковых систем и т.д.

Еще больше различных парсеров и пресетов в нашем Каталоге!
Присылайте свои идеи для новых парсеров сюда, самые интересные и востребованные мы обязательно реализуем!

 

Видео урок: Сбор форм комментариев с помощью A-Parser

Новый видео урок по работе с A-Parser от DIM STUDIO в котором показан сбор форм комментариев.



Данный видео урок показывает, как собрать сайты, где можно оставить свой комментарий в форму комментирования статей.

Плейлист со всеми видео уроками от DIM STUDIO

Оставляйте комментарии и подписывайтесь на наши каналы на YouTube: A-Parser и DIM STUDIO!

 

Обновленные пресеты в каталоге A-Parser ч.2

Парсинг количества трафика на сайтах
Данный парсер позволяет собирать данные о посещаемости сайтов за день, неделю, месяц, тесты, параметры домена, техническое состояние, внутреннюю оптимизацию.

Сохранение в результатах TOP-3 Google
Пресет сохраняет первые ТОП-3 сниппета выдачи Google.

Парсер Яндекс Кью
Парсер собирает список вопросов по запросам и ответы к ним. Для каждого вопроса, кроме ответа, собираются данные о рейтинге, дате публикации, авторе, просмотрам и т.д.

JS::MailValidator
Проверка существования e-mail адресов. Поддерживаются 9 почтовых сервисов: Gmail, Outlook, Yandex, Rambler, Yahoo, Mail.ru, GMX, AOL, iCloud


Еще больше различных парсеров и пресетов в нашем Каталоге!
Присылайте свои идеи для новых парсеров сюда, самые интересные и востребованные мы обязательно реализуем!

 

1.2.1770 - 3 новых парсера, адаптация существующих парсеров к изменениям, исправления ошибок



Улучшения

• Добавлены новые парсеры:
  • Rank::Ahrefs::BrokenLinks - сбор кол-ва и списка (топ10) битых входящих и исходящих ссылок
  • Rank::Ahrefs::TrafficChecker - оценка трафика, сбор истории трафика и списков ключевых слов, страниц и стран с наибольшим трафиком
  • SE::Quora - парсинг поисковой выдачи Quora по ключевому слову с возможностью выбирать тип и время результата
• Обновлен список регионов в парсерах Яндекс, убраны регионы, на которых поиск больше невозможен. В частности из-за того, что по-умолчанию был выбран регион Россия, парсер работал очень плохо, почти постоянно получая каптчи, т.к. данный регион больше не доступен для выбора в Яндексе. Также оптимизирован поиск региона при выборе в combobox.
• Улучшена обработка Node-модулей (в некоторых случаях использовалась неверная версия)
  
• JS парсеры: this.logger.put и this.logger.debug форматируют вывод аналогично console.log, благодаря чему теперь выводить объекты можно без использования JSON.stringify

Исправления в связи с изменениями в выдаче

• Исправлен парсинг PAA в SE::Google
• В SE::Google::Cache исправлена ошибка, из-за которой отсутствовали результаты по некоторым запросам
• Исправлен GooglePlay::Apps, изменен набор собираемых данных
• Исправлена работа Net::Whois с доменной зоной .fr
• В SE::Yandex::SQI убраны переменные $user_choice и $popular, т.к. эти данные больше не отдаются
• Check::RosKomNadzor, Shop::Wildberries:: ProductsList, Shop::Wildberries:: ProductInfo, Rank::Ahrefs, Rank::Ahrefs::KeywordDifficulty, SE::Google::Images, Rank::MajesticSEO

Исправления

• В SE::Yandex исправлена ошибка с определением бана на мобильной верстке
• В SE::Google::Translate теперь headless включен по-умолчанию
• Исправлена проблема с русскоязычными именами файлов в функции "Запустить по завершению"

Команда A-Parser поздравляет всех с наступающими новогодними праздниками!
График работы поддержки на праздники

 

Видео урок: Ищем продвигаемые ссылки в отчётах Xrumer c помощью парсера Check::BackLink

Новый видео урок по работе с A-Parser от DIM STUDIO в котором показано, как искать продвигаемые ссылки в отчётах Xrumer c помощью парсера Check::BackLink



Плейлист со всеми видео уроками от DIM STUDIO

Оставляйте комментарии и подписывайтесь на наши каналы на YouTube: A-Parser и DIM STUDIO!

 

1.2.1794 - поддержка Cloudflare Turnstile, множество исправлений во встроенных парсерах



Улучшения

• Добавлен парсер для разгадывания каптч Cloudflare Util::Turnstile
• В парсеры Util::ReCaptcha2, Util::ReCaptcha3, Util::hCaptcha добавлена поддержка сервиса captchas.io
• В Rank::CMS добавлена возможность выводить $response
• В Cloudflare::Radar добавлена возможность выводить raw data

Исправления в связи с изменениями в выдаче

• Исправлена работа с каптчами в парсерах Яндекс
• Исправлена работа SE::Google::TrustCheck для мобильной выдачи
• Исправлена работа с каптчами в парсерах Ahrefs
• Исправлен парсинг сниппетов в SE::Seznam
• Исправлен парсинг related keywords в SE::Baidu и SE::Bing
• Исправлен парсинг totalcount в SE::Yahoo
• Исправлена работа Check::RosKomNadzor при выборе одного из доменов
• SE::Google, SE::Yandex, SE::Google::Images, SE::Google::ByImage, SE::Bing::Translator, Cloudflare::Radar, Shop::Amazon, Shop::eBay, SE-Dogpile::Images

Исправления

• Исправлена работа SE::Yandex::ByImage с запросами, содержащими символы кириллицы

 

Обновление пресетов в Каталоге примеров A-Parser

Парсинг Авито
Парсер площадки объявлении Авито.

• Исправлена работа в связи с изменениями на источнике

Парсер prom.ua
Парсер маркетплейса prom.ua. Позволяет собирать данные из объявлений, включая имена продавцов и номера телефонов.

• Исправлен проход по пагинации и сбор данных со страниц объявлений

Парсер отзывов Wildberries Reviews
Парсер отзывов Wildberries Reviews. Сбор отзывов по товарам с wildberries.ru в csv таблицу

• Исправлена работа парсера

Парсинг ресурса Booking.com
Парсинг ресурса Booking.com, получение результатов поиска квартир и отелей на сайте.

• Поправлены регулярные выражения
• Добавлена возможность задавать нужную валюту

Универсальный чекер апдейтов(текста, цен и т.п.) на страницах с уведомлением в Telegram
Парсер, который позволяет проверять изменения на разных страницах и получать уведомления в Telegram

• Парсер переписан на JS APIv2
• Добавлена возможность проверять значения в заголовках

Парсинг объявлений из olx.ua/olx.pl
Парсер международной площадки объявлений OLX. Позволяет собирать данные из объявлений, включая цены, имена авторов, телефоны, адреса и т.д.

• Реализована автономность в работе с доменными зонами
• Адаптация к изменениям на источнике (включая восстановление возможности сбора телефонов)

Еще больше различных парсеров и пресетов в нашем Каталоге!
Присылайте свои идеи для новых парсеров сюда, самые интересные и востребованные мы обязательно реализуем!

 

Кейсы с использованием A-Parser от Ant-Team.ru

Представляем вашему вниманию несколько кейсов от Ant-Team.ru в которых был использован A-Parser.

Что влияет на позиции сайта в Google? Кейс по работе с PBN: растем в 3 раза по трафику и на 345% по позициям



Статья посвящена опыту продвижения сайта в поисковой системе Google работая с PBN (Private Blog Network). В статье представлена детальная инструкция, рассмотрены трудозатраты и показаны скриншоты по позициям и трафику. Также пошагово описан подход к работе со ссылками, показано как собиралась сетка PBN и какие результаты это принесло.

Понятно, что они пишут в большей степени клиентские кейсы, где технической стороне уделяется не так много внимания. Но всё, что они сделали, основано на А-Парсере. Все дропы, которые они собирают, проверяют и агрегируют у себя в базе для последующей обработки, они получают с помощью нашего парсера.

Рекомендуем ознакомиться со статьей и понять, каких результатов можно достичь, используя A-Parser.


ТОП-10 в Google за 35 дней: опыт работы с PBN и подклейкой доменов



Еще один интересный кейс, но уже не по аукционникам, а по реальным дропам, которые можно найти с помощью A-Parser.

Здесь описывается опыт работы с PBN и приводятся советы по использованию этого инструмента для создания качественных обратных ссылок на сайт. Также рассказывается о том, как автор использовал подклейку доменов для улучшения авторитета своего сайта и приводятся советы по выбору подходящих доменов. Кроме того приведены примеры использования A-Parser для автоматизации поиска доменов. А-Parser собирает все внешние ссылки с указанного домена и используется для массовой проверки доступности доменов и получения информации о них.

В статье, как обычно, минимум технической информации, но они активно отвечают на вопросы в комментариях. Если интересно, то спрашивайте, как искать подобные дропы и что для этого нужно. А зачем вообще это делать? Ответ очевиден: взять топ Гугла за 35 дней способен не каждый.

Если вы занимаетесь продвижением сайтов и хотите узнать больше о PBN и подклейке доменов, мы рекомендуем вам прочитать данную статью.

 

Курс по PBN от Ant-Team.ru



Ребята из Ant-Team.ru запустили курс по PBN

Курс полностью основан на A-Parser и разбит на две части: проф. и стандартная.

В профессиональной версии все процессы парсинга полностью автоматизированы и не требуют каких-либо доработок, вплоть до дашбордов с дропами и статистикой по ним.

В стандартной версии Ant-Team научат вас настраивать A-Parser и парсить дропы в ручном режиме.

Набор на курс продлится до 30 марта, но начать обучение можно уже сегодня.

Программа и регистрация по ссылке: https://pbn-course.ru/