1. Сегодня стартовали новогоднюю распродажу наших курсов! Подробности можно узнать в тут.
    Скрыть объявление

A-Parser 1.2 - продвинутый парсер поисковых систем, Whois, DMOZ, Alexa, и еще 85+ сервисов

Тема в разделе "Открытый форум - все-все-все", создана пользователем A-Parser Support, 21 май 2020.

  1. 1.2.1661 - новые парсеры: Яндекс Балабоба и позиции в DuckDuckGo, улучшения во встроенных парсерах

    [​IMG]

    Улучшения
    • Добавлен парсер позиций DuckDuckGo: [​IMG] SE:: DuckDuckGo:: Position
    • Добавлен парсер Яндекс Балабоба: [​IMG] SE::Yandex::Balaboba
    • Реализована работа с XEvil через API Antigate v2
    • Добавлена передача кук Google при включении опции ReCaptcha2 pass proxy в [​IMG] SE::Google
    • Обновлен список доменов в [​IMG] SE::Yandex
    • В связи с тем, что Яндекс теперь всегда выдает по 10 результатов на страницу, в [​IMG] SE::Yandex убран параметр Links per page
    • В [​IMG] HTML::LinkExtractor и [​IMG] Check::BackLink добавлен сбор <a> тега
    • В [​IMG] Shop::AliExpress добавлена поддержка сессий
    • В [​IMG] HTML::EmailExtractor добавлена опция Skip meta tags, при ее включении указывает парсеру не собирать почты в meta тегах
    • В парсере [​IMG] DeepL::Translator актуализирован список языков
    Исправления в связи с изменениями в выдаче
    Исправления
    • Исправлен выбор региона в SE::Yandex
    • Исправлена обработка url с кириллицей в PAA SE::Google
    • Исправлена работа SE::Google::KeywordPlanner, в некоторых случаях парсер не видел ответ и ошибочно повторял попытки
    • Исправлена ошибка логина в парсере SE::Yandex:: Direct
    • В SE::Yandex::Register исправлен баг при отображении Яндексом ошибки о некорректном номере телефона или о других проблемах
    • SE::Google::Translate - в некоторых случаях парсинг завершался с ошибкой
    • Исправлен баг с ошибочным выводом результатов в Net::HTTP при сборе через регулярку, в случаях когда один запрос отработал успешно, а другой нет, и второй вывел результаты первого
    • Исправлена ошибка с висящими процессами Chrome после завершения задания на Windows 11
    • Исправлена доступность fs.constants

    [​IMG]

    [​IMG]
     
  2. Сборник статей #16: вывод результатов в JSON, синхронизации файлов и SEO кейс продвижения сайта

    Представляем 16-й сборник статей, в который вошли статья о вариантах вывода результатов в JSON виде, статья о синхронизации А-Парсеров на разных ПК с помощью Google Диск и SEO кейс продвижения сайта с выходом на иностранный рынок.

    Обзор вариантов вывода результатов в JSON виде
    Полный обзор всех возможных способов вывода результатов в JSON виде с примерами: вывод в JSON для одиночных запросов, формирование JSON построчно, формирование объекта в памяти и вывод результатов в JSON в конце работы задания.
    [​IMG]


    Синхронизация А-Парсеров на разных ПК с помощью Google Диск (Google Drive)
    В этой статье описывается как синхронизировать файлы А-Парсера, конфиги, все настройки которые вы сделали на одном ПК, с другим ПК.
    В качестве инструмента будет использоваться простой и бесплатный Google Диск (Google Drive) с помощью которого вы можете хранить и передавать коллегам файлы и папки, а также работать над ними вместе с другими пользователями на компьютере или мобильном устройстве.
    [​IMG]


    Как мы потратили 1 млн рублей для выхода на иностранный рынок SEO: кейс с расходами и результатами
    Статья на vc.ru о том, как мы за 3 месяца вывели сайт с нуля в топ по Южной Африке. Делимся готовой пошаговой схемой быстрого вывода сайта на иностранный рынок, с данными по нагрузке сотрудников, расходами, таблицами и примерами ТЗ.
    Для массовой проверки выдачи Google использовался Python и парсер A-Parser.
    Кейсы по применению нашего парсера Google и его описание:
    https://a-parser.com/docs/parsers/se-google

    [​IMG]


    Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки :) ) - отписывайтесь здесь.

    Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

    Все сборники статей

    [​IMG]

    [​IMG]
     
  3. Сборник рецептов #53: популярные запросы Google Trends, парсер yep.com и проверка домена в выдаче

    53-й сборник рецептов, в котором собраны парсер популярных запросов за сутки на Google Trends, парсер yep.com и пресет для проверки на содержание доменов в выдаче.

    Парсинг популярных запросов за сутки Google Trends
    Парсер для сбора поисковых трендов за сутки с Гугл Трендс. Собираются дата, название запроса, трафик, похожие запросы и ссылка на позицию.
    [​IMG]

    Парсер yep.com
    Простой пресет для парсинга поисковой системы yep.com.
    [​IMG]

    Yandex - проверка на содержание доменов в выдаче
    Пресет для проверки на содержание доменов в выдаче с записью в разные файлы результатов по условию.
    [​IMG]

    Еще больше различных рецептов в нашем Каталоге!

    Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

    Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

    Все сборники рецептов

    [​IMG]

    [​IMG]
     
  4. 1.2.1683 - новый парсер Cloudflare::Radar, поддержка сервиса CaptchaAI, исправления ошибок

    [​IMG]

    Улучшения

    Исправления в связи с изменениями в выдаче

    Исправления
    • Исправлено лишнее использование сессии на последней попытке в [​IMG] SE::Google
    • Исправлен парсинг поисковой выдачи Яндекс, когда в выдаче только 1 результат
    • Исправлена ошибка в [​IMG] Telegram::GroupScraper, из-за которой парсились не все имена и ссылки на логины
    • Исправлен баг в [​IMG] SE::Yandex:: Position, из-за которого ошибочно осуществлялся поиск по запросу вместе с искомым доменом
    • Исправлена проблема в [​IMG] Check::RosKomNadzor, из-за которой при массовом парсинге иногда не менялась прокси
    • В HTML::LinkExtractor исправлен сбор внутренних ссылок после редиректа
    • Puppeteer: улучшена работа с сайтами, запрашивающими доступ в модальном диалоге

    [​IMG] [​IMG]
     
  5. Обновленные пресеты в каталоге A-Parser

    Парсинг базы фильмов из IMDB
    Парсер получает данные о каждом фильме и записывает их в результат: название, дата выхода, рейтинг, рекомендаций к ним и другое

    Получение показателей скорости загрузки сайтов с помощью Chrome UX Report Compare Tool
    Получение показателей скорости загрузки сайтов с помощью Chrome UX Report Compare Tool. Используется технология Chrome User Experience Report (CrUX) - это набор данных, отражающий, как реальные пользователи Chrome взаимодействуют с популярными сайтами в Интернете.

    Парсер профиля YouTube
    Парсинг данных о Youtube канале: дата регистрации, количество просмотров, страна, email из описания (если есть), описание, ссылки

    Парсинг istio.com
    Парсер для анализа текстов на сервисе istio.com. С его помощью можно определить такие показатели как тошнота, водность, словари, тематика, статистика и т.п. В качестве запросов можно подавать как тексты, так и ссылки на страницы.

    Оценка страниц с использованием Lighthouse
    Парсер для оценки производительности, доступности и оптимизации веб-страниц с использованием технологии Lighthouse. Lighthouse - это автоматизированный инструмент с открытым исходным кодом для улучшения качества веб-страниц. С помощью данной технологии осуществляется аудит сайта и можно получить такие показатели как производительность, доступность, оценку доступности для поисковых систем и т.д.

    Еще больше различных парсеров и пресетов в нашем Каталоге!
    Присылайте свои идеи для новых парсеров сюда, самые интересные и востребованные мы обязательно реализуем!

    [​IMG] [​IMG]
     
  6. Видео урок: Сбор форм комментариев с помощью A-Parser

    Новый видео урок по работе с A-Parser от DIM STUDIO в котором показан сбор форм комментариев.



    Данный видео урок показывает, как собрать сайты, где можно оставить свой комментарий в форму комментирования статей.

    Плейлист со всеми видео уроками от DIM STUDIO

    Оставляйте комментарии и подписывайтесь на наши каналы на YouTube: A-Parser и DIM STUDIO!

    [​IMG] [​IMG]
     
  7. Обновленные пресеты в каталоге A-Parser ч.2

    Парсинг количества трафика на сайтах
    Данный парсер позволяет собирать данные о посещаемости сайтов за день, неделю, месяц, тесты, параметры домена, техническое состояние, внутреннюю оптимизацию.

    Сохранение в результатах TOP-3 Google
    Пресет сохраняет первые ТОП-3 сниппета выдачи Google.

    Парсер Яндекс Кью
    Парсер собирает список вопросов по запросам и ответы к ним. Для каждого вопроса, кроме ответа, собираются данные о рейтинге, дате публикации, авторе, просмотрам и т.д.

    JS::MailValidator
    Проверка существования e-mail адресов. Поддерживаются 9 почтовых сервисов: Gmail, Outlook, Yandex, Rambler, Yahoo, Mail.ru, GMX, AOL, iCloud


    Еще больше различных парсеров и пресетов в нашем Каталоге!
    Присылайте свои идеи для новых парсеров сюда, самые интересные и востребованные мы обязательно реализуем!

    [​IMG] [​IMG]
     
  8. 1.2.1770 - 3 новых парсера, адаптация существующих парсеров к изменениям, исправления ошибок

    [​IMG]

    Улучшения
    • Добавлены новые парсеры:
      • [​IMG] Rank::Ahrefs::BrokenLinks - сбор кол-ва и списка (топ10) битых входящих и исходящих ссылок
      • [​IMG] Rank::Ahrefs::TrafficChecker - оценка трафика, сбор истории трафика и списков ключевых слов, страниц и стран с наибольшим трафиком
      • [​IMG] SE::Quora - парсинг поисковой выдачи Quora по ключевому слову с возможностью выбирать тип и время результата
    • Обновлен список регионов в парсерах Яндекс, убраны регионы, на которых поиск больше невозможен. В частности из-за того, что по-умолчанию был выбран регион Россия, парсер работал очень плохо, почти постоянно получая каптчи, т.к. данный регион больше не доступен для выбора в Яндексе. Также оптимизирован поиск региона при выборе в combobox.
    • Улучшена обработка Node-модулей (в некоторых случаях использовалась неверная версия)
    • JS парсеры: this.logger.put и this.logger.debug форматируют вывод аналогично console.log, благодаря чему теперь выводить объекты можно без использования JSON.stringify
    Исправления в связи с изменениями в выдаче
    Исправления
    • В [​IMG] SE::Yandex исправлена ошибка с определением бана на мобильной верстке
    • В [​IMG] SE::Google::Translate теперь headless включен по-умолчанию
    • Исправлена проблема с русскоязычными именами файлов в функции "Запустить по завершению"
    Команда A-Parser поздравляет всех с наступающими новогодними праздниками!
    График работы поддержки на праздники

    [​IMG]

    [​IMG]
     
  9. Видео урок: Ищем продвигаемые ссылки в отчётах Xrumer c помощью парсера Check::BackLink

    Новый видео урок по работе с A-Parser от DIM STUDIO в котором показано, как искать продвигаемые ссылки в отчётах Xrumer c помощью парсера [​IMG] Check::BackLink



    Плейлист со всеми видео уроками от DIM STUDIO

    Оставляйте комментарии и подписывайтесь на наши каналы на YouTube: A-Parser и DIM STUDIO!

    [​IMG]

    [​IMG]
     

Поделиться этой страницей