1. Сегодня стартовали новогоднюю распродажу наших курсов! Подробности можно узнать в тут.
    Скрыть объявление

A-Parser 1.2 - продвинутый парсер поисковых систем, Whois, DMOZ, Alexa, и еще 85+ сервисов

Тема в разделе "Открытый форум - все-все-все", создана пользователем A-Parser Support, 21 май 2020.

  1. A-Parser - многопоточный парсер поисковых систем, сервисов оценки сайтов, ключевых слов, контента(текст, ссылки, произвольные данные) и других различных сервисов(youtube, картинки, переводчик...), всего A-Parser содержит более 85 парсеров

    0.gif

    A-Parser полностью решает рутинные задачи по получению, обработки и систематизации данных, необходимых для работы в следующих областях:
    • SEO-оптимизация сайтов и Web-аналитика
      • Сбор баз ссылок для XRumer, A-Poster, AllSubmitter, ZennoPoster...
      • Оценка сайтов и доменов по множеству параметров
      • Мониторинг позиции любых сайтов в поисковых системах
      • Сбор контента(текст, картинки, ролики) для генерации сайтов(дорвеев)
      • Отслеживание обратных ссылок
      • Сбор произвольной информации с любых сайтов(например телефоны/e-mails, сообщения с форумов, объявления...)
      • Сбор и оценка ключевых слов
      • Сбор списка обратных ссылок
      • И многое другое
    • Web-безопасность
      • Сбор и фильтрация баз ссылок по признакам
      • Определение CMS сайтов
      • Формирование произвольных GET, POST запросов с одновременной фильтрацией ответа
    • Сетевое администрирование
      • Работа с DNS службой - резолвинг доменов в IP адреса
      • Работа с Whois - дата регистрации и окончания регистрации доменов, name-cервера

    A-Parser обладает следующими преимуществами:
    • Колоссальная производительность
      • Многопоточность - парсер способен распараллеливать сетевые операции до 5000-10000 потоков в зависимости от конфигурации компьютера и решаемой задачи
      • Продуманная внутренняя архитектура, в которую заложена производительность и расширяемость
      • Множественные оптимизации сложных операций
      • Парсер не требователен к ресурсам, может работать как на компьютере, так и на VDS или сервере, на операционных системах Windows, Linux или FreeBSD
    • Промышленные масштабы
      • Парсер разрабатывался с учетом работы с неограниченным размером данных
      • Способен обрабатывать сотни миллионов и миллиардов запросов
      • Размеры файлов запросов и результатов ничем не ограничены и могут достигать терабайтных значений
    • Автономность
      • A-Parser рассчитан на бесперебойную и беспрерывную работу без участия пользователя
      • Очередь заданий позволяет нагрузить парсер работой на недели и месяцы вперед
      • Одновременное выполнение нескольких разных задач для скорейшего получения результатов
    • Поддержка более 85 парсеров
      • Парсеры поисковых систем: [​IMG] Google, [​IMG] Yandex, [​IMG] AOL, [​IMG] Bing, [​IMG] Baidu, [​IMG] DuckDuckGo, [​IMG] QIP, [​IMG] Yahoo, [​IMG] YouTube
      • Парсеры подсказок поисковых систем: [​IMG] Google, [​IMG] Yandex, [​IMG] Bing, [​IMG] Yahoo
      • Парсеры и анализ ключевых слов: кейворды и частотность по [​IMG] Yandex.WordStat, в т.ч. по датам и регионам; частотность по [​IMG] Yandex.Direct; [​IMG] Google Trends
      • Регистрация аккаунтов: [​IMG] Yandex
      • Парсеры параметров сайтов и доменов: позиции в поисковых системах Google, Yandex, QIP; TrustRank, Compromised, SafeBrowsing, LangDetect, LangDetect через Bing, тИЦ, Whois, DNS, CMS, Ahrefs, Alexa, Category, DMOZ, Linkpad, MajesticSEO, OpenSiteExplorer, SEMrush
      • Парсеры различных сервисов: Bing Translator, Google Images, Bing Images, Google Maps, Yandex.Direct, AntiGate
      • Парсеры контента: TextExtractor, LinkExtractor, BackLink, HTTP парсер для создания произвольных парсеров
    • Создание собственных парсеров
      • Использование регулярных выражений
      • Поддержка многостраничного парсинга
      • Проверка контента и наличия следующей страницы
    • Мощные инструменты для формирования запросов и результатов
      • Конструктор запросов и результатов - позволяет видоизменять данные(поиск и замена, выделение домена из ссылки, преобразования по регулярным выражениям...)
      • Подстановки для запросов: из файла; перебор слов, символов и цифр
      • Фильтрация результатов - по вхождению подстроки, равенству, больше\меньше
      • Уникализация результатов - по строке, по домену, по главному домену(A-Parser знает все домены верхнего уровня, в т.ч. такие как co.uk, msk.ru)
      • Мощный шаблонизатор результатов на основе Template Toolkit - позволяет выводить результаты в любом удобном виде(текстом, csv, html, xml, произвольный формат)
    • Гибкость настроек
      • В парсере используется система пресетов - для каждого парсера можно создать множество предустановленных настроек для различных ситуаций
      • Настроить можно все - никаких рамок и ограничений
      • Экспорт и импорт настроек позволяет легко обмениваться опытом с другими пользователями
    • Сетевые возможности
      • Поддержка HTTP/1.1 и HTTPS
      • Поддержка HTTP и SOCKS5 прокси, в т.ч. с авторизацией
      • Полностью асинхронная работа с сетью, в т.ч. с DNS
    • API
      • Возможность интегрировать и управлять парсером из своих программ и скриптов
      • Полная автоматизация бизнес-процессов
      • Клиенты для PHP, Perl и Python
    • Постоянные улучшения и исправления
      • Разработка парсера началась в 2011 году, а первый релиз вышел зимой 2012 года
      • С тех пор было выпущено более 70 новых версий, включающих множество улучшений и исправлений
      • A-Parser не останавливается в развитии, идет активная разработка, будет реализовано множество новых функций, в т.ч. по запросам от пользователей
    • Техническая поддержка
      • Мы прилагаем все усилия по поддержке пользователей и ответам на все возникающие вопросы
      • Создана подробная документация по A-Parser'у, открыт форум для пользователей
      • Специалист технической поддержки готов ответить любым удобным способом: ICQ, Skype, Jabber, GoogleTalk, e-mail и через форму онлайн связи на сайте
      • Разработчики A-Parser'а готовы ответить на любые сложные и технические вопросы, также открыты к обсуждению улучшений и дополнений для парсера

    Более подробно ознакомится с возможностями парсера можно в полноценной документации

    A-Parser предоставляется в трех версиях, сравнительная таблица и стоимость лицензий:

    1.png

    Мы принимаем к оплате в автоматическом режиме все популярные платежные системы, такие как WebMoney, BitCoin, PayPal, Visa, MasterCard, Paxum, Яндекс.Деньги, QIWI, PerfectMoney, банковские переводы, терминалы оплаты и многое другое.
    Для приобретения лицензии необходимо зарегистрироваться на сайте http://a-parser.com и перейти на страницу оплаты.
    Если у вас возникли вопросы - обращайтесь по любым контактам в техническую поддержку

    Контакты:

    [​IMG]
     
  2. 1.2.912 - обновление NodeJS, повышение производительности, адаптация к изменениям в рекаптчах

    [​IMG]

    Мы завершили переход на NodeJS в качестве основного движка для парсеров и представляем новую стабильную версию 1.2.912 с поддержкой NodeJS 14.2.0. Данное обновление сочетает в себе множество улучшений, включая повышение производительности, уменьшение потребления памяти, полностью новый сетевой стек, а также поддержку нативных NodeJS модулей, позволяющую использовать всю мощь каталога npmjs в A-Parser'е

    Также в данное обновление включены изменения по работе с ReCaptcha2 в парсере Google, наша команда одна из первых нашла решение по обходу новой версии рекаптчи и протестировала его совместно с сервисом RuCaptcha, за что им отдельный респект. На данный момент корректный обход каптчи протестирован с RuCaptcha, Anti-Captcha, XEvil и CapMonster.

    Помимо этого было произведено множество оптимизаций в ядре A-Parser'а, значительно увеличилась производительность при использовании большого числа заданий или больших списков прокси. Парсер [​IMG] Rank::CMS был полностью переписан и стабилизирован, добавлена поддержка нового формата apps.json и поддержка пользовательских правил.

    Улучшения
    • NodeJS обновлен до v14.2.0, v8 до 8.1
    • Добавлена поддержка параметра data-s в рекаптчах для [​IMG] SE::Google, также добавлена опция ReCaptcha2 pass proxy
    • Увеличен лимит потоков до 10000 для OS Windows
    • Значительно улучшена производительность при большом числе активных прокси и/или заданий, полностью переписан стек по работе с прокси, оптимизирована работа с большими списками
    • Добавлен новый парсер Rank::KeysSo
    • Полностью переписаны на JS [​IMG] SE::Yahoo::Suggest, [​IMG] Rank::Alexa::API и [​IMG] Rank::Archive
    • Улучшена производительность при использовании регулярных выражений, а также улучшена совместимость
    • В [​IMG] SE::Google::KeywordPlanner добавлено автоматическое получение токена
    • В [​IMG] SE::Bing добавлена возможность парсить ссылки на кэшированные страницы, а также добавлена возможность парсить мобильную выдачу
    • В парсере [​IMG] Util::ReCaptcha2 при выборе провайдера Capmonster или Xevil теперь необязательно указывать Provider url
    • В [​IMG] SE::Google::Trends добавлена возможность указывать произвольный диапазон дат
    • В [​IMG] Rank::CMS добавлен выбор движка регулярок и поддержка собственного файла с признаками
    • В [​IMG] SE::Yandex::ByImage добавлена опция Don't scrape if no other sizes, которая позволяет отключить сбор результатов, если искомой картинки нет в других размерах
    • [NodeJS] Добавлена защита от бесконечных циклов и долгих регулярок
    • [NodeJS] Исправлена работа this.cookies.getAll()
    • [JS парсеры] Добавлена опция follow_meta_refresh для this.request
    • [JS парсеры] Добавлена опция bypass_cloudflare для this.request
    • [JS парсеры] Underscore заменен на Lodash
    • [JS парсеры] В логе добавлена пометка при вызове других парсеров
    • [JS парсеры] Использование предыдущего прокси после запроса к другому парсеру
    • [JS парсеры] Добавлен метод destroy()
    Исправления в связи с изменениями в выдаче
    Исправления
    • Исправлен баг, из-за которого игнорировался выбранный проксичекер
    • Исправлена работа функций Decode HTML entities и Extract domain в Конструкторе результатов
    • Исправлена проблема с определением кодировки
    • Исправлена ошибка использования $tools.query
    • Исправлен баг в Rank::MajesticSEO при котором использовались все попытки при отсутствии результатов
    • Исправлена работа http2
    • Исправлена ошибка, когда парсер падает из-за невозможности писать в alive.txt
    • Исправлено разгадывание каптч в SE::Yandex::Register и Check::RosKomNadzor
    • Исправлена разница в запросах, отправляемых через Net::HTTP и JS
    • Исправлен баг в SE::Yahoo
    • Исправлены ошибки в Rank::CMS при выборе приложения без категории
    • [NodeJS] Исправлен подсчет времени исполнения кода парсера
    • [JS парсеры] При пустом body не передавался заголовок content-length при post запросе
    • [JS парсеры] Исправлена работа CloudFlare bypass
    • [JS парсеры] Исправлена работа с сессиями
    • [JS парсеры] Исправлена работа с overrides для this.parser.request
    • [JS парсеры] Исправлена ошибка определения кодировки в JS парсерах

    [​IMG]
     
  3. Сборник рецептов #42: поиск битых ссылок, сервисы статистики и коммерциализация запросов
    Представляем 42-й сборник рецептов, в котором собраны парсеры для определения наличия на сайте битых ссылок, сбора данных об используемых сервисах статистики и определения коммерциализации ключевых слов.
    Парсер Ahrefs::BrokenLink
    Ahrefs Broken Link Checker - это сервис, позволяющий определить наличие битых ссылок на сайте, а также некоторую другую полезную информацию.
    [​IMG]
    Парсер builtwith.com
    Этот парсер собирает данные об используемых на сайтах сервисах статистики с ресурса BuiltWith. С его помощью можно получить список id используемых сервисов статистики, а также список других сайтов, на которых используются эти же id.
    [​IMG]
    Определение коммерциализации запроса
    Способ определения степени коммерциализации ключевых слов, основанный на анализе поисковой выдачи Яндекса. Оценивается количество вхождений определенного списка слов в анкорах и сниппетах ТОП10 выдачи.
    [​IMG]
    Кроме этого:
    Еще больше различных рецептов в нашем Каталоге!
    Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.
    Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.
    Все сборники рецептов
    [​IMG]
     
  4. Видео урок: где смотреть переменные, скрытые переменные и какой результат они выводят (примеры)
    В этом видео рассмотрели где смотреть переменные, какие бывают скрытые переменные и какой результат они выводят на примерах.



    Содержание видео:
    00:20 - 1. Где смотреть какие у парсера есть переменные?
    1:16 - 2. Какие бывают скрытые переменные ($query.*, $root и т.п.)?
    1:22 - переменная root
    2:08 - переменная root объект
    3:14 - переменная query.orig
    4:04 - переменная query.first
    5:24 - переменная query.lvl
    5:50 - переменная query.prev
    6:20 - переменная query.num
    Все возможные методы TT для работы с обьектами
    Форматирование запросов (шаблоны)
    Оставляйте комментарии и подписывайтесь на наш канал на YouTube!
    [​IMG]
     
  5. 1.2.948 - новые парсеры SecurityTrails IP и Domain, поддержка доменных прокси, множество исправлений

    [​IMG]

    Улучшения
    • Добавлен парсер [​IMG] Rank::MOZ.
      Собираемые данные: вся информация, содержащаяся на странице.
    • Добавлены парсеры [​IMG] SecurityTrails:: Domain и [​IMG] SecurityTrails::IP.
      Для работы парсеров необходимо указать пресет [​IMG] Util::ReCaptcha2.
      • [​IMG] SecurityTrails::IP
        В качестве запроса следует указывать ipv4 адрес.
        Собирает домены по IP и информацию о них.
      • [​IMG] SecurityTrails:: Domain
        В качестве запроса следует указывать домен, например a-parser.com.
        Собираемые данные:
        • Данные по DNS
        • Список технологий, используемых на сайте (движки и проч.)
        • Список открытых портов
        • Alexa rank
        • Страна
        • Хостер
        • Даты начала и окончания регистрации
        • Whois статус
        • Регистратор
        • Список исторических данных по DNS
        • Список субдоменов
    • Добавлена возможность отключать валидацию TLS сертификатов.
    • Добавлена поддержка доменных прокси.
    Исправления в связи с изменениями в выдаче
    • Исправлен парсинг новостей в [​IMG] SE::Google.
    • Исправлен [​IMG] Social::Instagram::profile.
    • Исправления в [​IMG] SE::Yandex:
      • исправлен парсинг турбо ссылок;
      • исправлен парсинг новостных сниппетов.
    • Исправления в [​IMG] SE::Google, [​IMG] SE::Baidu, [​IMG] SE::Yandex:: Direct, [​IMG] Shop::Yandex::Market.
    • Исправления в [​IMG] SE::Yahoo - ошибка в выборе стран, у которых одинаковый домен, восстановлен парсинг сниппетов.
    Исправления
    • Исправлена ошибка в алгоритме автовыбора домена в [​IMG] SE::Yandex.
    • Исправлена работа [​IMG] Rank::MajesticSEO, [​IMG] SE::Bing::Translator.
    • Исправлена ошибка, если файл config.txt был сохранен в кодировке utf-8 с BOM (парсер некорректно читал файл).
    • Решена проблема с переопределениями опций в парсере [​IMG] HTML::LinkExtractor.
    • NodeJS: новые установленные модули теперь доступны до перезагрузки A-Parser'a.
    • Исправлено падение парсера при вызове метода getProxies.

      [​IMG]
     
  6. Сборник статей #12: скорость работы парсеров, debug режим и работа с куками

    В 12-м сборнике статей рассказывается о принципах работы парсеров и факторах, влияющих на их скорость, показаны возможности debug режима в Тестовом парсинге по отладке запросов, а также на реальном примере разбирается работа с куками.

    Скорость и принцип работы парсеров
    В этой статье подробно рассказано об основном принципе работы парсеров и скорости их работы, а также рассмотрены основные факторы, влияющие на скорость парсинга.
    [​IMG]

    Использование Debug режима
    В этой статье рассказывается об одном из методов отладки парсеров, а также об анализе получаемых данных - debug режиме в Тестовом парсинге. С его помощью можно прямо в парсере анализировать и экспериментировать с заголовками и изучать приходящие в ответ данные.
    [​IMG]

    Работа с куками и заголовками на примере соглашения с правилами сайта auto.ru
    А в этой статье на реальном примере показана работа с куками сайта: рассказано как определять необходимость передавать куки и как искать только необходимые для запроса куки. При этом показаны два варианта: простые запросы средствами А-Парсера и использование NodeJS модуля puppeteer.
    [​IMG]


    Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки :)) - отписывайтесь здесь.

    Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

    Все сборники статей

    [​IMG]
     
  7. Видео урок: просмотр результатов парсинга, настройка прокси с авторизацией, опция Extra query string

    В этом видео уроке рассмотрены ответы на 3 часто задаваемых вопроса от новых пользователей А-Парсера



    1. Где и как можно посмотреть результаты парсинга?
    2. Как подключить прокси с авторизацией?
    3. Extra query string, что это такое и как применять эту опцию?
    В уроке рассмотрено:
    • Просмотр результатов парсинга 3-мя способами:
      • Способ первый. "Из очереди заданий, если задание на паузе".
      • Способ второй. "Из очереди заданий, если задание завершено".
      • Способ третий. "Забираем результат из папки results".
    • Подключение прокси с авторизацией.
    • Примеры использования опции Extra query string.
    Полезные ссылки:
    Оставляйте комментарии и подписывайтесь на наш канал на YouTube!

    [​IMG]
     
  8. Сборник рецептов #43: освобождающиеся домены, категории сайтов и парсинг PDF

    43-й сборник рецептов, в который вошли пресет для парсинга освобождающихся доменов, парсер категорий сайтов и пример сбора данных из PDF документов.

    Аукцион доменов REG.RU
    Пресет, позволяющий парсить домены с аукциона Reg.ru. В пресете реализована возможность указывать количество страниц пагинации и использовать фильтр по ключевому слову.
    [​IMG]

    Определение категорий сайта
    Парсер, собирающий категории сайтов из MegaIndex.
    [​IMG]

    Парсинг PDF
    Пример парсинга данных из документов в формате PDF. Для работы используется Node.js модуль pdf-parse.
    [​IMG]

    Кроме этого:
    Еще больше различных рецептов в нашем Каталоге!
    Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

    Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

    Все сборники рецептов

    [​IMG]
     
  9. Сборник рецептов #44: категории сайтов от Cloudflare Radar, парсер Rozetka и kufar.by
    44-й сборник рецептов, в который вошли парсер, определяющий категории сайтов (используя сервис Cloudflare Radar), парсер Rozetka через API и парсер интернет-магазина kufar.by с проходом по списку результатов.
    Парсер Cloudflare Radar
    Парсер для сбора категорий сайтов из Cloudflare Radar
    [​IMG]
    Rozetka - получение данных по API
    Парсер, собирающий данные о товарах на торговой площадке Rozetka через API.
    [​IMG]
    Парсинг объявлений kufar.by
    Парсер объявлений на сайте kufar.by с проходом по списку результатов. Собираются заголовки объявлений, цены, имена и телефоны авторов.
    [​IMG]
    А также, обновлены следующие ресурсы:
    Еще больше различных рецептов в нашем Каталоге!
    Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.
    Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.
    Все сборники рецептов
    [​IMG]
     
  10. 1.2.1076 - 3 новых парсера, завершение перехода на Node.js, интеграция puppeteer в сборку
    [​IMG]
    Улучшения

    • В связи с переводом основных встроенных парсеров на новую платформу Node.js, полностью переписаны и обновлены парсеры:
    • Основные улучшения от перевода данных парсеров на Node.js:
      • увеличение производительности в ~1.5 раза
      • унификация HTTP движка с JavaScript парсерами, единый обход CloudFlare
    • Добавлены новые парсеры:
    • В [​IMG] HTML::EmailExtractor добавлена опция Skip non-HTML blocks, позволяющая отключить сбор почт внутри тегов script, style и т.п.
    • В [​IMG] SE::Google::Translate добавлены новые переменные:
      • $translit_orig - оригинальный текст транслитом
      • $translit_translated - переведенный текст транслитом
      • $variants.$i.text - список вариантов перевода оригинального текста
    • В [​IMG] SE::Bing обновлен список регионов и языков
    • В [​IMG] Social::Instagram:: Profile и [​IMG] Social::Instagram:: Post добавлена возможность собирать кол-во видеопросмотров
    • В [​IMG] SE::Yandex::Translate добавлена возможность отключать использование сессий
    • В [​IMG] Net::HTTP добавлена возможность указывать user-agent для Chrome
    • В парсере [​IMG] Rank::MOZ исправлена ошибка, возникающая при вызове парсера из JS методом this.parser.request().
    • В [​IMG] Rank::CMS добавлена поддержка нового apps.json и возможность использовать [​IMG] Net::HTTP
    • В Net::Whois обновлена поддержка всех зон
    • Для проксичекеров добавлена опция Exclude from "All", а также сделаны изменения в логике:
      • "All" - использует все прокси выбранные для задании
      • конкретный проксичекер - использует его, даже если он не выбран в задании
    • Добавлена поддержка устаревших версий SSL
    • JS парсеры: Добавлена опция tlsOpts для this.request(), позволяет передавать настройки для https соединений
    • JS парсеры: обновление Node.js с 14.2.0 до 14.15.0
    • JS парсеры: модуль puppeteer включен в сборку А-Парсера и не требует отдельной установки
    Исправления в связи с изменениями в выдаче
    Исправления
    • В SE::Yandex исправлена работа Extra query string
    • Исправлено регулярное выражение в HTML::EmailExtractor для устранения ошибок в некоторых случаях
    • Исправлено поведение парсера SE::Google::KeywordPlanner при отсутствии результатов по запросу
    • Maps::Yandex исправлен и переведен на puppeteer
    • Исправлена ошибка в приоритетах выбора проксичекера
    • JS парсеры: исправлен follow_meta_refresh
    • API: исправлена работа параметра rawResults
    [​IMG]
     
  11. Сборник рецептов #45: парсеры Google Places и prom.ua, получение характеристик картинок "на лету"
    45-й сборник рецептов, в который вошли парсер результатов поиска на Google Places, парсер для prom.ua и пример скачивания картинок с одновременным определением их характеристик.
    Парсер Google Places
    Парсер для поиска заведений по ключевым словам в Google Places. В отличие от парсера Google Maps здесь не нужно задавать координаты поиска, а достаточно вместе с ключевым словом написать нужный город.
    [​IMG]
    Парсер prom.ua
    Парсинг товарных позиций для одной из крупнейших в Украине торговых площадок prom.ua. Кроме собственно названий товаров и их цен, позволяет собирать такие данные продавцов, как телефоны и электронные почты.
    [​IMG]
    Скачивание картинок
    В этом примере показан способ решения задачи по скачиванию картинок и одновременному получению их характеристик, а именно размера и ориентации. Для получения характеристик используется NodeJS модуль.
    [​IMG]
    Еще больше различных рецептов в нашем Каталоге!
    Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.
    Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.
    Все сборники рецептов
    [​IMG]
     
  12. 1.2.1148 - накопительное обновление встроенных парсеров и исправление Bypass Cloudflare
    [​IMG]
    Улучшения
    • В [​IMG] HTML::LinkExtractor добавлена опция Skip comment blocks, которая позволяет исключить из парсинга блоки html комментариев
    • Повышена производительность [​IMG] Shop::Yandex::Market
    • В [​IMG] Check::RosKomNadzor добавлена возможность выбирать источник для проверки
    • [​IMG] Maps::Yandex переписан на TypeScript, добавлена возможность подключения сервисов разгадывания каптч
    • В [​IMG] Rank::Alexa::API добавлена возможность получать название страны вместо ее кода
    • В [​IMG] Rank::Ahrefs расширен перечень собираемых данных
    • В [​IMG] SE::Seznam добавлена поддержка сессий и возможность разгадывать каптчи
    • Реализована возможность использовать прокси с одним IP: port, но с разными логинами
    Исправления в связи с изменениями в выдаче
    Исправления
    • Исправлен экспериментальный обход защиты Cloudflare с помощью Chrome
    • Исправлена ошибка в Maps::Yandex, из-за которой не собиралось больше 1 страницы, а также исправлена проблема с получением исходного кода страниц
    • В SE::Youtube исправлено игнорирование настроек поиска, проход по пагинации, а также в некоторых случаях не делались повторные попытки
    • В SE::Google::KeywordPlanner исправлена авторизация
    • Исправлена утечка памяти, которая проявлялась при долго работающих заданиях с большим числом запросов
    • Исправлена ошибка с Buffer, проблема появилась в одной из предыдущих версий
    [​IMG]
    [​IMG]
     
  13. Обновление документации и курс по заработку на PBN используя A-Parser
    Обновленная документация

    Мы не стоим на месте: постоянно совершенствуем наш продукт, расширяем его функционал, ориентируясь на сегодняшние потребности пользователей и на удобство использования A-Parser. В соответствии с этим мы полностью обновили нашу техническую документацию, в первую очередь изменили интерфейс, создали логичную структуру разделов, предусмотрели удобную навигацию и поиск.
    Кроме дополнения и обновления существующей документации добавлены новые, ранее не публиковавшиеся разделы:
    • настройка и работа с Docker
    • новое API v2 для написания JS парсеров с использованием TypeScript
    • использование Chrome с прокси с помощью Puppeteer
    • взаимодействие с A-Parser через Redis API
    • использование Node.js модулей
    Также, для всех встроенных парсеров добавили блоки с примерами их использования. Вся документация сопровождается скриншотами и различными примерами, большинство из которых можно импортировать в свой А-Парсер и изучить.
    Обновленная документация еще будет расширяться и дополняться, но Вы уже сейчас можете ознакомиться с ней, перейдя по ссылке: https://a-parser.com/docs/
    Курс по заработку на PBN используя A-Parser(+включает лицензию)

    Наш хороший друг Николай Кодий запускает второй набор на курсы по подбору дропов и построению качественных сеток PBN, с применением A-Parser в качестве одного из основных инструментов. Каждый из студентов бесплатно получает весь лицензионный софт (в том числе и A-Parser), необходимый для подбора дропов. Данный курс без "воды" — вы получите концентрат опыта и алгоритмы наработок, которые никто другой не показывает. Курс насыщен практикой на реальных задачах. Каждый выпускник сможет в дальнейшем сотрудничать с Николаем или получить рекомендацию от него и контакты компаний, которые часто ищут специалистов по PBN. Подробнее о курсе читайте в его телеграм-канале https://t.me/mypbn/1113
    [​IMG]
    [​IMG]
     
  14. Сборник рецептов #46: парсинг сообщений из Viber, корейский поисковик и сбор контактов организаций
    46-й сборник рецептов, в который вошли парсер сообщений Viber, парсер корейского поисковика и пресет для сбора контактов организаций из каталога.
    Парсер Viber - сбор сообщений из публичных групп вайбер
    В А-Парсере уже довольно давно существует парсер для сбора сообщений из публичных групп в Telegram. Представляем аналогичное решение для не менее популярного мессенджера - Viber.
    [​IMG]
    Парсер корейского поисковика Daum.net
    Еще один парсер поисковых систем, на этот раз корейской daum.net
    [​IMG]
    Парсинг контактов организаций из ua-region.info
    Пресет для сбора телефонов, почт, сайтов, адресов и прочей информации из каталога организаций ua-region.info
    [​IMG]

    Еще больше различных рецептов в нашем Каталоге!

    Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.
    Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.
    Все сборники рецептов
    [​IMG]
    [​IMG]
     
  15. 1.2.1239 - обновление Node.js, поддержка ReCaptcha v3 и Smart captcha, исправление ошибок

    [​IMG]

    Улучшения
    • Node.js обновлен до версии 15.14.0
    • Добавлена возможность разгадывать Google ReCaptcha v3 в виде нового парсера [​IMG] Util::ReCaptcha3
    • В [​IMG] SE::Yandex, а также в некоторых других парсерах Яндекса реализована обработка новой Smart captcha
    • В [​IMG] Rank::MajesticSEO добавлен режим парсинга через Chrome
    • В [​IMG] SE:: DuckDuckGo актуализированы языки и регионы
    • В [​IMG] SE::Google::Cache добавлена возможность использовать сервисы разгадывания рекаптч
    • В [​IMG] SE::YouTube добавлен сбор ссылок на канал
    • Актуализирован список языков в [​IMG] DeepL::Translator
    • Теперь в [​IMG] SE::Bing при обнаружении бана, прокси банится парсером вместо простой смены
    • В [​IMG] Shop::Amazon обновлен юзер-агент, за счет чего выросла производительность
    Исправления в связи с изменениями в выдаче
    Исправления
    • Исправлен баг в HTML::LinkExtractor, из-за которого парсинг по запросу останавливался с ошибкой
    • В Rank::MOZ исправлено отсутствие повторных попыток, а также изменена логика определения неудачных запросов
    • Исправлена ошибка проверки прокси, если в пароле был символ "*"
    • Исправлен баг, из-за которого при использовании шаблонизатора в Additional headers переставал работать Check content
    • Исправлена логика проверки результатов в SE::Bing::Images
    • Исправлена работа XPath
    • Исправлена утечка памяти: при длительной работе процесс node.js постепенно заполнял всю доступную оперативную память
    • Исправлена работа с прокси на некоторых сайтах, баг появился в одной из предыдущих бета-версий

    [​IMG]
    [​IMG]
     
  16. Курс по заработку на PBN используя A-Parser(+включает лицензию)



    [​IMG]

    Наш хороший друг Николай Кодий запускает очередной набор на курсы по подбору дропов и построению качественных сеток PBN, с применением A-Parser в качестве одного из основных инструментов.

    Курс учит профессии или помогает в ней прокачаться и упорядочить знания.

    Каждый из студентов бесплатно получает весь лицензионный софт (в том числе и A-Parser), необходимый для подбора дропов.

    Данный курс без "воды" и с живыми вебинарами, с разборками домашних заданий — вы получите концентрат опыта и алгоритмы наработок, которые никто другой не показывает. А, кроме того, сможете попрактиковаться в поиске дропов на продажу. И поднятии на них сеток, для себя или на продажу.

    Курс насыщен практикой на реальных задачах. Каждый выпускник получает весь необходимый инструментарий. Многие из выпускников потом находят работу в хороших компаниях или работают на себя.

    Подробнее о курсе читайте на ленде курса - https://kurs.pbn.link


    [​IMG] [​IMG]
     
  17. 47-й сборник рецептов, в который вошли парсер данных о Youtube каналах, парсер отзывов из Google Play и универсальный чекер изменений на страницах с уведомлением в Telegram.

    Парсинг данных о Youtube канале

    Парсер для сбора информации о каналах на Youtube. Данный парсер собирает описания каналов, дату регистрации, общее количество просмотров, страну, ссылки и email, если он есть в описании.
    [​IMG]

    Парсинг отзывов Google Play Market

    Парсер комментариев к приложениям в Google Play, который позволяет парсить как тексты отзывов, так и различную информацию: имя автора, аватар, дату и рейтинг.
    [​IMG]

    Универсальный чекер апдейтов(текста, цен и т.п.) на страницах с уведомлением в Telegram

    Данный парсер позволяет отслеживать изменения на различных страницах и получать уведомления в Telegram. Особенностью парсера является возможность гибко добавлять признаки для разных сайтов без необходимости вмешиваться в код. Также парсер формирует отчет, в котором видно сколько раз сработали и сколько уведомлений было отправлено.
    [​IMG]


    Еще больше различных рецептов в нашем Каталоге!

    Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

    Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.


    Все сборники рецептов


    [​IMG] [​IMG]
     
  18. 1.2.1294 - новые опции и расширение перечня типов собираемых данных в некоторых парсерах, багфиксы

    [​IMG]

    Улучшения
    • В [​IMG] SE::Google добавлены новые опции:
      • Exact match - соответствует опции в поисковике "Точное соответствие";
      • Safe search - позволяет включать/отключать Безопасный поиск Google
    • В [​IMG] SE:: DuckDuckGo добавлены опции Safe search и Serp time, а также исправлены мелкие ошибки в логике работы
    • В [​IMG] SE::Google::Trends добавлена опция Use empty queries(ignore query value) которая позволяет осуществлять поиск по категории
    • В [​IMG] SE::Yandex:: Direct реализована поддержка каптч, а также добавлена переменная, позволяющая различать органическую и рекламную выдачу
    • В [​IMG] SE::YouTube добавлена возможность парсить "Похожие запросы", а также собирать дату добавления видео
    • В [​IMG] SE::Yandex::Suggest добавлен выбор способа запроса, один из которых позволяет собирать все расширенные подсказки (реклама, факты, ссылки на сайты)
    • В [​IMG] Net::HTTP добавлена опция Don't verify TLS certs
    • В [​IMG] Google::Maps добавлена возможность парсить ссылку на карточку компании
    • Добавлено обнаружение ограниченных (18+) профилей в [​IMG] Social::Instagram:: Profile
    • Улучшена поддержка доменных прокси
    • Исправлена работа с await this.request в JavaScript API v2
    • Реализован автоматический запуск заданий в статусе Some error при перезагрузке A-Parser
    • Добавлен флаг статичного формата имени файла результата, который позволит более гибко называть файлы и при этом сохранять возможность получать ссылки на них через getTaskResultsFile
    Исправления в связи с изменениями в выдаче
    Исправления
    • Исправлена работа с поисковыми операторами вSE:: DuckDuckGo
    • Исправлена работа SE::Google::Translate с некоторыми языками
    • Исправлена работа Redis API, проблема появилась в одной из предыдущих версий

    [​IMG]
    [​IMG]
     
  19. Бонусы от Leadgid и видеоуроки от DIM STUDIO

    [​IMG]

    Дорогие друзья!

    Наш партнёр, международная финансовая партнёрская сеть Leadgid, подготовила бонусы для новых пользователей!

    Регистрируйтесь уже сейчас, лейте трафик и получайте бонус +10% к первой выплате. Для этого достаточно сообщить своему менеджеру промокод APARSERSTART10

    В Leadgid вы можете найти более 500 финансовых офферов и более 30 ГЕО.

    В арсенале партнёрки есть офферы не только по СНГ, но и по всему миру: Испании, Эстонии, Польше, Мексике, Вьетнаму, США и многим другим странам!

    Leadgid известен в арбитражных кругах своим насыщенным нетворкингом и крутыми конкурсами. Принимайте участие в новом конкурсе "Остров Сокровищ Leadgid" и летите вместе с Leadgid на Мальдивы, где вас будет ждать грандиозная вечеринка с розыгрышем главных призов!

    Регистрация по ссылке: https://my.leadgid.com/?utm_source=aparser&utm_medium=referral&utm_campaign=collab

    ______________________________________________________________


    А также, мы представляем видео уроки по работе с A-Parser от DIM STUDIO. На данный момент уже доступно 13 уроков и их список будет пополняться.

    Плейлист со всеми видео уроками


    Список тем:

    • Знакомство. Установка, первичная настройка, запуск первого проекта.
    • A-Parser - XEVIL: Подключаем и проверяем.
    • Сбор главныx страниц phpbb форумов.
    • Как собрать DLE сайты через проверку HTML кода.
    • Последовательный сбор трёх движков статистики (Refspam).
    • Сбор ников с сайтов.
    • Поиск активных ссылок в отчётах Xrumer + Nofollow.
    • Сбор базы форм обратной связи для Xrumer.
    • Импорт/Экспорт пресетов.
    • Поиск движка AWSTATS.
    • Определяем движки из баз для Xrumer с помощью Rank::CMS.
    • Сбор базы ключевых слов через Rank::Bukvarix::Keyword.
    • Собираем данные из групп Telegram.

    Оставляйте комментарии и подписывайтесь на наши каналы на YouTube: A-Parser и DIM STUDIO!

    [​IMG]
    [​IMG]
     
  20. Сборник статей #13: работа с MongoDB и поиск дроп доменов

    Представляем 13-й сборник статей, в который вошли статья о работе с MongoDB и статья по поиску дроп доменов с использованием A-Parser.

    Пример интеграции А-Парсера с MongoDB. CRUD Операции
    В данной статье рассмотрен пример интеграции А-Парсера с MongoDB. В частности показаны CRUD операции. В качестве хранимых данных в базе используются результаты работы парсера поисковой выдачи Bing.
    [​IMG]

    Дроп домены: для построения сеток PBN
    PBN, или Private Blog Network — это сетка сайтов, созданных для того, чтобы с них проставлять ссылки на свои «белые» проекты для выхода в ТОП в высококонкурентных нишах. Такая сетка строится на дроп-доменах, поскольку у них есть история (конечно же, она должна быть чистой), траст, беклинки и даже трафик. В этой статье на конкретном примере показан пример решения задачи по поиску дропов с использованием A-Parser.
    [​IMG]


    Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки :-D ) - отписывайтесь здесь.

    Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

    Все сборники статей

    [​IMG]
    [​IMG]
     

Поделиться этой страницей