Фільтр

Динамический парсер для мониторинга новостийных сайтов



Внутренняя архитектура представлена тремя практически независимыми подсистемами, которые сообщаются через общую базу данных. Такая архитектура позволяет ввести отдельную синхронизацию для параллельного запуска процессов считывания контента каждого сайта из списка и отдельно запуск с установленной периодичностью ресурсоемкого серверного скрипта, который производит анализ. Это позволяет максимально оптимизировать использование ресурсов сервера и не допустить общей остановки работы системы в случае отдельных сбоев.
Первые две подсистемы, также имеют общий интерфейс и с точки зрения пользователя выглядят как единое приложение, в дальнейшем агент. Агент запускается в единственном экземпляре на одном из клиентских терминалов и обеспечивает круглосуточную автономную работу системы.
Выделение подсистемы обучения позволяет параллельно запускать несколько копий на разных клиентских терминалах и работать над визуальным контролем и коррекцией эвристик нескольким сотрудникам.



   ShadowAngel   213  3

5000 ₽ Наполнение интернет магазина спортивного питания



Парсинг 1300 товарных позиций по заданным критериям. Поиск, выгрузка и обработка фото. Составление и импорт CSV файла в систему управления OpenCart.



   WellSky   112  3

1000 ₴ Парсер steamdb.info



Программа-парсер для сайта steamdb.info.

Возможности парсера:
1. Выбрать диапазон steam UID, которые необходимо спарсить
2. Выбрать список steam UID из файла
3. Поставить фильтр на steam level
4. Поставить фильтр на games owned (количество приобретенных игр steam)
5. Поставить фильтр на last online (дату когда последний раз был онлайн)
6. Поставить фильтр на owned products (фильтр по названию, допустим "Counter Strike", если есть такое название в списке игр - то steam аккаунт сохраняется, или наоборот)
7. Поставить указать количество потоков для парсинга (многопоточная)
8. Указать прокси из наружного файла proxy.txt
9. Остановить процесс в любое время.
10. Сохранение результатов в txt. (Возможно также доработка, чтобы сохраняло в csv)

Написан на javafx.



   hdls   4  1

1000 ₴ Парсер номеров OLX v3



Парсер ОЛХ по всем категориям с возможностью выбора области и города. Также присутствует возможность поиска по ключевым словам, проверки на дубли и фильтра по загруженным из файла номерам. Вывод в csv.
Скорость: ~1 обьявления / секунду

Написан на javafx



   hdls   35  1

700 ₴ Парсер OLX по всем категориям



Парсер обьявлений с популярной доски OLX по всем категориям

Написан на javafx.



   hdls   71  1

Парсер SimilarWeb



Задача:
Написать парсер для SimilarWeb. Парсер должен собирать данные о посещаемости сайтов, записывать в базу данных, и по команде, выводить их в html-файл.

#парсер #nodejs #node.js #sqlite #html #similarweb



   alphamyd   3  1

4000 ₴ Опольтранс создание прайсов



На видео демонстрируется работа небольшого софта,который формирует прайсы автозапчастей на основе каталожных номеров из сайта http://opoltrans.com.pl/.



   hambit7   1

2000 ₴ Бот webparse.ru и mailinator.com



Бот, имеющий такой функционал:
- авторизация, создание ящиков на mailinator.com;
- регистрация на webparser, отправка email-сообщения на новозарегистрированный ящик:
- проверка наличия письма от webparser, и активация аккаунта по по ссылке;
- добавление данных аккаунта в БД;
- полный лог действий;

Так же, как дополнение, была реализована генерация подобочеловеческих логинов почт, для возможности запуска и добычи множества аккаунтов в автоматическом режиме



   Big_brother   10  1

Магазин оптики для грузовых авто Пром



Наполнен раздел габаритных фонарей. Около 1000 наименований.



   olgagum   46  1