Додайте свій проект безкоштовно і почніть отримувати пропозиції від фрілансерів-виконавців вже через хвилини після публікації!

Периодичный парсинг 5 сайтов (избранные категории)

минув час актуальності


Задача 2-3 раза в неделю парсить нужные категории, узнать нужные товары, вытягивать с них цены и отдавать результат автоматически на сервер 1С. Для каждого сайта будет предоставлен ряд соответствий, по которым можно распознать нужный товар.

Мне интересно знать:

1. цену
2. сроки
3. стак технологий для выполнения задачи
4. как будет сделан автоматический периодический парсинг.
5. сколько будет стоить поправки парсера, если разметка изменилась или сервер перестал запускать парсеры...



Оновлення #1 від 29 листопада о 15:25
Для чего это всё? Есть ИМ, в котором есть 20 тыс товаров. Нужно отслеживать в какой зоне находятся цены у конкурентов. Конкурентов самых сильных 5.
- Красная зона: у нас цены больше чем у конкурентов
- Жёлтая зона: цены одинаковы
- Зелёная зона: у нас дешевле чем у конкурентов

Принцип работы:
1С отдаёт все 20 000 товаров в файле (xml csv...). Будет обновлять раз в неделю файл. Отдавать на сервер в нужную папку. Парсер проходит по нужным категориям эти 5 сайтов. Собирает данные. Эти данные на стороне сервера сравниваются с файлом от 1Ски и создаёт результат сопоставлений. Сопоставления будут могут идти по таким полям: артикул, наименование, атрибуты, фото товара.
Когда нашло идентичный товар, 1С и у конкурента, делаем запись в отдельный файл, такой то товар, с таким то 1С ИД имеет вот такую цену. И всё. В конце результат сравнения отправить обратно в 1С и дальше с данными будет работать с 1Сник.

Составляю ТЗ по сайтам.
В нём будет информация:
1. Список сайтов и категории которые нужно парсить
2. По этим категориям как распознать наш товар (артикулу, наименованию, атрибутам, фото товара)
3. Пример файла от 1Ски
4. Пример файла, который будет принимать 1Ска после сравнения
5. Как отправлять файл в 1С

Пока пауза на создание ТЗ на 5 дней


  1. 10 днів200 ₴
    Владимир Калач
     525   21   0

    добрый день

    пишу парсеры в excel vba.
    выставляете параметры
    нажимаете кнопку - получаете табличку с данными

    1. цена зависит от сложности сайта.
    порядка 50 - 100 долларов, за полноценный парсер сайта.
    если Вам нужно парсить часть товаров - нужно смотреть более подробное ТЗ, и сами сайты
    2. сроки 1-3 дня на сайт, но все зависит от сайта
    3. excel vba
    4.нужно настроить планировщик в виндовс, который будет открывать екселевский файл. в файле будет установлен автозапуск макросов при открытии файла.
    5. 0 - 100 долларов. зависит от изменений


    владимир

    Україна Київ | 29 листопада о 13:02 |
  2. ставка прихована фрілансером
  3. 7 днів500 ₴
    Олександр Панченко
     192 

    делал подобные проэкты в нескольких вариантах.
    Один из них :
    1) ок. 100 дол.
    2) 2-4 дня
    3) Питон на линукс-сервере (обычно это есть или можно быстро поднять /купить)
    4) переодичность можно зашить в скрипт, а конфигурацию - в файл, который правится ручками если надо что-то менять
    5) Тут еще тяжелее скказать, но явно дешевле стартовой.
    И еще вопросов много по 1С, ОдинЦешке - как она принимать будет данные? Автоматом? Вручную? Он на СКЛ или на файлах?

    Україна Київ | 29 листопада о 13:19 |
  4. 1 день1000 ₽
    Stas Ovan
     719   34   5

    Здравствуйте! Задача уже стала понятна. Готов написать парсеры (обычно 1000 рублей за один парсер). Дайте адреса сайтов (и категории), откуда парсить данные. Также опишите поля, которые надо парсить (наименование, артикул, цена и проч.)
    stas0skype

    Росія Росія | 29 листопада о 14:15 |
  5. 2 дні500 ₴
    Сергей Гринев
     152 

    Для полного понимания задачи желательно увидеть список сайтов с перечнем того, что надо парсить. Пишу парсеры на питоне для любых сайтов. Возможен запуск по крон с хостинга, ВПС или локального компьютера.
    Доработка скрипта при смене разметка - от 200 до 300 грн
    Цена указана стартовая за сайт, зависит от сложности самого сайта-донора

    Україна Одеса | 29 листопада о 14:40 |
  • Stas Ovan
    Поскаржитися | 29 листопада о 13:38 |

    Спарсить - не вопрос. В вашей задаче - самое простое. А как вы видите импорт в 1С? Получается нужно десктопую прогу писать, которая подключится к SQL 1С. Или база на файлах? Какая версия 1С?

  • Stas Ovan
    Поскаржитися | 29 листопада о 13:38 |

    Сервер 1С имеется ввиду веб-сервер? Или сервер организации?

  • PM OwlWeb — замовник проекту
    Поскаржитися | 29 листопада о 13:47 |

    Собирать данные на своём сервере. Сопоставлять данные с тем эталоном, что вытащит 1С, после обработки отправить csv файл в 1С и всё

  • Stas Ovan
    Поскаржитися | 29 листопада о 14:03 |

    Формат csv дайте. И как моя программа отправит csv в вашу 1С ?


  • PM OwlWeb — замовник проекту
    Поскаржитися | 29 листопада о 14:08 |

    Пока формат не составлял. По АПИ, по ФТП в нужную папку

  • Stas Ovan
    Поскаржитися | 29 листопада о 14:12 |

    Формат не вы составляете, а в каком формате "всасывает" 1С )))

    (этот формат уже запрограммирован в 1С и у всех он разный)

    Например:

    1. ID (inner 1C)

    2. Наименование товара

    3. Артикул

    4. Единица измерения

    и т.д.

  • Додати

Замовник
PM OwlWeb
Україна Київ  9   0
Проект опублікований
29 листопада о 12:28
105 переглядів
Місцеположення виконавця
Україна Україна
Поділитися