Сервис сбора и анализа объявлений о продаже б/у автомобилей

Постановка задачи

Мы всегда открыты для необычных идей. Одной из таких была идея создать автоматический сервис поиска, оценки и продажи авто. Необходимо собирать данные объявлений на самых популярных площадках, вести мониторинг динамики цен (если машина долго не продается, как правило продавец снижает цену и это надо учитывать), давать рыночную оценку автомобилю по его характеристикам, а также осуществлять умную SMS-рассылку по заложенным в программу триггерам-условиям. Итогом должна стать выгодная покупка с последующей продажей.

Разработка бизнес процесса

Важно разработать подробный, но вместе с тем легко понимаемый бизнес процесс. Основная задача при этом - предусмотреть возможные подводные камни и заложить перспективу развития функционала.

Выстраиваем весь алгоритм, ключевые действия, триггеры-условия.

Парсинг (сбор) данных

Как видно на схеме, начальной точкой всех процессов является сбор данных - парсинг. Сбор осуществляется с самых популярных площадок, на которых размещаются объявления: auto.ru, avito.ru, bibika.ru. Каждая из площадок имеет свою системы публикации объявлений. Это осложняет жизнь программистам робота-парсера, так как им необходимо выбирать буквально зерна из плевел - ключевая информация бывает зашита в очень тяжелом коде.

Для каждой площадки необходимо подготовить особые методы отбора информации. Еще одним фактором сложности является сразу отсеять дублированные объявления - многие продавцы размещают объявления сразу на нескольких площадках, причем немного изменяя описание автомобилей. Робот-парсер понимает это и сразу убирает дубли.

Также мы предусмотрели возможность ручного наполнения объявлений, это востребовано при анализе газет и различных специализированных форумов.

Ранжирование входных данных

Все отобранные объявления (про саму настройку отбора и ранжирования мы расскажем ниже) ранжируются на два главных типа: дорого и дешево.

Объявление дешево. Самый простой вариант. Установленные параметры настройки работы робота-парсера определяют, что продаваемый в объявлении автомобиль продается по цене ниже, по которой ориентировочно он мог бы продаваться, то есть перепродажа является выгодным делом. Далее система передает такое объявление на преаналитику, где уже человек, по приведенным данным из объявления дает первую оценку - стоит продолжать заниматься данным объявлением или нет. Если по каким-то причинам объявление не устраивает преаналитика, то оно сразу удаляется. Если же объявление корректное, и оценка системы была верна, то оно передается дальше - менеджеру, который вступает в контакт с продавцом и посылает оценщика для проверки и возможной покупки автомобиля.

Объявление дорого. Самый частый случай. Когда объявление оценено дорогим. Оно не обязательно может быть очень дорогим, просто внесенные параметры оценки сулят меньшую прибыль от операции покупки, либо прибыли не будет вообще. Продавцу такого автомобиля сразу, посредством SMS, отправляется предложение с ценой покупки ниже на 100 000₽ (сумму можно задать в настройках, она так же зависит, от предполагаемой прибыли от операции). Далее, если нет ответа. Телефон продавца передается разным операторам call-центра. Они в течение заданного времени делают звонок продавцу, указывая, что стоимость объявления завышена. Это элемент психологического воздействия - показать, что при меньшей цене автомобиль бы уже купили. Далее робот постоянно оценивает динамику цены по этому объявлению, и если происходит снижение, - продавец понял, что при изначальной цене он не продаст автомобиль, то посылается SMS-сообщение, от студента Дениса, которому не хватает n-й суммы для покупки авто и в случае положительного решения он бы его незамедлительно купил. При удачном стечение обстоятельств цепочка действий с покупкой повторяется аналогично с “дешевым” объявлением.

Разработка сервиса

Добавление пользователей в систему и настройка отбора данных

Для нас очень важно сделать удобный интерфейс взаимодействия с системой, где каждый элемент был не только функционален, но и удобен, а его назначение легко определялось. В сервисах, ориентированных на результат нет место бездумным “украшательствам”, а-ля “вот какие у нас дизайнеры”, необходимо совместить функционал с приятным и понятным внешним видом.

Большинство систем на рынке предоставляют готовый интерфейс. Это хорошо, когда процессы в компании простые и не содержат в себе большое количество второстепенных действий, которые могут влиять на конечный результат. Описываемый же бизнес процесс сложный и имеет несколько вариантов развития, в том числе условия-триггеры, после выполнения которых запускается отдельная цепочка действий.

Поэтому мы решили углубиться в тематику usability и, проведя беседы, с будущими операторами системы смогли разработать функционал, который позволяет создать индивидуально настроенный интерфейс. Это требование диктует сама практика обработки большого количества данных. Пользователям системы будет приходить большое количество объявлений, у каждого человека свои методы оценки, так как многие из параметров носят субъективный характер.

Приведем основные “фишки”:

• Выбор роли: Каждого пользователю можно сразу назначить роль. Каждой роли соответствует особая задача. Например Преаналитик получает объявления непосредственно от робота-парсера, по настраиваемым параметрам; его задача - входной контроль, отсеять сразу плохие или некорректные объявления.
  Менеджеру, напротив, приходят уже обработанные объявления, отфильтрованные по множеству параметров, остается переговорить с продавцом автомобиля и договориться о встрече;
• Доступный статус: Каждой из ролей можно назначить доступный статус объявления, это связано с обработкой результатов робота-парсера;
• Тип интерфейса: Для каждой роли лучше подходит разный интерфейс. Для преаналитика лучше выводить списки объявлений, менеджеру удобнее переходить от объявления к объявлению с подробным просмотром;
• Настройка меню: Для каждого участника можно настроить вывод разных пунктов меню, чтобы не загромождать интерфейс, либо ограничить доступ к разделу;
• Выбор виджетов: Самый интересный и гибкий раздел. Он связан напрямую с типом интерфейсы. Доступны разнообразные и функциональные блоки, каждый может выводит определенную информацию себе на рабочую страницу, что позволяет ускорить процесс обработки объявлений. Подробно о них мы расскажем ниже.

Типы интерфейсов. Отображение обработанных данных

Мы разработали два базовых типа интерфейса для отображения собранных объявлений.

1. Табличный. Удобен для преаналитиков. Имеет функции гибкой фильтрации и поиска. Сразу доступна сводная информация по всем отобранным объявлениям. Но ограничен вывод виджетов, так как они больше ориентированы на вывод по конкретным объявлениям. Интерфейс нацелен на обработку большого количества входящих объявлений.
   
   
2. Просмотр по объявлению. Подобный интерфейс будет полезен тем сотрудникам, в задачу которых является работа уже с отобранными публикациями. Они уже прошли отбор, их намного меньше и требуют более детального анализа.
   
   

Автоматическое взаимодействие с продавцами авто. Настройка условий SMS-рассылок (триггеров)

Просто собирать данные по заданным фильтрам - пройденный этап. Хочется получать обратную связь и прощупывать потенциально интересные объявления на предмет торга или переоценки. Для этого надо вступить в диалог с продавцом авто, желательно автоматически, осталось научить это делать нашего робота.

Как мы уже упомянули в описании бизнес процесса, если объявление интересное (отвечает базовым требованиям), то робот сразу отсылает сообщение о готовности купить авто, но дешевле на 100 000₽ (эту цифру также можно задать). Также необходимо контролировать жизненный цикл такого объявления, если продавец не согласен на торг сразу.

SMS-рассылки полностью автоматизированы (конечно возможна и ручная отправка). Для любой автоматизации необходима точная настройка, чтобы учесть все нюансы. Мы разработали раздел, где можно настроить все возможные условия и шаблоны выполнения SMS-рассылки. Настраиваемые и отслеживаемые роботом параметры:

• Время существования объявления. Чем дольше не продается автомобиль, тем больше продавец понимает, что его цена завышена. В зависимости от срока можно уведомлять его о готовности купить с разной скидкой, от разных людей. Это психологический ход, подталкивающий продавца к мысли, что стоимость реально завышена;
• Задержка перед отправлением. Можно указать, по прошествии которого времени будет отправляться SMS, ведь отправлять сразу после публикации объявления - не практично, продавец еще твердо уверен в своей цене;
• Коэффициент понижения/надбавки. Робот высчитывает справедливую цену за предложенный автомобиль. Если цена в объявлении падает ниже этого уровня на определенный процент, либо наоборот превышает, то можно отправлять сообщение продавцу со встречным предложением;
• Отправка SMS при изменении статуса объявления. Набор условий. Если объявление из статуса Дорого перешло в Дёшево, то значит продавец понижает цену и ему автоматически или вручную отправляется предложение. Также можно настроить переход на другой статус с соответствующим действием. Например при выборе подстатуса “Пока не дешево”, можно настроить отключение рассылки SMS, а просто отслеживать динамику цены;
• Отправка SMS при изменении группы объявления. Набор условий. Также можно настроить последовательность сообщений при изменении группы объявления.

Лингвистический анализ. Применение алгоритма TF-IDF для оценки качества объявлений

На площадках-донорах информации много объявлений от недобросовестных мошенников, либо от серых автосалонов, которые публикуют автоматические объявления-обманки, рассчитанные на доверчивых покупателей. Благодаря алгоритму TF-IDF мы научили наш робот-парсер автоматически отклонять такие объявления. TF-IDF позволяет делать оценку важности слов в объявлениях, научив его оценивать “плохие” слова, можно с большой вероятностью отфильтровать ненужные объявления.

После первоначального запуска механизма рассылки для робота, выяснилось, что не все объявления заполнены корректно. И для персонализации не достает данных, либо они некорректно заполнены. В sms сообщениях можно вставлять имя человека с помощью переменной , она автоматически заменяется роботом на имя, указанное продавцом в объявлении. Но продавцы не всегда указывают правильное имя, либо указывают просто “Владелец” или “Хозяин”.

В таких случаях в sms сообщении должна происходить замена на просто “Здравствуйте”. Для фильтрации таких ошибок мы предусмотрели список слов исключений. Еще мы учли, что некоторые указывают городские номера, на них sms отправлять нельзя. Для фильтрации мы создали поле, куда можно ввести коды исключения.

Все созданные шаблоны настроек для рассылок хранятся в отдельной картотеке. Их можно редактировать, перезапускать с новыми параметрами, удалять.

Статистика

При сборе и обработке большого количества данных важно иметь инструменты получения статистики. Причем инструменты комбинированные - графические и математические, для разных срезов данных. Это позволяет гибко анализировать как количество поступаемых и обработанных данных, так и их качественные характеристики.

Для получения информативной картины, мы прежде всего добавили разные “срезы” собранной информации:

• Анализ автоматически собранной информации (Парсинга);
• Анализ по маркам автомобилей;
• Анализ по пользователям системы - для контроля всего жизненного цикла объявления при переходе по ролям пользователей (сколько объявлений перешло от преаналитика к аналитику, далее к менеджеру, затем к оценщику и так далее);

По каждому из срезов можно получить выборку за конкретный период времени. Для анализа собранной информации мы предусмотрели разбивку по донорам-информации, можно проследить с какого ресурса сколько было получено объявлений по заданным настройкам парсера. Это позволяет оценивать качество наполнения и актуальность.

Разработка сайта

Бизнес процесс был бы не полным без создания собственного сайта. На который публиковались бы объявления о продаже машин. Продолжая наш всеобъемлющий подход, требование к сайту было - продолжить полный бизнес процесс - поиск посетителем интересного автомобиля по параметрам, сравнение выбранных моделей, а также подачу заявки на тест-драйв и выдачу кредита на покупку.

Основываясь на опыте собственных менеджеров, отбирающих огромное количество объявлений мы добавили фильтры для поиска нескольких моделей одновременно, в том числе и от одного производителя.

Для отображения карточки объявления мы остановились на консервативном, но понятном каждому, отображении, схожем с самым популярным порталом. Это психологически расслабляет посетителя.

На популярных сайтах с объявлениями о продаже автомобилей часто не хватает функции сравнения, интересных объявлений. Мы добавили это!

Если посетителю понравился автомобиль, он может легко записаться на тест-драйв, через удобную форму.

Мы пошли еще дальше и интегрировали кредитный калькулятор, чтобы человек сразу оценивал финансовые затраты. Это очень удобно!

Мы не забыли и о тех, кто смотрит автомобили, с целью выставить свой на продажу, а таких от 10 до 18 процентов посетителей. Для них мы везде оставляем форму, через которую можно быстро отправить заявку на оценку автомобиля.

На удивление владельца сайта, публикация интересных тематических статей подняла посещаемость на 7%, что положительно сказалось и на бизнесе и на репутации ресурса.

Продвижение и аналитика

Для привлечения потенциальных покупателей были выбраны следующие механизмы продвижения сайта и публикуемых объявлений:

• Публикация объявлений Яндекс.Директ;
• Объявления и баннеры в Рекламной сети Яндекс;
• Контекстная реклама в Google AdWords;
• Публикация в специальных группах в соцсетях Facebook и ВКонтакте;

Были получены следующие показатели:

Также планируется создание канала на YouTube, для оперативной публикации кратких видео-обзоров продаваемых на сайте автомобилей, это позволит привлечь дополнительных посетителей, а также более качественно преподнести автомобиль для потенциального покупателя.

Автоматическое размещение объявлений на Авито, Автору, Дром и т. п.

Размещать объявления только на сайте недостаточно, необходима их автоматическая публикация на популярных площадках, таких как Авито, Автору, Дром и т. п. Для этого мы проанализировали методы автоматической публикации для каждой площадки. Теперь, создавая объявление на сайте можно автоматически его разместить на самых популярных площадках.

Для удобства, в Панели управления мы вывели статистику публикуемых на площадках объявлений, чтобы избавить менеджеров отдельно вручную проходить все объявления на каждой их площадок.

Вместо итога

В данном кейсе мы продемонстрировали полностью готовый и функционирующий бизнес-процесс, для поиска и отбора выгодных предложений о продаже автомобилей для последующей их быстрой перепродажи.

Реализован интеллектуальный сбор объявлений, их анализ и отбор для преаналитики, отлаженный механизм взаимодействия с клиентом звонками и по SMS, разработана удобная Панель управления сервисом, учитывающая возможные проблемные моменты в работе для менеджеров и операторов, а также создан функциональный сайт с системой автоматической публикации объявлений на самых популярных интернет площадках.

p.s. Иллюстрируя данный пример мы хотели показать, что сбор данных может стать очень интересной задачей, особенно если стараться автоматизировать его полностью. Добавляя необходимые настройки и обучая парсер можно получать удивительные результаты, не только в тематике сборов объявлений, но и например собирать мнения людей, оценивать их настроение, изучать их изменения и т. п.

Мы создаем сервисы не только сбора и обработки данных, но и сервисы, позволяющие реализовывать разные действия, в зависимости от заданных условий и оценки результатов обработки. Сами по себе огромные выборки не несут полезных свойств, словно куча ненужной макулатуры. Наши разработки преследуют цель улучшения бизнес процессов, построения их корректных моделей, а также оптимизации. Подобный комплекс позволяет сократить издержки и увеличить прибыль наших дорогих клиентов.