Что делает Parsers

Сегодня команда предлагает расширение для браузера, позволяющее без навыков программирования извлекать и визуализировать неструктурированные данные из веб-страниц.

Пользователю достаточно выбрать подходящие данные только на одной странице и сервис найдет аналогичные автоматически по заданному шаблону. Нужно собрать сто тысяч заголовков новостей? Parsers поможет найти их и структурировать в единую таблицу.

Алгоритм умеет собирать ссылки, изображения, тексты, таблицы, скрипты. Структурированные в таблицы и чарты данные можно скачать в разных форматах c сайта или по API. Можно настроить автоматический парсинг по расписанию. Удобно для сравнения цен, например.

Сервис продается по подписке, цена которой зависит от обьема собираемой информации. На бесплатном плане можно обработать до тысячи страниц одного сайта, а самый дорогой профессиональный план за 199$/мес. позволяет работать со ста тысячами страниц.

Продуктом Parsers пользуются в Microsoft, Cisco, Ebay и других крупных компаниях. Но на простом парсинге по запросу команда останавливаться не намерена. Планы куда более масштабные. Фаундер компании Евгений Гуринович рассказал подробнее.

...

Новый поиск

Мы движемся к созданию новой модели поиска, когда человек получает ответ на его вопрос сразу, а не тратит много времени на открытие ссылок из поисковой системы. Фактически парсингом вебсайтов занимаются все поисковые системы. Слово парсинг они заменяют индексацией, но суть от этого не меняется. Поисковые системы парсят все подряд, то есть неструктурированную информацию.

В таком виде пользователи и получают ответ на вопрос в поисковой выдаче. Поисковики дают ссылку на страницу, где может быть, что-то похожее на ваш запрос. Если вы спросите «сколько стоит iPhone», то поисковик не даст вам ответ на странице, а пошлет искать на сайтах. Поисковики не знают где на сайте цена и есть ли она вообще.

Они не могут определить, что попало им в базу. Структуры сайтов настолько разнообразны, что отличить цену товара, вес, цвет и другие параметры невозможно с помощью технического решения. Это под силу только человеку, и то не всегда. Но частично автоматизировать процесс можно.

Google, Яндекс слишком большие, чтобы быстро изменить модель поиска, но маленькими шажками они двигаются к запуску поиска по структурированным данным, запуская «колдунщики», «острова», «Функции поиска Google», но это остается на основе отдельных сайтов, а не всего интернета в целом.

Уже эти кейсы показывают, что подход работает, пользователям удобно получать информацию сразу, без лишних кликов. Настолько удобно, что Avito, ЦИАН, «2ГИС» недавно пожаловались на «колдунщики» Яндекса, которые забирают у них до половины всего трафика.

Мы идем по пути создания выдачи структурированных данных на основе сбора неструктурированных. У нас уже работает поисковик по компаниям. Это бета-версия, для него мы собрали данные о 130 тысячах бизнесов из интернета и продолжаем пополнять базу.

Пользователю достаточно зайти на одну страницу, чтобы увидеть всю нужную информацию. Для него решается проблема открытия десятков вкладок в браузере. Со структурированными фактами могут работать и голосовые помощники.

...

...

Конкуренты

Все, что связано с поиском в интернете, пересекается с интересами больших компаний, таких Google и Яндекс.Но как более серьезного конкурента мы рассматриваем компанию Diffbot.

Эта компания уже собрала базу из более чем триллиона структурированных фактов. При этом аналогичный knowledge Graph от Google содержит на порядок меньше. Diffbot сфокусирован на B2B продажах, среди их клиентов Cisco, Amazon и правительство США.

Diffbot уже привлек 10 mln $ в раунде А по оценке больше 100 миллионов. Аналогичные стартапы предпочли exit. Kimono Labs продался разработчик программного обеспечения Palantir Technologies, а а технологический гигант IBM купил AlchemyAPI.

 

...

Что дальше?

В начале июля мы запустили поиск по компаниям. Мы будем внимательно следить за фидбэком пользователей, расширять количество данных, добавлять новые типы данных. Это только начальная версия поисковой системы. Выглядеть она будет по-другому и работать для b2c. Но даже сейчас найти некоторую информацию о компаниях намного проще. Собираете список инвесторов? Просто выберите категорию Venture и получите список инвесторов, которых можно сегментировать по странам и другой информации.

Мы будем добавлять поиск по продуктам, недвижимости, мероприятиям и другим разделам. Далее мы объединим все разделы в простой интерфейс поисковой системы.

Сейчас мы развиваем продукт на личные ресурсы и ведем переговоры об инвестициях. Уже есть один потенциальный инвестор. Для нас сейчас важно выбрать инвестора, который поможет нам усилить свои позиции на рынке США и Западной Европы. Нам важнее доработать продукт, который можно легко масштабировать и развивать в будущем, чем получить выгоду прямо сейчас.

...

Совет коллегам

Командам, которые думают о работе со структурированием информации, нужно понимать: необходимо очень большое количество данных. Подумайте, как вы будете их собирать, хранить и обрабатывать. Как минимум в одном из этих вопросов у вас должно быть уникальное решение, иначе экономика проекта не сойдется.

Высокое место в топе дня на Product Hunt будет ближе к вам, если соблюсти несколько правил.Большая часть подробно описана в соответствующих рекомендациях, но мы можем добавить и несколько неочевидных.

1. Необходимо собрать минимум 20–30 пользователей Product Hunt, которые проголосуют за ваш проект в первые минуты. Их голоса обеспечат попадание на главную страницу.

2. Даже если вы не попали на главную сразу, то с таким количеством голосов можно сразу писать в службу поддержки Product Hunt. Они оперативно реагируют и могут вас добавить. Мы не сразу попали на главную, хотя голосов было много и ждали, что нас все-таки разместят. Только через несколько часов я написал в службу поддержки и нас сразу же разместили. Эти несколько часов стоили нам многих голосов и, возможно, поэтому мы не дотянули до первого места.

3. Не давайте прямой ссылки на страницу продукта, а приглашайте голосовать через главную страницу.

4. Лучше меньше голосов, но от тех, кто уже прошел проверку и давно на ProductHunt. Голоса от только что зарегистрированных аккаунтов только ухудшат вашу позицию.

5. Несколько недель перед запуском каждый день голосуйте за проекты, чтобы повысить ценность вашего аккаунта.

6. В Беларуси очень большое и сильное сообщество пользователей Product Hunt , которое может сильно помочь вам. Не стесняйтесь обращаться за помощью.

Остальное зависит от вашего продукта, благосклонности комментаторов и удачи, то есть запуска других крутых продуктов в один день с вами.