Сообщений в теме: 42

[Milif]

Некоторое время назад пришлось решить такую задачу:
Периодически нужно было собирать информацию с группы сайтов. Сайтов около 50, все разные, с большими отличиями в дизайне и структуре. Информация сложная, структурированная, иногда разбросанная по нескольким страницам + необходимость авторизации для доступа к разделам. Возможности договориться с администрацией сайта и получить доступ к интересующей информации напрямую, не было. Так был создан механизм для для сбора и переработки информации в нужный формат, причем достаточно успешный – работает быстро, небольшие изменения в дизайне/ структуре сайта источника на корректности обработки либо не сказуются, либо ошибки устраняются в течении нескольких минут, подключение нового сайта (описание алгоритма обработки и формата полученной информации) в 90% случаев сложности не вызывает.

Пока разработка используется исключительно для внутренних нужд. Вот возникла идея создать на её базе некий сервис по по сбору, обработке и обмену информацией между интернет ресурсами. Вариантов реализации тут много, предложу простой (чтобы было понятно о чем речь):

Клиент сервиса предоставляет
Ресурсы источники (сайты)
Подробное описание интересующей его информации с источников
Формат отчета о собранной информации с источника
Условия обновления отчета (период времени, обновление инфы на источнике, выполнение некоторого условия)
Место доставки отчета
Алгоритм работы с источником (обмен информацией между источником/источниками/сайтом клиента по произвольной схеме)

Принцип работы сервиса
Сбор, обработка и доставка информации с указанных источников в формате удобном клиенту.
Реализация алгоритма работы с источниками, включающий в себя сбор и обработку информации.

Хочу услышать мнение местной общественности по таким вопросам:
Насколько востребован этот сервис?
Есть ли что-то похожее?

[Lucky]

Хочу услышать мнение местной общественности по таким вопросам:
Насколько востребован этот сервис?
Есть ли что-то похожее?

Насколько востребован сказать сложно. Зависит от того, что из себя представляет клиент. Все дело в удобстве и отсутствии требований знаний опредленного уровня.
Похожее есть. Есть такое понятие Web-сервис. Выполняется с помощью XML и SOAP. Если на сайте это реализовано, то для пользователя становится очень просто получать любую информацию в удобном для себя виде. Но обычно такие сервисы применяются, когда имеется потребность в B2B-связях (Business-to-Business) - например обмен инфой между сайтами.
Написал я сумбурно, знаю об этом не понаслышке. Что не понятно - пиши. Можно в личку. Одного не догоню: ты этот сервис платным хочешь сделать чтоль?

[Milif]

Похожее есть. Есть такое понятие Web-сервис. Выполняется с помощью XML и SOAP. Если на сайте это реализовано, то для пользователя становится очень просто получать любую информацию в удобном для себя виде.
...Одного не догоню: ты этот сервис платным хочешь сделать чтоль?

В том то и дело что на сайте это не реализовано, по крайней мере в одном из цепочки. Иначе вопрос бы отпал. Смысл данного сервиса как раз и заключается в создании такого интерфейса, в тех случаях когда его нет, либо он не доступен. Конечно такой сервис предпологается сделать платным.

[paranoya]

Я одно время интересовался таким автоматическим сборщиком. Сделать такой автомат - трудно.

[Milif]

Я одно время интересовался таким автоматическим сборщиком. Сделать такой автомат - трудно.

А сейчас, есть потребность в сборщике?
Факт в том, что такой “автомат” есть, задача правда была не из легких. Разработка понравилась, отсюда и интерес это дело развить.

[Вячеслав]

Сколько стоит Ваша программа?
Мне нужно, чтобы посетитель, зайдя на мой сайт, мог в реальном времени производить поиск на каком-то количестве ДО. Т.е. что-то типа мини-Яндекса.
Хочу прикинуть, что дешевле-загрузить своего программиста или заказать на стороне.

Сайт www.kupim.ru.

А нужен ли моим посетителям такой сервис, пока еще не знаю. Большинство еще убого в Инете. И доступ ограничен и текучка ест. Кинули свое "продам" и побежали дальше.

[paranoya]

Milif Потребность есть. Но не просто сборщик с заранее заданных мест. Меня интересует больше качественный поисковик + сборщик.

[Milif]

[quote name='Вячеслав']Сколько стоит Ваша программа?
...
А нужен ли моим посетителям такой сервис, пока еще не знаю.[/quote]

Речь идет не о программе, а о сервисе – его нельзя скопировать и запустить у себя, это постоянная работа, в том числе администратора сервиса.
Уверен что рядовому посетителю этот сервис не нужен и бесполезен. Я предполагаю, что ЦА присутствует среди администрации сайтов и тп.

[quote name='paranoya']...Но не просто сборщик с заранее заданных мест. Меня интересует больше качественный поисковик + сборщик.[/quote]
Если Вы о глобальном поиске и сборе, то в качестве поисковика можно использовать к примеру Google, как ресурс источник. А вот сбор – это задача на несколько порядков сложнее, т.к. сбор/обмен информацией с объектом (сайтом) требует настройки на него, и в нашем случае она выполняется вручную.

[paranoya]

Все существующие на данный момент поисковики ищут слова и все. А смысл контекста, где они нашли это слова им по барабану. А мне нужно чтобы поисковик был качественный. Чтобы не слова искал. А такое сделать пока никто не может....
Да и сам сбор нужен автоматический, ибо тогда овчина не будет стоит выделки.

[aleksei_fomenko]

Очень интересно, как этот сервис будет реализован на практике. А касательно спроса, поисковики ведь пользуются бешеной популярностью... А это и поисковик и сборщик инфы в одном флаконе... То есть сервис Однозначно востребованный

[Milif]

[quote name='paranoya']...смысл контекста... Да и сам сбор нужен автоматический[/quote]
Насколько я знаю, такие методы есть. Но вот построить поисковик с определением смысла контекста – искать он будет оочень долго. Хотя всё зависит от объёма контекста, и глубины смысла (это понятие относительное) :wink:
Сбор/обмен информацией с объектом происходит в автоматическом режиме. Но без предварительной настройки на объект не обойтись, иначе корректность собранных данных оч трудно спрогнозировать. Или Вы имеете в виду автоматическую настройку на объект? Вы себе представляете реализацию такого процесса??
[quote name='aleksei_fomenko ']А это и поисковик и сборщик инфы в одном флаконе... То есть сервис Однозначно востребованный[/quote]
Ага. Останется только нажать кнопку и из этого флакона польется море полезной инфы. Сервис на таком пузыре более чем востребованный – только это утопия

Огромная просьба, не уходить в сторону обстрактных не решаемых задач, а вернуться к обсуждению конкретного сервиса, реализация которого возможна.

[Шариков]

0: Milif, великий и могучий Гугл занимается вопросами кастомизации своих пользователей. Вы сможете с ним конкурировать? :wink:

[paranoya]

Milif Не нужно определять смысл. К примеру, мне нужно найти "правила сборки компьютера". А любой поисковик найдет мне что-нибудь такое:

"Существуют правила по организации работы магазина.... ...На примере сборки компьютеров определим....

Пример не совсем удачный, но смысл в том, что любой поисковик ищет только те слова, которые ты указал, а в каком они предложении или абазце контекста страницы ему, поисковику, наплевать. В результате людям выдаются ссылки на страницы где найдены заданные слова/словосочетания, а человек сам читает и определяет, то он нашел или нет. Я такую тему поднимал пару лет назад на e-xecutive.ru. Но меня не поняли выдали строку в приведенном мною тогда примере, которая предлагает именно то что нужно. И все. Нашел закрытый наш проект, была переписка на searchengine, и еще с парой человек. Но реализация этого.........
Если-же по теме, то, пользователями такого сервиса, будут люди, которые понимают что такое информация, зачем она им и что они с ней будут делать. А мой опыт говорит что люди - дураки. Хотя, ты уже почти приобрел одного потребителя своего сервиса - меня. :wink:

[Milif]

Небольшое отступление…

12: paranoya "...в каком они предложении или абазце контекста страницы ему, поисковику, наплевать..."
Ну, не совсем ему наплевать. Любой поисковик строит индекс соответствия найденного контекста заданным параметрам поиска ( этот индекс приравнен к смысловому ), в Вашем случае это строка/набор слов, и в соответствии с ним выводит список.

"...В результате людям выдаются ссылки на страницы где найдены заданные слова/словосочетания, а человек сам читает и определяет, то он нашел или нет..."
В результате людям выдаются ссылки на страницы где найдены заданные слова/словосочетания, а человек сам читает и определяет, то он нашел или нет. – Да, человек выполняет туже работу, что и поисковик, оценивая соответствие контекста своим представлениям, только параметров тут в сотни раз больше и скорость такого поиска… Варианты решения: скорректировать параметры поиска, чтобы найденный контекст более соответствовал вашему представлению (кстати возможности в хороших поисковиках для этого присутствуют); если параметров поисковика кажется недостаточно, можно дополнить своим методом отбора (вручную или автоматически); либо попробовать создать свой поисковик (только вот что из этого получится ).

А теперь по теме.
Станислав, если есть реальная потребность в данном сервисе (см. заглавный пост этой темы), то пиши, что конкретно нужно, можно сюда можно в приват, обсудим. Люди – не дураки, просто невсегда удаётся разговаривать на одном языке, ИМХО

[rw31]

1. Клиентов у СЕРВИСА будет мало, мне кажется. Потому что клиенту нужен РЕЗУЛЬТАТ. Он не будет бегать и собирать базу урлов всех нужных ему сайтов. Он говорит тематику и хочет получить результат. Ссылка на пример в конце письма.

2. Я бы купил такой СЕРВЕРНЫЙ СКРИПТ. Задачи у меня такого рода есть.

3. Вы еще учтите, что в случае СЕРВЕРНОГО скрипта вы будете генерить огромное количество ВХОДЯЩЕГО трафика. И тут большинство хостеров вас пошлют подальше. Вы готовы оплачивать колокейшн? Но ведь и там нужно оплачивать трафик или соблюдать соотношение входящего и исходящего трафика, что в данном случае малореально...
Кстати, на большинстве хостингов поисковые спайдеры запрещены в принципе, а ваш скрипт это тот же спайдер.

4. Ссылки по теме:
http://www.aks-discovery.com/monitoring.htm
http://www.aks-discovery.com/price.htm

[rw31]

Сколько стоит Ваша программа?
Мне нужно, чтобы посетитель, зайдя на мой сайт, мог в реальном времени производить поиск на каком-то количестве ДО. Т.е. что-то типа мини-Яндекса.
Хочу прикинуть, что дешевле-загрузить своего программиста или заказать на стороне.

Поисковик поставить-то можно. Тот же mnogosearch, если не ошибаюсь, позволяет задать список сайтов для поиска. Но ведь он выдает, как и любой поисковик, СТРАНИЦЫ, а Вам, если я правильно понимаю, нужна СТРУКТУРИРОВАННАЯ информация. Это уже надо не поисковик...

Но для mnogosearch опять же требуется свой сервер...

[Milif]

Спасибо за ссылки. Открыть не могу – сервер молчит. О чем там речь?
[quote name='rw31']1. Клиентов у СЕРВИСА будет мало, мне кажется. Потому что клиенту нужен РЕЗУЛЬТАТ...[/quote]
Поисковик, это другое.. Стоит ли дополнять сервис поисковиком? Я всё таки склоняюсь к мнению paranoya, думаю, пользователями такого сервиса, будут люди, которые понимают где их информация, в каком виде она им нужна и что они с ней будут делать. Результат для клиента - поток структурированной информации с интересных ему сайтов, и обмен информацией между ними. Много ли будет таких клиентов - незнаю. Если удастся собрать здесь несколько человек кому это нужно, считаю, что сервис востребован.
[quote name='rw31']Вы еще учтите, что в случае СЕРВЕРНОГО скрипта вы будете генерить огромное количество ВХОДЯЩЕГО трафика.[/quote]
Разумеется. Сервис платный и эти расходы ложатся на клиента. Кстати изначально, оплату работы сервиса я планировал привязать к трафику – (входящий трафик от сайтов клиента) х (себестоимоть этого трафика) х (повышающий коэф. ~ 1,3)

[rw31]

Речь там о том, что Вы хотели Мониторинг изменений на сайтах.

Вот еще: www.webscan.ru

Цены есть и там, и там.

[Vl@dimir]

[quote name='Milif']Спасибо за ссылки. Открыть не могу – сервер молчит. О чем там речь?
[quote name='rw31']1. Клиентов у СЕРВИСА будет мало, мне кажется. Потому что клиенту нужен РЕЗУЛЬТАТ...[/quote]
Поисковик, это другое.. Стоит ли дополнять сервис поисковиком? Я всё таки склоняюсь к мнению paranoya, думаю, пользователями такого сервиса, будут люди, которые понимают где их информация, в каком виде она им нужна и что они с ней будут делать. Результат для клиента - поток структурированной информации с интересных ему сайтов, и обмен информацией между ними. Много ли будет таких клиентов - незнаю. Если удастся собрать здесь несколько человек кому это нужно, считаю, что сервис востребован.
[quote name='rw31']Вы еще учтите, что в случае СЕРВЕРНОГО скрипта вы будете генерить огромное количество ВХОДЯЩЕГО трафика.[/quote]
Разумеется. Сервис платный и эти расходы ложатся на клиента. Кстати изначально, оплату работы сервиса я планировал привязать к трафику – (входящий трафик от сайтов клиента) х (себестоимоть этого трафика) х (повышающий коэф. ~ 1,3)[/quote]
Значит: делается база, огромная база... но для начала она будет маленькая потом по-ходу будет заполняться... структурируется по адресам, телефонам, наименованиям фирм, сайтов, тип занятия, etc. Собираешь инфу ты, либо команда специально обученных людей. Обработка инфы - ты, либо опять же команда программеров. Пример: к тебе обращаются за информацией "мебельные магазины", результат: телефоны, адреса, сайты, etc...
P.S. это самый распространнённый В2В, коим занимаются многие оффшорные предприятия. Одному это не поднять, нужна группа образованных программеров + человек (спонсор, заказчик), желательно за бугром.

[Milif]

Значит: делается база, огромная база... но для начала она будет маленькая потом по-ходу будет заполняться... структурируется по адресам, телефонам, наименованиям фирм, сайтов, тип занятия, etc. Собираешь инфу ты, либо команда специально обученных людей. Обработка инфы - ты, либо опять же команда программеров. Пример: к тебе обращаются за информацией "мебельные магазины", результат: телефоны, адреса, сайты, etc...
P.S. это самый распространнённый В2В, коим занимаются многие оффшорные предприятия. Одному это не поднять, нужна группа образованных программеров + человек (спонсор, заказчик), желательно за бугром.

Ну это не совсем то… Создание и распродажа базы не цель сервиса.

Правильно rw31 говорит - Мониторинг изменений на сайтах и обмен инфой между ними – вот основная задача сервиса

[Milif]

Пример мониторинга: сканирование сайтов на предмет изменений прайсов

[Lucky]

Ну это не совсем то… Создание и распродажа базы не цель сервиса.

Правильно rw31 говорит - Мониторинг изменений на сайтах и обмен инфой между ними – вот основная задача сервиса

Если это так, то незачем изобретать велосипед. Как я уже писал SOAP, XML-RPC - вот и все что надо. Проще ничего не может быть. Будет рулить на ВСЕХ сайтах, где база - MySQL или MsSQL (а это фактически все сайты). Тема эта оччень молодая перспективная (рано или поздно все сайты все равно будут связываться в единую инфраструктуру). Как продавать данный сервис, вот в чем вопрос? Кому это и надо, данный сервис просто закажут, это достаточно просто. Разработчику нужно знать HTML, SQL, PHP. Все. Работы намного даже по времени.

[Lucky]

Пример мониторинга: сканирование сайтов на предмет изменений прайсов

Крайне неудачный пример. Прайсы народ как правило глядит из архивов, весь прайс в базе владелец сайта вряд ли хранит.
Мой пример: на Вашем сайте скажем нужны обновления каких-то конкретных новостей по конкретной тематике, которые Вы сами получаете с других сайтов (скажем лента ру). Данный сервис - решение Вашей проблемы.

[rw31]

Сделайте сначала, потом посмотрим... На словах у Вас очень красиво получается.

Конкретная задача: нужно мониторить изменения в прайсах на жестко заданном списке сайтов. Причем прайсы в различных форматах - html, doc, xls, rar,zip.

Назовите сроки и свою цену?

Покажите мне работающий прототип, для работы с которым не нужен специалист по PHP и прочему (имеется ввиду для добавления новых сайтов).

[Milif]

Проще ничего не может быть. Будет рулить на ВСЕХ сайтах, где база - MySQL или MsSQL (а это фактически все сайты).

А если владелец сайта в свою базу не пускает, как тогда быть??

[Lucky]

[quote name='Milif'][quote name='Lucky ']Проще ничего не может быть. Будет рулить на ВСЕХ сайтах, где база - MySQL или MsSQL (а это фактически все сайты).[/quote]

А если владелец сайта в свою базу не пускает, как тогда быть?? [/quote]
ГЫ. В том и фишка, что в этом сервисе должны быть заинтересованы как владелец клиента, так и владелец сервера (на котором располагается необходимый контент). А он будет заинтересован. Нужно разговаривать с суппортом. Еще раз говорю, что рано или поздно (но в этом десятилетии) сайты будут объединятся в единую инфраструктуру, и именно по тому принципу что я сказал (SOAP). Как сейчас любой сайт содержит форум, так в будущем на каждом сайте будет этот сервис. Вобщем могу кинуть тебе инфу на мыло.
Что же касается мониторига изменений прайсов, то непонятно что Вы под этим подразумеваете? Рассматриваем архивы и объекты данных (zip, rar, doc, xls, mdb). То есть, если прайс изменился, то мы его качаем? По моему это любая качалка делает (например Gozilla). Или же вам нужно выловить что именно изменилось и получить это? Это вообще не реально.
Рассматриваем html. Варианта два. Или вас устраивает как эта информация представлена на том сайте откуда вы ее дергаете, и в таком случае вы просто отображаете ее у себя на сайте точно в таком же виде. Или она вас не устраивает и тогда нужно разговаривать с техподдержкой данного сайта по поводу предоставления данного сервиса.

[rw31]

Владелец:
1. НЕ заинтересован в том, чтобы рассылать свои новости ВСЕМ подряд. Обновил на сайте инфу и радуйтесь. Вы же не яндекс, чтобы для Вас стараться.
2. НЕ будет выкладывать нужную НАМ информацию в нужном НАМ формате.

К тому же Вы не сможете договориться с 3000 админами сайтов. А они еще и часто меняются...

Обновление текстовой части отследить можно, например, программой WebsiteWatcher. А представьте, что туда занесено 3000 сайтов? Трафик+ручной работы огромное количество.

Кто там куда объединится - это еще неизвестно. А бизнес надо вести сейчас. Поэтому я и сформулировал предельно конкретную задачу. И от ответа Вы, Lucky, ушли.

Про качалку и так понятно. Вопрос именно в получении результатов сравнения изменений в прайсах. Задача РЕАЛЬНАЯ, но сложная. Поэтому мне и не понравилось то, что Вы безаппеляционно говорите - ЛЕГКО.

Напоминаю. Речь идет о мониторинге множества сайтов в поисках новой информации. В простейшем случае это как раз html. Но суть не в том, чтобы тупо ее скопировать на свой сайт. Нужно получить ее в удобном для обработки виде. Если это статья - получить урл, автора, описание и текст статьи. Если программа - урл, линк, автора, описание проги. И так далее... Так что задача совсем не тривальная, как Вам кажется.

[Milif]

25: Lucky

Рассматриваем html. Варианта два. Или вас устраивает как эта информация представлена на том сайте откуда вы ее дергаете, и в таком случае вы просто отображаете ее у себя на сайте точно в таком же виде. Или она вас не устраивает и тогда нужно разговаривать с техподдержкой данного сайта по поводу предоставления данного сервиса.

Еще есть третий вариант – когда вам надоест разговаривать с суппортом сайта, или когда он пошлет вас подальше, то можете обратиться к услугам предлагаемого мною сервиса: соберем всю интересующую вас информацию, аккуратно упакуем в понравившийся вам формат и преподнесем на блюдечке с золотой каемочкой.
Неужели так сложно понять о чем идет речь?? :

[Lucky]

[quote name='rw31']Владелец:
1. НЕ заинтересован в том, чтобы рассылать свои новости ВСЕМ подряд. Обновил на сайте инфу и радуйтесь. Вы же не яндекс,
чтобы для Вас стараться.[/quote]

Отчего же? Если Вас интересуют его цены, стало быть Вы - потенциальный покупатель (потребитель, дилер, етс). В его интересах, что бы вы оперативно получали интересующую вас информацию.
[quote name='rw31']2. НЕ будет выкладывать нужную НАМ информацию в нужном НАМ формате.[/quote]
На сайте - нет. А повесить у себя ваш же сервис, который будет работать не только на вас, но и на него - запросто. Вы попробуйте поинтересуйтесь.

[quote name='rw31']К тому же Вы не сможете договориться с 3000 админами сайтов. А они еще и часто меняются...[/quote]
Договориться нужно один раз. Админ приходит и уходит. Сервер с базой остается пока существует контора.

[quote name='rw31']Кто там куда объединится - это еще неизвестно. А бизнес надо вести сейчас. Поэтому я и сформулировал предельно конкретную задачу. И от ответа Вы, Lucky, ушли.[/quote]
Если бы Вы сформулировали ПРЕДЕЛЬНО конкретную задачу, Вам бы не пришлось расписывать сейчас про 3000 сайтов, а то вон ведь вы дальше что пишете...

[quote name='rw31']...вопрос именно в получении результатов сравнения изменений в прайсах. Задача РЕАЛЬНАЯ, но сложная. Поэтому мне и не понравилось то, что Вы безаппеляционно говорите - ЛЕГКО.
Напоминаю. Речь идет о мониторинге множества сайтов в поисках новой информации. В простейшем случае это как раз html. Но суть не в том, чтобы тупо ее скопировать на свой сайт. Нужно получить ее в удобном для обработки виде. Если это статья - получить урл, автора, описание и текст статьи. Если программа - урл, линк, автора, описание проги. И так далее... Так что задача совсем не тривальная, как Вам кажется.[/quote]

Могу я узнать о каком ресурсе идет речь?

[Lucky]

[quote name='Milif']25: Lucky
[quote]Рассматриваем html. Варианта два. Или вас устраивает как эта информация представлена на том сайте откуда вы ее дергаете, и в таком случае вы просто отображаете ее у себя на сайте точно в таком же виде. Или она вас не устраивает и тогда нужно разговаривать с техподдержкой данного сайта по поводу предоставления данного сервиса.[/quote]

Еще есть третий вариант – когда вам надоест разговаривать с суппортом сайта, или когда он пошлет вас подальше, то можете обратиться к услугам предлагаемого мною сервиса: соберем всю интересующую вас информацию, аккуратно упакуем в понравившийся вам формат и преподнесем на блюдечке с золотой каемочкой.
Неужели так сложно понять о чем идет речь?? : [/quote]

Крайне интересно. О программной реализации Вы конечно ничего не скажете?