[Admin]

Уважаемые форумчане!

Рады сообщить Вам, что в рамках независимого портала fonarevka.ru открылся уникальнейший проект – DXReviews

DXReviews – является первой в мире полноценной поисковой интернет-системой по отзывам о товарах с DX-подобных магазинов и объединяет в себе практически всю информацию, существующую в Интернете, по мини-отзывам о товарах с DealExtreme, KaiDomain, FocalPrice, BuyInCoins, BestOfferBuy, LighTake, Shenzhen Wholesale, PandaWill, Shenzhen-Wholesale, TinyDeal и других аналогичных интернет-магазинов.

На сегодняшний день база DXReviews содержит в себе более 8482 ссылок на отзывы и обзоры, это число увеличивается с каждым днем.


Проект находится в состоянии доработки, так что приветствуются любые мысли и пожелания

[Virgo_Style]

Вообще начиналось все отсюда. Читал, отзывался... в один прекрасный день не смог найти отзыв, хотя точно помнил, что отзыв был. Стало грустно и обидно.

По гороскопу мне положено не верить в гороскопы и все систематизировать. Так оно примерно и есть.

Даже не помню точно, что было в начале. Точно помню, что ни о какой базе речь еще не шла, все хранилось в текстовом файлике. Кажется, тогда я еще сам вбивал ссылки, а уж программа генерила из них оглавление, которое я стал выкладывать там же на ганзе, у себя в "блоге".

Ганза глючила, в блоге что-то поломалось, да и ограничение на максимальный размер сообщения мешало - сделал "сайт" на народ.ру и научил программу заливать оглавление туда.

Со временем надоело вбивать ссылки руками - и программа научилась сканировать всю тему. Потом начался переезд на БД (firebird, мне к тому времени давно уже хотелось повозиться с БД, но задач таких не возникало). Добавились другие магазины.

Количество отзывов в базе росло, и для себя я сделал поисковик. Ну и задумался через некоторое время - а как бы мне его в интернет-то выставить?

Вопрос оказался очень непростым.

Изначально у меня и мысли не было об интернет-сервисе, поэтому и средства я выбирал без малейшей мысли об этом. В итоге имеем БД firebird и windows-приложение. Офигенно.
Прям бери и заливай на любой хостинг - везде будет работать одинаково успешно, то есть никак)
Так что на некоторое время я эту мысль забросил.

Некоторое время все это работало как дополнительный сервис к страничке на народе - через no-ip пользователь мог достучаться до программы на моем домашнем компьютере, которая отдавала ему нечто, внешне уже очень похожее на сегодняшний сайт.

И вот где-то тут на свою беду Админ неосторожно предложил мне перетащить все это на поддомен фонаревки :o)

Возни была туча - установка и настройка Firebird на сервере, провалившиеся попытки научить Windows-программу запускаться под Wine на сервере же, потом перенос необходимой части моего ПО с Delphi под Lazarus, допиливание уже Lazarus-проекта для нормальной работы под Linux...
Средства синхронизации локальной базы с рабочей, снижение нагрузки на сервер, ловля разнообразных багов...

Ну, в конце концов все это заработало - насколько мне известно, первая русскоязычная база отзывов и обзоров. А может и вообще первая.
Нет, сайты с обзорами и отзывами были и до того, конечно. Ганза, ru-sku, сама фонаревка, веломания, MySku... А вот поисковика по всему этому добру не было.
Технически ничего неподъемно сложного в этом не было, но чтобы систематически проверять чертову уйму отзывов - надо быть немножко долбанутым на голову. А таких мало -)

Потом попробовали не ограничиваться товарами с отзывами, а сделать поиск по товарам. Были проблемы с нагрузкой, но в конце концов все устаканилось.
Постепенно добавлялись все новые магазины, некоторые потом удалялись, вводились некоторые мелкие, но приятные фичи.

Ну и вот, собственно, так мы пришли к тому, что имеем на день сегодняшний.
Энтузиазм уже приугас, но и система вполне жизнеспособна без ежедневного подпиливания и подкручивания: вечером запустил сканирование-обновление-синхронизацию, утром вырубил.

Такие дела -)

[kruvas]

спасибо за историю, было интересно и знакомо местами )

 Сообщение от Virgo_Style :

Энтузиазм уже приугас

да, этобывает. и это грустно.
у меня обычно такое наступает, когда самому неинтересно (ну или намного меньше чем раньше) становится им пользоваться, да и создавать что то и улучшать нет желания - все и так устраивает. рутина она да, заедает почти насмерть.
но значит надо искать новые горизонты развития - что то, что кардинально изменит свойства продукта. как по мне - так освежить дизайн на какой нибудь бутстрап и привертеть какой нибудь современный поисковый движок по базе, если не прикручен. опять же раздел найденных новинок за выбранный период, вести статистику переходов - скажем товары которые накликали в магазин чаще всего за месяц, полгода, год - это показатель интересной цены, интересного товара.
это я все о сервисе в виде общего каталога кучи магазинов. использовать его по прямому назначению, как каталог обзоров мне не приходилось пока - то ли я такой, то ли с обзорами беда, то ли гугл с этим справляется сильно лучше.

а по поводу технологий - например интересен алгоритм работы паука. мне на ум приходит несколько вариантов. "тупой", он же настырный паук, который шпарит сплошь по всем ссылками магазина, находя заданный шаблон описания товара. еще можно научить его шаблону ссылок на товары, чтобы он либо перебрал все номера, либо обошел все категории и пролистал все странички каталога. или может это индивидуально?
опять же как осуществляется поиск по базе, почему он такой неспешный.
а еще я так и не понял - паук так и остался приложением для винды, на чем написан? парсер html какой то использовал, или все по старинке, ручками да регекспами?
может что еще вспомню из интересного )

[Admin]

 Сообщение от kruvas :

а по поводу технологий - например интересен алгоритм работы паука. мне на ум приходит несколько вариантов. "тупой", он же настырный паук, который шпарит сплошь по всем ссылками магазина, находя заданный шаблон описания товара. еще можно научить его шаблону ссылок на товары, чтобы он либо перебрал все номера, либо обошел все категории и пролистал все странички каталога. или может это индивидуально?
опять же как осуществляется поиск по базе, почему он такой неспешный.
а еще я так и не понял - паук так и остался приложением для винды, на чем написан? парсер html какой то использовал, или все по старинке, ручками да регекспами?

Я думаю, что это должно остаться тайной по причине того, что уже ранее при рождении обсуждаемой базы были попытки выяснения принципа работы "доброжелателями - конкурентами" и другие действия. Хотя, никаких ноу-хау нет.

[Virgo_Style]

 Сообщение от kruvas :

интересен алгоритм работы паука

Ну в общем так все и есть. При добавлении магазина по возможности используется перебор номеров, но это нечасто удается. Плюс рутинное сканирование - по всем ссылкам с проверкой, соответствует ли каждая ли ссылка шаблону товара. Плюс RSS, если есть.

Я в один прекрасный день написал нескольким магазинам, не хотят ли они мне дать список ссылок на товары - информация явно не секретная, их админу пять минут работы, а им кой-какая польза в виде переходов... Кто-то не понял, кто-то отказался, кто-то не ответил - списка не дал никто. Ну, не хотят - как хотят.

[kruvas]

 Сообщение от Admin :

Я думаю, что это должно остаться тайной

да ну, это же секрет полишинеля. я же не прошу выложить исходный код или поделиться структурой базы данных или чего то подобного, касающегося непосредственной технической реализации. не думаю что в том, что я спросил есть какой то технологический секрет или ноухау, которого нельзя найти в интернете. а про конкуренты это сильновато сказано ) чтобы бороться с конкурентами надо быть известным или хотеть быть им. dxreview найти еще сложнее чем фонаревку. буду рад ошибаться, но думаю что посетителей не с фонаревки там найдется меньше сотни в день. кстати тоже хотелось бы узнать про популярность dxreview и ее изменение со временем.
решать что рассказать а что нет - конечно автору - тут вопросов нет. на его усмотрение.

[Admin]

kruvas, полноценной раскруткой я не занимался.

[Admin]

 Сообщение от kruvas :

но думаю что посетителей не с фонаревки там найдется меньше сотни в день

На первом месте переходы с Яндекса
На втором с Форума Фонаревки
На третьем с самого mysku

[kruvas]

понятно. а в человеках (не посещениях) это сколько? за сотню хотя бы есть?
зы я не выпытываю "коммерческую" информацию, просто хочу убедиться в том что найти dxreview тяжело не только мне )

[Admin]

 Сообщение от kruvas :

а в человеках (не посещениях) это сколько? за сотню хотя бы есть?

чуть больше 100. Из этого числа +- несколько роботов.

[Admin]

 Сообщение от kruvas :

зы я не выпытываю "коммерческую" информацию, просто хочу убедиться в том что найти dxreview тяжело не только мне )

Ды какая тут коммерческая информация) Есть уйма сервисов, по которым можно увидеть статистику.

А насчет раскрутки, тут нужно время, банально время, не более того.

[kruvas]

http://dxreviews.fonarevka....
дубликаты ссылок на hke

[Virgo_Style]

Есть такая беда, и не только с HKE. А еще большая беда - это разные ссылки для одного и того же товара (напр. shop.com/electronics/cardreader-sku14.html и shop.com/pc-accessories/cardreader-sku14.html). Бороться с этим можно, но с довольно-таки переменным успехом

[kruvas]

http://dxreviews.fonarevka....
при поиске подсказки, состоящие из больше чем одного слова (7 inch) вставляются без кавычек в результате чего если хочешь исключить данный параметр, выходит не совсем то что надо
-7 inch
а надо
-"7 inch"
думаю и для позитивного варианта будет разница в результатах поиска