Вывод – надо делать свою базу проходя ее в ручном режиме. Я, конечно, трезво оцениваю свои силы и понимаю что в одиночку создать приличную базу нереально, надо привлекать помощников. Но для этого надо иметь какую то основную базу над которой уже можно работать. Вот такую базу, назовем ее alfa, я и создал.

Итак, как я ее собирал. Первым делом поскачивал с сети ВСЕ общедоступные бесплатные базы, затем просмотрел их и разбил по степени полезности и сортированности. После этого начал по одной добавлять в программу исключая дубликаты. Получилось порядка 140 000 сайтов. После этого я их проверил на отклик сервера и название сайта. С плохим откликом и вирусами убирал в черный список (65 000). Следующий этап сортировка. Сортировал по названию, url, строке успешной регистрации создавая категории – каталоги (16 000), каталоги статей (3 000), иностранные (2 500), мусор (17 000), несортированное (2500), доски объявлений (6 000), полуавтомат(16 000) и рассылки (4500), куда вошли гостевые книги, форумы, блоги, RSS, добавление новостей и комментариев (в скобках итоговое количество). После чего запустил тестовый говносайт, со всеми возможными категориями, на прогон по каталогам и получил 1200 успешных. Остальные вылетали, большей частью, с ошибкой “нет распознанной формы”. С помощью эталонных форм я просеял эти неудачные, мусор и полуавтомат. Определило около 8000 из которых половина сразу идет в успешные, а со второй половинай надо еще покопаться. Ну а с остальными надо уже разбираться только вручную.

Какие планы на ближайшее будущее. Разобраться с автокаталогами, автодосками и автокаталогами статей. Из иностранных и полуавтомата оставить только сайты с высокими показателями. Каталоги статей рассортировать на автоматические и тематические, доски объявлений на автоматические, тематические и региональные. Из успешных сделать beta версию 1.0. После чего заняться разбором остального, по мере поступления выпуская обновления для этой базы. Для этого и нужны добровольцы. Приглашаю всех желающих принять участие в проекте. Все что нуждается в сортировке я разбил на куски, примерно по 1000 сайтов которые надо пройти в режиме полуавтомата и рассортировать, согласно структуре базы. Понятное дело, что все участники проекта не только получат эту базу, но и будут получать все обновления к ней. У вас есть возможность потратив немного своего времени получить не только мой, более чем 2-х месячный труд, но и результат работы многих людей! Каждая база будет передаваться с вшитым в нее персональным шифром. Пользователь который ее выложит в сети будет лишен всех привилегий. Прошу отнестись к этой мере с пониманием, но если база попадет в свободный доступ, то вся работа над ней прекратиться, зачем что то делать когда можно скачать бесплатно?
Заявки присылайте на адрес flobase@yandex.ru
Любителей халявы предупреждаю сразу, результаты буду проверять!

Какие планы на дальнейшее будущее. После того как все вышеперечисленное будет разобрано, выпустить финальную версию, которую потом только чистить и добавлять. Это тоже планируется делать в виде открытого проекта (ведь не зря Firefox потихоньку обгоняет IE:). В идеале, хотелось бы получить самую полную РАБОТОСПОСОБНУЮ базу для Allsubmitter 4.7. Поскольку я, лично, не пользуюсь тем что находится в папке рассылки, то и развивать ее не планирую, но если будет спрос, то почему бы и нет? По мере развития проекта, я планирую создать сайт базы, где будут выкладываться информация по базе, проводиться обсуждения, опросы и.т.д.
P.S.
Проект уже запущен, уже есть первые результаты, но для завершения работ нужны еще люди. Присоеденяйтесь!

декабря 6, 2009 at 11:04

Нашел хостинг, к которому можно нормально прикреплять домены ORG.UA – http://interhost.com.ua/
—————————————–
Спасибо за совет, действительно отличный хост, и главное без тормозов, и быстро работает