Вывод – надо делать свою базу проходя ее в ручном режиме. Я, конечно, трезво оцениваю свои силы и понимаю что в одиночку создать приличную базу нереально, надо привлекать помощников. Но для этого надо иметь какую то основную базу над которой уже можно работать. Вот такую базу, назовем ее alfa, я и создал.

Итак, как я ее собирал. Первым делом поскачивал с сети ВСЕ общедоступные бесплатные базы, затем просмотрел их и разбил по степени полезности и сортированности. После этого начал по одной добавлять в программу исключая дубликаты. Получилось порядка 140 000 сайтов. После этого я их проверил на отклик сервера и название сайта. С плохим откликом и вирусами убирал в черный список (65 000). Следующий этап сортировка. Сортировал по названию, url, строке успешной регистрации создавая категории – каталоги (16 000), каталоги статей (3 000), иностранные (2 500), мусор (17 000), несортированное (2500), доски объявлений (6 000), полуавтомат(16 000) и рассылки (4500), куда вошли гостевые книги, форумы, блоги, RSS, добавление новостей и комментариев (в скобках итоговое количество). После чего запустил тестовый говносайт, со всеми возможными категориями, на прогон по каталогам и получил 1200 успешных. Остальные вылетали, большей частью, с ошибкой “нет распознанной формы”. С помощью эталонных форм я просеял эти неудачные, мусор и полуавтомат. Определило около 8000 из которых половина сразу идет в успешные, а со второй половинай надо еще покопаться. Ну а с остальными надо уже разбираться только вручную.

Какие планы на ближайшее будущее. Разобраться с автокаталогами, автодосками и автокаталогами статей. Из иностранных и полуавтомата оставить только сайты с высокими показателями. Каталоги статей рассортировать на автоматические и тематические, доски объявлений на автоматические, тематические и региональные. Из успешных сделать beta версию 1.0. После чего заняться разбором остального, по мере поступления выпуская обновления для этой базы. Для этого и нужны добровольцы. Приглашаю всех желающих принять участие в проекте. Все что нуждается в сортировке я разбил на куски, примерно по 1000 сайтов которые надо пройти в режиме полуавтомата и рассортировать, согласно структуре базы. Понятное дело, что все участники проекта не только получат эту базу, но и будут получать все обновления к ней. У вас есть возможность потратив немного своего времени получить не только мой, более чем 2-х месячный труд, но и результат работы многих людей! Каждая база будет передаваться с вшитым в нее персональным шифром. Пользователь который ее выложит в сети будет лишен всех привилегий. Прошу отнестись к этой мере с пониманием, но если база попадет в свободный доступ, то вся работа над ней прекратиться, зачем что то делать когда можно скачать бесплатно?
Заявки присылайте на адрес flobase@yandex.ru
Любителей халявы предупреждаю сразу, результаты буду проверять!

Какие планы на дальнейшее будущее. После того как все вышеперечисленное будет разобрано, выпустить финальную версию, которую потом только чистить и добавлять. Это тоже планируется делать в виде открытого проекта (ведь не зря Firefox потихоньку обгоняет IE:). В идеале, хотелось бы получить самую полную РАБОТОСПОСОБНУЮ базу для Allsubmitter 4.7. Поскольку я, лично, не пользуюсь тем что находится в папке рассылки, то и развивать ее не планирую, но если будет спрос, то почему бы и нет? По мере развития проекта, я планирую создать сайт базы, где будут выкладываться информация по базе, проводиться обсуждения, опросы и.т.д.
P.S.
Проект уже запущен, уже есть первые результаты, но для завершения работ нужны еще люди. Присоеденяйтесь!