Создание базы e-mail адресов

Немного про черные шапочки. События года эдак 2011-2012, но что-то вспомнилось.

В то время я только-только начинал экспериментировать с социальными сетями, и одновременно читал все подряд форумы на тему, от DigitalPoint до каких-то совсем уж black hat'ных. В определенный момент мне в руки попал чей-то "слитый" в паблик мануал со вполне себе стандартным для таких мануалов названием, "$500 дэйли на фб".
Суть схемы была довольно проста:

1. Регистрируем ряд фейковых аккаунтов.
2. Каждый аккаунт набиваем друзяшками (вроде бы это можно было сделать как-то автоматизировано, уже не помню).
3. Создаем группу-лендинг под какой-то товар.
4. Вступаем в эту группу своими фейковыми аккаунтами.
5. Приглашаем в эту же группу всех своих друзяшек, благо дело одного клика.
6. Итого у нас на руках группа, раскрученная буквально за несколько дней до вполне себе многотысячной аудитории, которая еще и постоянно растет чуть ли не экспоненциально, судя по словам автора мануала.
7. ???
8. Profit!

И на тот момент я всерьез хотел этим заняться. Даже в планах было пойти в переход покупать пак симок на левые данные (фб уже тогда требовал верификацию через мобильник). Но что-то передумал.

Спустя несколько месяцев обнаружил в фейсбуке для каждой созданной группы новый функционал - возможность приглашать людей по e-mail'ам. Если человек уже зарегистрирован в фб - ему придет уведомляшка в кабинет. Если не зарегистрирован, приглашение придет на почту. Ограничения на рассылку были вполне себе божеские для массовых приглашений, что-то вроде 0.5к адресов за раз с каким-то лимитом на количество итераций в сутки.

Т. е. теперь все становилось намного проще. Уже не надо вести фейковые аккаунты и набивать их друзьями, достаточно лишь обзавестись базой е-мейлов для рассылки.

И вот последнее оказалось проблемой. В паблике нормальных баз нет. Надо либо собирать самому, либо покупать. А стоят они каких-то заоблачных денег, что не вариант.

Как собирать самому? Из очевидных, есть два способа. Правильный, это создать лендинг по типу "бесплатная пдф за емейл", и пару месяцев поливать его тематичным трафиком. И способ обыкновенный - увод баз данных у сайтов с большим количеством зарегистрированных пользователей. Ни первое, ни второе мне не подходило.

Просто парсить гугл по маске "@gmail.com" тоже идея не самая лучшая. Сплошной мусор и никакой тематичности. Добавление ключей не решало проблему. Например, для запроса:

stand-up comedy "*@gmail.com"

почти все ящики - это либо контактные данные сайтов, либо контакты самих комиков и прочего мелкого бизнеса. А никак не обыкновенные пользователи, интересующиеся тематикой. Т. е. рассылка по этим адресам ничего бы не дала.

Для некоторых тематик иногда бывают исключения. Как пример, какая-нибудь крупная социалка с ярко выраженной тематикой, и где пользователям по тем или иным причинам свойственно указывать в профиле свой адрес. Такой запрос:

"*@gmail.com" site:deviantart.com

даст под миллион результатов. Но это разве что исключение из правил (хотя, скорее всего, таких исключений набрать при желании можно с десяток, а то и не один).

В общем, пребывал в раздумьях, где мне обзавестись базой адресов. И вдруг меня осенило. Людям же свойственно использовать один и тот же ник везде подряд. Что в гугле, что на тех же форумах и социалках. Итого, парсим ники, формируем из них адреса - и база готова. Тогда мне эта идея казалась чуть ли не гениальной.

Ок, пошел в твиттер, выбрал тематичный топовый аккаунт, спарсил ники фолловеров, преобразовал их в адреса вида nickname@gmail.com.

Далее встают две проблемы.

Первая - не факт, что этот почтовый ящик принадлежит этому же пользователю в твиттере, может просто так совпало. Но все же при таком раскладе процент тематичности будет сильно выше, чем при просто парсинге емейлов из всех источников подряд. Так что сойдет.

И вторая - понятное дело, что скорее всего значительная часть емейлов не валидна. Как потом оказалось, порядка 95%. Но пять процентов "рабочих" - тоже за глаза. Например, возьмем тематику "татуировки" (под нее, кстати, был очень хороший офер в КликБанке в свое время, может и сейчас есть, можно было генерировать эскизы, которые потом надо было распечатывать и идти с ними к татуировщику). Один из топовых аккаунтов в твиттере имеет под 2 миллиона подписчиков. 5% от 2кк - это 100к. Даже если с тематикой мы попадем только в каждом десятом адресе, 10к тоже вполне себе цифра.

Так, значит надо как-то научиться фильтровать полученный список емейлов из никнеймов на рабочие адреса. Что, оказывается, реально:
How to check if an email address exists without sending an email?
How to Verify if an Email Address Is Real or Fake

Но на тот момент я это "красноглазанье" не осилил. С локалхоста не получилось (25-ый порт заблочен провайдером), VPS на руках не было, как поднять шелл на моем тогдашнем шареде не знал, а затестить тот же PHP'шный exec(); почему-то не додумался. Сейчас, к слову, проверил способ из статеек выше на моем Линоде - работает как часы, ничего сложного.

Еще есть платные сервисы для массовой проверки мейлов, My Addr, например, со вполне себе божескими ценами. Но тогда денег не было. Впрочем, в этом плане за столько лет мало что изменилось. Ну да не суть.

В общем, махнул рукой на попытки проверять и отфильтровывать емейлы самому, и пошел "скармливать" фейсбуку те адреса, которые были на руках. Эффект был, но минимальный. На 10к отосланных емейлов только 500 дошли до адресатов (как я понял, 95% моих генерированных емейлов попросту были не валидными). Ну а из этих 500 стали подписчиками процентов 5%. С таким конвертом (25 подписчиков на 10к разосланных емейлов) делать явно было нечего. Повышать объемы было не вариантом, фб позволял делать рассылки по тысячам респондентов. По десяткам тысяч. Но явно не по сотням тысяч. Если бы я смог отсеивать нерабочие емейлы до добавления их в фейсбук, то все стало бы много веселее, конверт вырос раз в 20, что уже представляло бы интерес (0.5к привлеченных пользователей с одной 10к рассылки). Хотя это все, конечно, больше догадки, если бы да кабы. Так что за сим я эту тему для себя и закрыл.

Заниматься сейчас этим в планах не стоит и, уверен, что никогда и не будет. И так есть к чему руки приложить. Просто что-то вспомнилось.