• Уважаемый Гость! Так как вы ещё пока не являетесь нашим пользователем, большая часть форума для вас недоступна.
    Войти ⬅ или ➡ Зарегистрироваться

Баг или новая защита Google?

Ritozen

Администрация
Сообщения
1,390
Лучшие ответы
3
Реакции
2,503
ОРА
324.6
TR
174
Товарищ @Тор из битеров подкинул мне очередную интересную задачку (баг), которую в свою очередь изначально подкинул товарищ @sirjay где-то тут.

Суть:
Сими не кликает на половину ключевых слов (а их больше сотни) на целевой сайт из поисковой выдачи Google. Тестировал на общих и приватных прокси airsocks на 3-х сайтах - на всех такой баг. Для примера возьмем конкурента **********.ru

Как же так? Шаблон либо обрабатывает ключи, либо нет, а тут говорят, что-то обрабатывается, а что-то нет. Так не бывает. И тут началось… :ROFLMAO:

Заходим, смотрим первый же рандомный запрос. Сими пропускает конкретный целевой сайт… Что за …? Гугл сменил вёрстку? Добавил защиту?

Проверяем другой сайт. Сими находит его и кликает. Хм… Проверяем другие сайты… :unsure:

Итог: 9/10 успешно. Проверяем ещё раз. 9/10 успешно. Заговор?

Сравниваем сайты, находим отличия, вносим изменения в код. Проверяем. Работает 10/10. Победа?

Перезапускаем. Опять не работает. Только теперь не работает ни один из сайтов по другому ключу :eek:

Смотрим код, проверяем пути, тестим в пользовательском браузере – всё корректно, всё должно работать. Проверяем. Не работает. Хм… Засада.

Откатываем шаблон. Проверяем. Не работает. Ничего не работает! Ни один из сайтов… Невозможно! :eek:

Ложимся спать. Просыпаемся, проверяем старую версию – работает 9/10. Повторяем. Опять ничего не работает:ROFLMAO: Просто на ровном месте, ничего не работает с теми же запросами.

Закрываем программу, наливаем напиток, думаем. В голову ничего не приходит. Запускаем старую версию по новой. Работает 9/10. Кто-то явно издевается надо мной :unsure:

Ничего не понятно. Делаю слепок системы.
Фишка в том, что проверки были на разных проксях (+ без них), на разных ОС, с разными браузерами и даже в разных программах. Закономерности не было.
Вношу правки для работы оставшихся 1/10. Проверяю. 10/10 запусков 10/10 сайтов работает. Хм… Какая-то подстава не иначе. Шаблон то прекрасно работает, то возникает проблема. Не всегда, но она есть.

Слепки и первые выводы

Тащу слепки успешных систем, запускаю. 10/10. Повторяю. 10/10. Ещё пару раз. 10/10 :sneaky:

Врубаю свежегены. На 3-м выполнении снова баг. Подряд 2 раза. Запускаю слепки. 10 запусков, 10/10 :unsure:

Одно понятно, на профигенах, которые были сохранены при успешном выполнении сценария, проблемы нет. Что это значит? Это значит, работу порет какая-то система безопасности Google. Походу та самая невидимая рекапча. А может, и нет.

Разбираться что, где и как нет времени, поэтому даём установку Скайнету. Пусть поработает за Батю :sneaky:

Команда №1: запустить Сими и выполнить 100 переходов из выдачи Google по разным ключевым словам на первые 10 сайтов из выдачи.​
Команда №2: сохранить результаты работы, логи, код страниц (включая DOM), выгрузить все удалённые скрипты.​
Команда №3: произвести анализ отличий кода страниц и внешних скриптов при успешном и провальном выполнении шаблона. Отсеять мусорные идентификаторы и повторить. Произвести заключительное сравнение и предоставить отчёт.​

Спустя три часа, подошла очередь первой команды. Дальше я пошёл спать. Проснулся, а Скайнет уже завершил работу и предоставил мне отчёт :D

Отчёт Скайнета

Скрытое содержимое. Вам нужно войти или зарегистрироваться.

«Стоп! Но ведь ты сказал, что вся подсеть уходит в аут?! Как ты проверял?» Верно, но на уровне разработчика можно обойти даже такую проблему. Плюс подсеть уходит в аут, а не все ip провайдера ;)

Решаем проблему

Скрытое содержимое. Вам нужно войти или зарегистрироваться.
Были сделаны и другие фундаментальные выводы исходя из полученных результатов, но пока рано о чём-то говорить.

Но вернёмся к промежуточному варианту, когда ip ещё работают, а дискредитированные профигены уже стабильно натыкаются на эту защиту.

Если вручную пройти «тест», то дискредитация аннулируется и при следующем заходе в выдачу, она уже ничем не отличается от традиционной. А вот это уже хорошие новости!

Намёк Google я понял, правки в шаблон внёс, теперь Сими проходит эту защиту на самом первом этапе и профигены не дискредитируются. Ачивка взята. Качаем версию 4.11.80 ;)

Про Google

Google тот ещё проказник и регулярно вводит всё новые и новые изменения в выдачу и алгоритмы ранжирования. Всё новые камни и новые победы. Конкретно эта напасть решена, но…
Скрытое содержимое. Вам нужно войти или зарегистрироваться.

Последнее слово

Скоро выйдет Сими 4.12.0 (смотрим на счётчик обратного отсчёта), там будет много всяких ништяков :D

На неделе будет набрана группа тестеров «Сими Evo» и создана коллективная переписка на форуме. Разработка не моя, поэтому балом рулить буду тоже не я, но передовики свою копию должны получить.

На следующей неделе, уже другой группе тестеров я выдам другой свой продукт на тест (тоже Сими, но не такой :sneaky:).

Завтра-послезавтра в коллекцию симивода добавится новый весьма полезный шаблон, который будет доступен в клиентских раздачах.

Ну и вечно откладываемый Симботнет - я всё ещё лелею "цель" запустить первый гарнизон в сентябре :)

Ну, пока всё.
 

Анх

Терминус
Сообщения
27
Лучшие ответы
0
Реакции
36
ОРА
6.3
TR
0
Тоже замечал эту шляпу, но сложить всю цепочку не получалось. Спасибо, будем юзать (y)
 

qweeeraz

Симбаводы
Сообщения
164
Лучшие ответы
0
Реакции
148
ОРА
21.4
TR
0
Автор, просто голова... Светлая голова(y)
 

Мейстер

Терминус
Сообщения
14
Лучшие ответы
0
Реакции
19
ОРА
227.5
TR
0
Опять битеры. Всюду битеры. Куда не плюнь, везде попадёшь в битера :ROFLMAO::ROFLMAO::ROFLMAO: Evo получается будут тоже битеры раздавать?
 

Тор

Битер
Сообщения
31
Лучшие ответы
0
Реакции
41
ОРА
7.5
TR
0
Ну заслуга не моя, а @sirjay, это у него проблема проявилась и он предоставил необходимые данные для тестов :)
 

AndrewPF

Симбаводы
Сообщения
367
Лучшие ответы
0
Реакции
396
ОРА
259.1
TR
0
Сколько нового узнаешь о антифрогах гугла...У белого сеошника волосы дыбом встают
 

sleah

Симивод
Сообщения
29
Лучшие ответы
0
Реакции
13
ОРА
0.1
TR
0
Спасибо за обновление и за чёткую работу!
 
Сверху