• Добро пожаловать на форум симиводов и ботмейкеров!
    Если у тебя ещё нет Сими, то ты можешь приобрести его здесь.

Выбираем сервер для Сими

Ritozen

Администрация
Сообщения
648
Симпатии
1,066
Баллы
102
#1
Пришло время разложить по полочкам ответ на такой важный вопрос «какой выбрать сервер для Сими?». Материал большой, но подлежит он не только внимательному изучению, а ещё обдумыванию и практике.

Начнём с того, что обратим внимание на
У Вас недостаточно прав для просмотра ссылок. Войдите или зарегистрируйтесь.
из Зеннолаба по системным требованиям для программы ZennoPoster, на которой «Сими» и работает.

1. Системные требования для ZennoPoster

Минимальные требования:
Процессор: Intel или AMD не меньше 1.5 Ггц
RAM: не меньше 1024 Мб
Операционная система: Windows 7 и более поздние версии
Браузер: любой
.Net Framework 2.0, 3.5 и 4.5+
Visual C++ redistributable 2008, 2010, 2013, 2015 x86 или x64 в зависимости от битности операционной системы.
Права администратора для установки и запуска программы
Ориентироваться на эти требования бессмысленно, так как этого будет достаточно разве что на запуск программы ZennoPoster и ознакомление с её интерфейсом (+/-).

Рекомендуемые требования:
Процессор: Многоядерный процессор Intel или AMD
RAM: 16 Гб
Операционная система: Windows 7 64-бит и более поздние версии
Браузер: Mozilla Firefox
.Net Framework не ниже 4.6.2
Visual C++ redistributable 2008, 2010, 2013, 2015 x64.
Direct X 9+
Права администратора для установки и запуска программы
А вот это уже более серьёзная машина, которая подойдёт и для работы с любым шаблоном (в т.ч. «Сими») и для разработки своих собственных проектов (шаблонов).

А какие же системные требования для ZennoBox?

На самом деле они ничем не отличаются от требований для ZennoPoster, за исключением того, что ZennoBox можно разогнать лишь до 20-и потоков, а значит, у него есть предел, который нужно учитывать и не переплачивать за более мощное железо (сервер).

2. Системные требования для «Сими»

Как мы все знаем, «Сими» это не простой шаблон, а целый комбайн различных инструментов и в первую очередь эмулятор пользователя. В связи с этим, и машина ему нужна соответствующая для реализации всех своих функций.

Тем не менее, как таковых системных требований определёно не было (у всех симиводов задачи и условия разные), так как всё зависит от таких факторов как:
  • типа машины;
  • используемых прокси-серверов;
  • интернет соединения;
  • базы профилей;
  • вводной информации;
  • настроек шаблона;
  • сайтов, с которыми будет работать шаблон;
  • объёмов трафика.
Тип машины:
  • Персональный компьютер;
  • Ноутбук;
  • VDS;
  • Выделенный сервер;
Конечно же, зависит от мощности, но ноутбук и vds считаются не самым лучшим вариантом для работы «Сими», а ПК и, конечно же, выделенный сервер напротив. Хотя ПК тоже тот ещё вариант…

Совет: лучше вынести «Сими» на удалённую машину (vds, выделенный сервер).

Прокси-сервера:
Обычно серверные прокси быстрее и стабильнее мобильных аналогов, и в тоже время последние обеспечивают более высокий уровень анонимности и эмуляции пользователя. Подробнее в статье «Какие proxy выбрать для Сими».

И да, чем ниже стабильность проксей, тем выше нагрузка на железо…

Интернет соединение:
  • Выделенная линия;
  • 3g/4g модем;
  • 3g/4g модем + прокси;
Лишь первый вариант способен обеспечить достаточную скорость и ширину канала для нормальной работы «Сими», хотя если речь идёт о совсем скромных объёмах трафика, то вполне может хватить и модема.

Использовать связку «модем + прокси» вообще считаю безумием, но, к сожалению, есть и такие индивиды…

Базы профилей:

На лексиконе симиводов это профигены, и чем более они раскачены, тем больше они весят и тем больше потребляют ресурсов (в частности RAM).

В тоже время прокаченные профигены являются более естественными для систем идентификации пользователей и позволяют скрасить некоторые недостатки мобильных проксей.

Вводная информация:

Чем больше вы пропишите данных в конфигурационные файлы (ключи, прокси, сайты и тд.), тем больше будет расходоваться оперативной памяти и мощностей процессора для их обработки.

Оптимальное количество данных подбирается индивидуально экспериментальным путём.

Настройки шаблона:

Логично, что исходя из своих настроек, шаблон будет потреблять разное количество ресурсов сервера.
  • Время – чем дольше шаблон выполняет сценарий, тем больше будет потребление всех типов ресурсов и особенно оперативной памяти;
  • Количество страниц – чем больше количество страниц нужно будет посетить боту, тем выше будет потребление ресурсов. Сюда относятся все опции связанные со страницами;
  • Реальные переходы – потребляет больше ресурсов, чем простая эмуляция перехода, так как бот посещает минимум 2 страницы (источник и целевой сайт);
  • Самообучение – шаблон не только будет адаптироваться к условиям той или иной страницы, но и искать решение для будущих подобных задач. По умолчанию отключено и к активации пока не рекомендуется;
  • Скроллинг и эмуляции мыши – повышение потребления ресурсов CPU;
  • Обработчики – потребление всех видов ресурсов;
  • Все остальные инструменты – каждый активированный инструмент/модуль будет расходовать дополнительные ресурсы (модуль времени, кликов и тд.)
Сайты, с которыми будет работать шаблон

Чем более сложные и продвинутые по технологиям сайты, чем больше размер страниц и их количество, тем выше будет потребление ресурсов.

К примеру, whoer.net достаточно прост для обработки и работы, в то время как habr.com может весьма надолго грузануть ваших ботов и соответственно сервер (особенно в многопоточном режиме).

Объёмы трафика

Ну и заключительный фактор, который влияет на потребление ресурсов сервера это объёмы необходимого трафика. Чем больше нужно трафика, тем больше нужно запустить потоков ZennoPoster, и тем мощнее нужен сервер.

Каждый поток требует дополнительные мощности со стороны процессора, и при их недостатке будет снижаться производительность всего процесса. В связи с этим, большее количество потоков не всегда даст больше трафика, чем меньшее… Есть точка максимальной эффективности, после которой будет спад производительности.

В завершение

В итоге, как вы уже могли понять, что в зависимости от тех или иных условий шаблон потребляет разное количество ресурсов сервера. (Спасибо Кэп!)

3. Разбор требований

При выборе сервера под «Сими» мы с вами будем обращать внимание на такие параметры как:
  • CPU (процессор);
  • RAM (оперативная память);
  • HDD/SSD (жёсткий диск);
  • Трафик;
  • Операционная система;
CPU (процессор)

Ключевой элемент сервера, отвечающий за скорость и стабильность выполнения операций. Именно он обычно является слабым звеном сервера при работе с «Сими».

Недостаток мощности будет приводить к всевозможным логическим и даже критическим ошибкам (даже на ровном месте), а также к повышенному потреблению RAM.

RAM (оперативная память)

Второй по важности элемент сервера, хранящий оперативные данные процессов и отвечающий за потенциал при работе Сими.

При небольшом количестве оперативной памяти не получится:
  • запустить большое количество потоков;
  • обеспечить достаточно ресурсов для больших проектов;
  • обеспечить достаточно ресурсов для работы с большим количеством страниц на сайтах в многопотоке;
  • и подстраховаться.
Недостаток мощности будет приводить к падению сервера.

HDD/SSD (жёсткий диск)

Третий по важности элемент сервера.
  • HDD – подходит для задач, в которых будет меньше 20-и потоков;
  • SSD – подходит для любых задач.
В обоих случаях, шаблон будет работать, но в первом случае в многопотоке будет проседать скорость операций и будут появляться нелогичные ошибки. Любые проседания, это повышение потребления мощности процессора и как следствие ещё больше потребности в RAM. Всё взаимосвязано.

Трафик

У вас в обязательном порядке должно быть высокоскоростное подключение к интернету с большим лимитом или даже безлимитным трафиком.

Сервера с безлимитным трафиком практически всегда стоят дороже. Реальных безлимитов практически не бывает, но всё же они есть (нужно уточнять в службе поддержки).

Операционная система

Подходит любая операционная система из списка поддерживаемых Зеннопостером (смотрим
У Вас недостаточно прав для просмотра ссылок. Войдите или зарегистрируйтесь.
).

Лично я тестировал шаблон на:
  • Windows 7;
  • Windows Server 2008 r2;
  • Windows server 2012;
4. Реальный сервер (мой вариант)

1. Моя конфигурация:
  • 2x Xeon E5620 / 32 Гб DDR3 ECC REG RAM / 120 ГБ SSD / 1 IPv4 / 1 IPv6 / до 1 Гбит/с (100 Mбит/с гарантировано) / Порты: 1 (1 Гбит/с)
2. Расшифрую:
  • CPU (процессор): Xeon E5620 (2 шт.) 2.4 Ггц 4 ядра/8 потоков (8 ядер/16 потоков);
  • RAM (оперативная память): 32 Гб
  • HDD/SDD (жёсткий диск): 120 Гб (SSD);
  • Трафик: безлимитный (100 Мбит/с);
  • ОС: Windows Server 2008 R2.
3. Дополню:

CPU

Как вы видите это двухпроцессорная система с 8-ю ядрами и 16-ю потоками, которая при всём при этом является далеко не топовым решением, и скорее универсальным средняком.

RAM

Это достаточно мощная система (по процессору), но даже она не позволяет полностью раскрыть потенциал оперативной памяти (32 Гб), поэтому для такой машины вполне было бы достаточно и 24 Гб (RAM).

Тем не менее, запасные 8 Гб оперативной памяти никогда не будут лишними на сими-ферме с круглосуточным многопотоком. Опять-таки исходя из настроек шаблона, может и 32 Гб (RAM) не хватить для работы. Поэтому запас RAM обязателен!

HDD/SDD

Потенциал мощности процессора и оперативной памяти достаточно высок, поэтому обычный жёсткий диск будет тормозить технологический процесс. Выбираем SSD диск и не паримся.

Трафик

Выбранного тарифа вполне хватит для любых операций. Интернет канал достаточно непросто загрузить даже с помощью Сими. Главное, чтобы трафик был действительно безлимитным. А он таков.

4. Потенциал сервера:

Интересно узнать, на что способен этот сервер? К сожалению, я уже давно тестировал его (месяца 4 назад), поэтому данные будут немного устаревшими.

С серверными проксями, такой сервер мне удалось разогнать до 70-и потоков с потенциалом трафика до 50000 уников в сутки. Тест проводился не на пределе в течение 30 часов.

Можно было ли разогнать до 80-и или даже до 90 потоков? Можно, но по факту это ничего не дало бы, так как процессор начал бы проседать и как следствие упала бы производительность.

А что с мобильными проксями?

Предельные тесты не проводились, так как 2-5 каналов из общего пула было бы мало для такой «компании» (они бы просто не выдержали).

Важно понимать, что общие каналы мобильных проксей минимум в 3 раза менее производительные, нежели используемые мной на тот момент серверные прокси.

Исходя из менее масштабных тестов, на мобильных проксях (в достаточном количестве) удастся развить потенциал в 15-20 тысяч уников в сутки. С приватными каналами примерно на 30-50% больше (исходя из настроек каналов). Данные усреднены.

5. Высчитываем мощность сервера

А теперь давайте высчитывать ориентировочные мощности вашего будущего сервера.

Этап 1. Первичные расчёты
Скрытое содержимое. Вам нужно войти или зарегистрироваться.
***Скрытое содержимое***

Этап 2. Подвохи
Скрытое содержимое. Вам нужно войти или зарегистрироваться.
***Скрытое содержимое***

Этап 3. Разбор подвохов
Скрытое содержимое. Вам нужно войти или зарегистрироваться.
***Скрытое содержимое***

Этап 4. А сервер?

Теперь вы знаете, что дают потоки (какую отдачу) и дальше исходя из возможностей вашей зенки и амбиций, можно выбирать сервер.

CPU

Выбрать процессор можно только индивидуальным экспериментальным путём, так как спектр задач выполняемых «Сими» настолько велик, что просто невозможно выделить среднее значение для выбора.

Тем не менее, у меня есть определённая гипотеза, которую я также приведу в этом материале (после очередного теста серверов).

RAM

С оперативной памятью всё проще, так как у меня есть средние значения для моего сервера и процессов. Их условно можно брать за исходные.
Скрытое содержимое. Вам нужно войти или зарегистрироваться.
***Скрытое содержимое***

Жёсткий диск (HDD/SSD)
Скрытое содержимое. Вам нужно войти или зарегистрироваться.
***Скрытое содержимое***

Этап 5. Разбор на примере моего сервера

Во-первых, почему в середине статьи я написал, что для моего сервера хватило бы 24 Гб RAM, если по моим расчётам видно, что для 70 потоков нужно 26 Гб RAM?
  • Потому что 70 потоков, это максимальный рубеж оптимального значения потоков (для моего сервера), на котором работать уже не безопасно в долгосрочной перспективе. Поэтому работаем с меньшим количеством потоков.
Во-вторых, у меня двухпроцессорная система, и при одном процессоре производительность упадёт в два раза. Таким образом, исходя из этого:
  • CPU «Xeon E5620» (2.4 Ггц 4 ядра/8 потоков) – даст ориентировочно 35 потоков в ZennoPoster и потребует минимум 12 Гб RAM (оптимально 16 Гб).
Я думаю, теперь вы поняли, какой по конфигурации сервер вам нужен под ваши требования…

Этап 6. А может лучше VDS?

Для новичка, который только разбирается в «Сими», или кому не нужны большие объёмы трафика определённо лучше взять vds. Но по соотношению «Цена/Эффективность» выделенный сервер на порядок выше vds.

Основная проблема vds в непредсказуемости использования ресурсов и само собой большая в них потребность.

К примеру, равноценным противопоставлением для моего сервера был бы такой vds (и то не факт):
  • 4x Xeon E5620 / 64 Гб DDR3 ECC REG RAM / 120 ГБ SSD / 1 IPv4 / 1 IPv6 / до 1 Гбит/с (100 Mбит/с гарантировано) / Порты: 1 (1 Гбит/с)
Это 4-х процессорная система, Карл! И не факт, что её хватило бы (если бы такой vds существовал вообще).

В тонкости вникать нет смысла, хотите качество, берите выделенный сервер. Если только вникаете в работу с «Сими», то берите vds.

6. Где серверы растут?

Список компаний предлагающие выделенные серверы у меня короткий и ограничивается всего одной компанией (
У Вас недостаточно прав для просмотра ссылок. Войдите или зарегистрируйтесь.
), с которой я работаю уже очень давно (не один год).

Чем хорош он:
  • Предлагает и выделенные серверы и vds;
  • Удобное место дислокации – Москва (бонус для региональных проксей);
  • Весьма лояльные расценки на все предложения;
  • Удобный конструктор выделенных серверов;
Нет смысла дальше распинаться о его качествах или недостатках, так как мне особо-то и сравнивать не с чем, или лучше сказать нет актуальных данных. Перейдём к предложениям.

Начну с самого неинтересного варианта, то есть с vds.

VDS (виртуальный сервер)

Супер бюджетный вариант:
budjet.jpg
  • Cuprum – очень слабый
  • Cuprum plus – слабый
  • Argentum – умерено слабый
Для каждого из вариантов я бы докупил 2 Гб RAM, чтобы хоть как-то сгладить бюджетность продукта.

Бюджетный и средний вариант:

budjet2.jpg
  • Argentum Plus – куда выгоднее взять Argentum + 2 Гб (RAM) + ядро (CPU). Экономия 100 руб.
  • Aurum – по аналогии с предыдущим пунктов, но теперь берём Argentum Plus. Экономия 100 руб.
  • Platinum – берём Aurum + 8 Гб (RAM) + 2 ядра (CPU). Экономия 600 руб.
  • Maximus – хотя тут уже используется более мощное железо, да и предел выше, но я бы всё равно взял Platinum +8 Гб (RAM) + 2 ядра (CPU). Экономия 2200 руб.
Наценки на SSD и целесообразность использования данного носителя смотрите уже сами.

От себя же добавлю, что вместо vds «Maximus» или даже «Platinum» можно взять куда более мощные (по эффективности) выделенные сервера за те же деньги.

Выделенный сервер

Самая слабая серверная железяка будет стоить всего 3000 рублей, и это будет такая конфигурация:
  • Xeon E5530 / 4 Гб DDR3 ECC REG RAM / 500 ГБ HDD / 1 IPv4 / 1 IPv6 / до 1 Гбит/с (100 Mбит/с гарантировано) / Порты: 1 (1 Гбит/с)
Фишка в том, что если вы себя хоть немного уважаете, то брать её вы не будете, так как в этой сборке слишком большая переплата, а мощности мало.

Более оптимальный вариант будет стоить всего 3500 рублей, то есть всего на 500 рублей дороже при минимальной переплате. И конфиг будет такой:
  • Xeon E5530 / 12 Гб DDR3 ECC REG RAM / 500 ГБ HDD / 1 IPv4 / 1 IPv6 / до 1 Гбит/с (100 Mбит/с гарантировано) / Порты: 1 (1 Гбит/с)
Оптимальный же вариант будет стоить 5550 рублей, и конфиг будет такой:
  • 2x Xeon E5530 / 24 Гб DDR3 ECC REG RAM / 120 ГБ SSD / 1 IPv4 / 1 IPv6 / до 1 Гбит/с (100 Mбит/с гарантировано) / Порты: 1 (1 Гбит/с)
В этом варианте нет переплаты, используется 2-х процессорная система с 24 Гб (RAM) и SSD диском.

Для справки мой сервак стоит 6250 руб./мес. У него такая конфигурация:
  • 2x Xeon E5620 / 32 Гб DDR3 ECC REG RAM / 120 ГБ SSD / 1 IPv4 / 1 IPv6 / до 1 Гбит/с (100 Mбит/с гарантировано) / Порты: 1 (1 Гбит/с)
В чём разница оптимального вариант и моего?

Мой вариант, благодаря запасу оперативной памяти (+8 Гб RAM) и немного более мощному процессору (CPU) более подходит для серьёзной работы в многопоточном режиме.

Можно ли взять более мощный сервер?

Ещё как! Даже мой сервер является бюджетным среди оптимальных вариантов.
  • Xeon E3-1230 v5 / 32 Гб DDR4 UDIMM ECC RAM / 120 ГБ SSD / 1 IPv4 / 1 IPv6 / до 1 Гбит/с (100 Mбит/с гарантировано) / Порты: 1 (1 Гбит/с)
Такой сервер будет стоить 7100 руб. (на 850 руб. дороже моего), но его мощности и стабильности должно хватить на то, чтобы полностью раскрыть потенциал оперативной памяти (RAM).

А это значит, что с ним можно будет взять больше 80 потоков, а если докупить оперативной памяти, то и того больше (но не намного).

Можно ли взять ещё более мощный сервер?

Конечно!
  • Xeon E5-2630 v3 / 48 Гб DDR4 ECC REG RAM / 120 ГБ SSD / 1 IPv4 / 1 IPv6 / до 1 Гбит/с (100 Mбит/с гарантировано) / Порты: 1 (1 Гбит/с)
Такой сервер будет стоить 11300 рублей. Можно и более мощный сервер взять за счёт оперативной памяти, но не думаю, что в этом будет какой-то резон.

В любом случае, определить истинный потенциал этой или любой другой машины можно только экспериментальным путём с разными задачами.

7. Подводим итоги выбора сервера

Не факт, что все мои данные достоверны и актуальны, особенно для вашей задачи в ваших руках. Фундаментальные данные и особенности работы с Сими я вам предоставил, а дальше всё в ваших руках. Если что-то не поняли, перечитайте :sneaky:

Единственное, что хотелось бы добавить, что два средних сервера в зеркальном режиме куда более надёжный и эффективный вариант, нежели 1 мощный сервер ;)

Пока всё. Надеюсь, вы не уснули :ROFLMAO:
 
Айхор Хостинг

Тор

Битер
Сообщения
25
Симпатии
35
Баллы
7
#2
Я это вечность читать буду :ROFLMAO:
 

Akio

Симивод
Сообщения
44
Симпатии
55
Баллы
22
#3
Люблю ШЕЛЕЗЯКИ! Собрал, настроил и в настоящее время на меня трудятся 3 майнинг фермы. Уже руки чешутся собрать собственный производительный сервак под нужды СИМИ. И тогда легионы СИМИ ботов будут тащить обозы добычи своему хозяину! :)
 

Baron

Симивод
Сообщения
27
Симпатии
17
Баллы
7
#6
У меня такое ощущение, что я до сих пор ничего не знаю про Сими... Теперь у меня вопросов стало ещё больше, чем прежде. Переварю инфу и спрошу
 

sirjay

Симивод
Сообщения
150
Симпатии
176
Баллы
52
#8
Спасибо за статью.
Кто-нибудь знает: я взял VDS'ку на ihor Intel Xeon E5-2680 v2 2.80 GHz, 8 процессоров, 10 Гб, Windows Server 2012 R2 -- при 10 потоках лагает комп просто жуть, хотя ЦП ~50% и память ~45% берет. Настройки Сими стандартные.
Как это возможно?
 

Багира

Симивод
Сообщения
11
Симпатии
11
Баллы
7
#9
вдсы, они такие влсы...

На каком потоке начинает лагать?
И как себя он чувствует вдс без запущенного Сими?
А вообще без постера?
Антивирус стоит?

хотя ЦП ~50% и память ~45% берет
Видно проц хороший, раз так мало 10 потоков на вдске съело
 
Сообщения
125
Симпатии
356
Баллы
48
#10
Статья улёт, но с некоторыми пунктами я в корне не согласна. К примеру, в запасе оперативки. Каждому из твоих серверных решений, я бы не задумываясь добавила по 4-8 Гб, а то и 12 Гб, потому что как ты и отметил задачи бывают разные.
 

sadmin

Симивод
Сообщения
191
Симпатии
128
Баллы
52
#11
направление понятно, а дальше тестируем и конфигурируем под свои задачи
 

Saint Sinner

Симивод
Сообщения
50
Симпатии
36
Баллы
23
#16
Внесу свой опыт по конфигу. В начале работы с сими (4.6+) сидел на стационаре, конфиг ай5 3550, 16 гигов памяти, ссд, инет г-пон, прокся серверные. Шаблон настраивался на самую простую накрутку ЯМ, с посещение 2-3 страниц, на каждой по 10-15 сек. Без особых тормозов крутил до 90 потоков, но с обязательным ребутом каждые 12 часов. Так что на практике можно на начальном этапе немного сэкономить, если конечно домашний комп позволит.
 

modeler

Симивод
Сообщения
84
Симпатии
61
Баллы
22
#17
Готов поделиться опытом, использую хетзнер серваки, не дорого и хорошие мощности. Так же заметил что при нагрузки процессора на 100% проект может работать без явно видимых проблем. Например если 15 потоков - это 80-100% загрузка ЦП, то 20 потоков это 98-100% и при этом шаблон чувствует себя хорошо. Однако понятно что в таком случае поднятие потоков до 25 принесёт замедленее в выполнениях за час с корреляционной погрешностью
 

Saint Sinner

Симивод
Сообщения
50
Симпатии
36
Баллы
23
#20
конечно, тут все ограничивается только твоим каналом и кол-вом накрутки, но для начала/ознакомления (но если машинка сильная, а требования накрутки небольшие, то можно и на постоянке крутить дома) подойдет. Я перешел на сервера только потому что живу за городом,и довольно часто перебои со светом.
 
Перелинковка тем
Ответы
38
Просмотры
30,573
Ответы
122
Просмотры
10,521
Сверху