Новая информация о переезде сайта

UPD1: Переезд не стоит на месте, сейчас почти закончен перенос:
⇒ Пользователей;
⇒ Файлов;
⇒ Комментариев;
⇒ Cтатей;
⇒ Блогов;
⇒ Частично опыта.

P.S. Дизайн не является финальным, всё может измениться.
P.S.S. Судя по опросу (54.1%), многие хотят 2 дизайна: светлый и тёмный с возможностью переключения. Светлый будет, но не сразу.

 

       

 

---

Приветствуем вас, уважаемые пользователи нашего сайта!
 

---

 

Мы держим данное вам слово и сегодня приготовили порцию новой, полезной и довольно интересной информации, касающейся переезда всеми любимого ModGames.

 

Стоит сразу напомнить для тех, кто немного забыл, и просто для новых лиц на сайте, что несколько месяцев назад мы начали активный, если будет позволительно так выразиться, побег с текущего хостинга, UCOZ’а. Постоянные баги, неприятности и прочие события заставили нас понять, что вы и, конечно же, наш любимый сайт достойны чего-то более современного, удобного и функционального. Решением стал новый движок для сайта под названием IPS, а также собственный сервер. Таким образом, мы перестанем зависеть от кого-либо и начнём развиваться в том направлении, в котором бы нам хотелось, чтобы продолжить радовать вас.

После этого мы начали сбор средств на движок и железо. К нашему удивлению, требуемую сумму удалось собрать очень быстро. За что мы безмерно благодарны вам! Без вашей поддержки моральной и материальной ничего бы этого не произошло. Мы позаботимся о том, чтобы все наши спонсоры не были забыты! Как бы там ни было, но дальше дело оставалось за нами, и мы уже просто не могли подвести.
 

---

Более подробную информацию о том, как всё начиналось, вы можете найти здесь:

• Переезд сайта. Начало.
• Прогресс переезда сайта и сроки.

 

---

К текущему моменту, к моменту написания данной статьи, что-то мы уже смогли сделать, а что-то нам только предстоит, поэтому сейчас пришло время подвести промежуточные итоги нашей совместной работы. Посмотрим же на ситуацию в целом и более детально.

 

---

Для начала стоит рассказать вкратце про то, что сделано:

• Покупка лицензии на новый движок IPS для сайта.
• Покупка RAID контроллера.
• Разбор базы данных сайта с помощью специального скрипта.
• Сборка первого тестового сервера.

Теперь же то, что осталось сделать:

• Покупка 4-х дисков WD4002FYYZ ёмкостью в 4 ТБ фирмы Westen Digital.
• Адаптация разобранной базы данных сайта к новому движку.
• Тестирование нового сайта и железа.

---

На первый взгляд может показаться, что работы было выполнено довольно немного за такой, в общем-то, солидный промежуток времени, но это не совсем так. Работа не стояла и не будет стоять на месте, что не может не радовать, согласитесь. Но чтобы доказать это, мы предлагаем ознакомиться с ситуацией несколько подробнее. Начнём, пожалуй, с наиболее простой части - с железа для будущего сервера.

 

На данный момент собрана тестовая машина на базе материнской платы MSI Z270 TOMAHAWK ARCTIC - игровая материнская плата MSI под процессор Intel 7-го поколения Intel® Core™ / Pentium® / Celeron® для сокета LGA 1151 с поддержкой памяти DDR4-3800+(OC). В текущей конфигурации установлена планка объемом 8Гб. В дальнейшем будет увеличена до 16 и более. Операционная система Debian 9 (Linux) установлена на SSD. При проектировании будущей серверной машины большое внимание уделялось хранилищу данных, т.к. это одна из основных и самых важных составляющих. На базе гибридного RAID контроллера начального уровня Adaptec ASR-8805e фирмы Microsemi, будет собран RAID массив 10 уровня, состоящий из 4 дисков WD4002FYYZ емкостью в 4 ТБ фирмы Westen Digital.

 

Производитель обещает, что это надёжные накопители с отличными показателями долговечности, ёмкости, энергоэффективности и производительности для корпоративного сектора. Рассчитанные на рабочие нагрузки, в десять раз превышающие показатели дисков для настольных ПК. Одной из отличительных особенностей этих накопителей является устранение ошибок с ограничением по времени (TLER), что сокращает частоту выпадения накопителей из RAID–массивов, вызываемого большой продолжительностью процесса устранения ошибок (функция устранения ошибок с ограничением по времени помогает предотвращать простои дисков в системах хранения, которые могут быть вызваны длительными процессами устранения ошибок и характерны для жёстких дисков для настольных ПК). Более того, эти диски отличает ещё одна особенность, а именно - динамическое управление высотой полёта головок (высота полёта каждой из головок чтения-записи корректируется в реальном времени, что обеспечивает стабильную производительность, меньшее количество ошибок и улучшенную надёжность).

 

В дальнейшем на контроллер RAID будет установлено дополнительно несколько SSD накопителей для организации работы по технологии Hybrid RAID, которая, в свою очередь, предназначена для создания надёжных массивов с отличной производительностью чтения, сопоставимой преимущественно накопителям SSD и надёжностью хранения данных, которую обеспечивают HDD. Таким образом, мы будем иметь ещё более быстрый и надежный RAID-массивов 10 уровня.
 

---

(фото приобретенного RAID контроллера)

---

Слабой составляющей текущей конфигурации является бюджетный процессор начального уровня Intel® Pentium® G4600 с количеством ядер 2, количеством потоков 4, кэшем в 3 Мб и тактовой частотой в 3.6ГГц. В дальнейшем будет заменён на что-то более солидное, например, на процессор Intel Core i7-7700K.

Исходя из ограниченного бюджета, на первое время пришлось лавировать между серверным дорогостоящим и более бюджетным оборудованием.

 

---

Итак, с железом всё стало более или менее понятно. Действительно. Оно либо есть, либо его нет. По этой части остались небольшая покупка и запланированное тестирование машины. Это значит, что настало время перейти к чуть более любопытной теме, а именно к базе данных (БД) сайта, к её разбору и адаптации. Как оказалось, мы и понятия не имели, с какими трудностями столкнемся. И сейчас мы постараемся объяснить, почему наведение порядка на данном этапе заняло у нас так много времени.
 

Расскажем немного о разработке скрипта, который смог нам помочь в обработке дампа БД от UCOZ’a. На первый взгляд всё выглядело относительно простым. Мы имели текстовые файлы с набором данных, выгруженных из базы. Но проблемы не заставили себя долго ждать. Выгрузка оказалась настолько кривой, насколько это может быть возможным. Специально ли хостер так делает, тем самым осложняя миграцию на другие платформы? Впрочем, ответа на этот вопрос мы не дадим, нам остаётся только гадать. Как итог, мы получили следующую картину: все поля перепутаны, где-то их и вовсе не хватает, где-то есть лишние, а данные не экранированы. Более того, сложилось ощущение, что в некоторые файлы залито по несколько таблиц. Ещё одной острой проблемой является тот факт, что выходные файлы имеют огромные размеры: десятки и сотни мегабайт, в которых содержится до нескольких миллионов записей. Согласитесь, такое отсмотреть весьма проблематично. В конечном итоге был разработан и написан скрипт с применением регулярных выражений, который разбирает входные файлы от UCOZ'a и на выходе заливает разобранные таблицы в текущую базу MySQL.

 

Теперь же, когда БД разобрана, можно приступать к следующему этапу: к её адаптации к новому движку. Начнём мы с профилей пользователей. И вот здесь, как нам кажется, начинается самое интересное, прежде всего, для вас. Почему? Да потому, что по окончании данной задачи мы планируем провести небольшой бета-тест. В котором сможете поучаствовать и вы, наши пользователи. Конечно, до первого результата ещё достаточно далеко, но уже сейчас можно говорить о неком успехе наших планов. Итак, как же будет проходить набор и сам бета-тест. Во-первых, такое событие вы вряд ли пропустите, так как мы постараемся уведомить всех об этом. Во-вторых, на форуме, предположительно, в этом подразделе, мы создадим тему, куда смогут записаться все желающие, которые захотят первыми посмотреть и пощупать сайт в новом исполнении. Тем самым вы сильно поможете нам в отлове багов, так что работа эта ответственная и подходить к ней надо аналогично. Далее, после успеха, уже можно будет говорить о переносе файлов, статей и прочего, то есть всего контента сайта. Впрочем, бежать впереди паровоза - не самая лучшая затея, поэтому будем решать проблемы по мере их поступления, а также держать вас в курсе. Будьте всегда с нами!

 

Что ж, пожалуй, пришло время подвести итоги… итогов. Как уже было сказано, работа продолжается. И продолжается она хоть и довольно медленно, но очень качественно. По-другому, к сожалению, никак. Вся наша деятельность на сайте добровольна и безвозмездна, поэтому мы стараемся делать всё, что в наших силах и возможностях. Однако бросить эту, когда-то казавшуюся безумной, затею, другими словами переезд, мы не имеем права. И доведём своё дело до конца!

 

С уважением,
администрация и команда сайта Modgames.net

 

---

---

Но и это не всё. В конце статьи хотелось бы немного намекнуть об ещё одном нашем проекте. Всего пару месяцев назад на сайте образовалась команда под названием N&K, которая на данном этапе занимается разработкой эксклюзивного установщика модов специально для MG. Разработка близится к завершению, а всю остальную информацию вы сможете получить уже после первого релиза. Обязательно дождитесь, будет интересно!