dipa Дипа (/dipa)

[flashgun 0]

Дипа (http://xbox.z2e.ru/dipa/)

 

 

Решил создать отдельную тему, так как фактически инструмент имеет отношение сразу к трём темам: Скидки в Xbox Live Marketplace и Games with Gold, Покупаем игры по дешману, в других регионах. VPN и всё что с ним связано и Xbox - скидки, акции! Offline, online и постить анонсы сразу в трёх темах кажется мне излишним. В этой теме можно обсуждать, задавать вопросы, высказывать пожелания.

 

Что умеет дипа:

1. Показывать цены на тайтлы (игры и дополнения) в разных регионах
2. Показывать тайтлы со скидками Gold/XboxPass и EA Access.
3. Показывать историю изменения цены с сентября 2016 года
4. Показывать состав бандла и бандлы, в которые входит дополнение
5. Показывать новинки, вышедшие (появившиеся в сторе) за последние 2 недели, а также тайтлы, которые только выйдут
6. Ну и по мелочи

Кроме того к дипе я отношу сервис сбора статистики Xbox Live (/stat), который, на самом деле, пользуется небольшой популярностью по сравнению с дипой, но которым регулярно и интенсивно пользуюсь я. Скорее всего причина в том, что посетители дипы хорошо понимают, какие игры им нужны, в то время как я обычно руководствуюсь в том числе информацией о том, кто играл, как долго, сколько ачивок собрал и прочее. А ещё отчёты по этой статистике адово тормозят, и это ещё одна причина, по которой предстоят изменения (см. ниже).

 

Текущая ситуация.

 

Сервис располагается на мощностях Azure, спонсируемых моим текущим работодателем. Как выглядит: я могу использовать мощности виртуальной машины в облаке в пределах некоего, довольно большого лимита. Когда лимит вырабатывается (обычно числа 25-26), машина останавливается, и в этот момент дипа не доступна. Скрипты, собирающие xbox live стату, расположены на другой машине тоже в Azure, чтобы не нагружать сервер, и за эту машину спасибо @MrConst, который с ноября 2016 предоставляет ещё одну виртуалку, немного скромнее основной, но зато лимит не заканчивается.

 

Таким образом, этот мой хобби-проект требует только времени, но не денег, что в моей картине мира не позволяет мне как-либо наживаться, размещая банеры и собирая донаты. Именно поэтому я умышленно ограничил аудиторию сайта, запретив индексацию сайта поисковиками, что, однако, всё равно даёт в обычную неделю около 700 уникальных ip, а в недели распродаж больше тысячи.

 

Что меняется.

 

В сентябре я меняю место работы. Пока нет информации, будет ли доступ к ресурсам на новом месте, но я исхожу из того, что не будет. Кроме того, я не знаю, в какой момент я потеряю доступ к виртуальной машине в Azure, но исхожу из наихудшего сценария.

 

Что уже поменялось.

 

Я открыл сайт поисковикам и разместил счётчики от яндекса и гугла. Переписал код сбора xbox live статистики (спасибо @creker за пинок). Она теперь лучше, жрёт в три раза меньше трафика и существенно быстрее, хотя веб-морду надо доделывать, она не показывает половину информации из-за изменений.

 

Планы.

 

Бекапы кода делаются ежедневно, базы еженедельно (в ней нет ценности, кроме структуры, так как её можно быстро наполнить/актуализировать), кроме того мониторится ситуация с VPS/VDS и дедиками. Лично для меня комфортный бюджет затрат -- не более 2000 рублей в месяц. На эту сумму можно взять очень достойное б/у железо на аукционе Хетцнера. От размещения сервера дома, пораскинув, отказался: гемору много, за свет только в год 7000 будет набегать, а апгрейд дорог и труден. Поэтому, дальнейшие события видятся следующим образом:

1. Настройка репликации на домашнюю машину, чтобы делать бекапы не с рабочей базы, а с реплики. Б/у железо, бывает, отказывает, и надо продумать технологию быстрого (один-два дня) развёртывания/восстановления сервиса
2. Переход на https. Это позволит немного сэкономить трафик и вообще идеологически правильно
3. Поднятие read-only дипы на реплике на случай исчезновения машины из облака
4. (здесь я буду ждать отключения машины до последнего, ибо после переезда дипы я начну платить за аренду мощностей)
5. Покупка мощностей
6. Восстановление полного фунционала дипы с фиксацией всех действий в скрипте, чтобы потом было легче восстанавливаться, в идеале -- одной командой

В итоге нас всех ждёт даунтайм дипы сроком в несколько дней, в неизвестное время. Предположительно -- после 27 сентября, это новый платёжный цикл для моего эккаунта. Вроде там никаких у нас распродаж не намечается, надеюсь?

 

Возможно, попробую добавить п. 7 и пособирать донаты, разумеется, после реализации первых шести пунктов, хотя пока не очень понятно, надо ли с этим вообще заморачиваться. Меньше всего хочется размещать банеры и рекламу, надеюсь, получится избежать этого.

 

Ну и да, не стоит исключать того, что майки рано или поздно вообще уберут возможность покупки в других регионах. В этом случае поддержка дипы вообще потеряет всякий смысл, и останется только сбор статистики, что должна потянуть и моя домашняя машина.

 

Буду рад словам одобрения и/или критики.

[verner 0]

Какие требования к серверу?

[flashgun 0]

@verner, сейчас оно 4 ядра Intel® Xeon® CPU E5-2660 0 @ 2.20GHz, 8Гб памяти и размер дисковой (hdd) партиции под БД около 20Гб. Смотрю на аукционе на машины типа i7-4770 с 32Гб памяти за 20 евро и на https://contabo.com/?show=vps -- тут у меня море вопросов, но цена в 15 евро за конфиг в разы больше текущего прямо вот соблазняет. Основная нагрузка -- PostgreSQL, куда непрерывно льются/меняются данные со скоростью несколько апдейтов в секунду.

 

Была ещё идея собрать и поставить дома специально заточенную под мою задачу машину (4xSSD, 32Gb, AMD FX 8320E), но получилось около 44 тысяч, что, с учётом платы за электричество (по моим прикидкам около 5-7 тысяч в год дополнительно), даёт окупаемость больше, чем через 3,5 года. Смысл? Проще уж отработать технологию быстрого развёртывания дипы и раз в год мигрировать на лучшее железо.

[flashgun 0]

Проверьте, пожалуйста, закладки: домен x9g.ru -- неправильный, и будет убит. Правильный адрес в шапке.

 

Тут выяснилось, что без бубнов со Slonik-ом оперативно перейти с PostgreSQL 9.6 на 10.x нереально. Я-то думал про логическую репликацию, но облом. Поэтому планирую даунтайм на несколько часов, для обновления версии ОС и базы данных.

Изменено 8 августа 2018 пользователем flashgun

[flashgun 0]

Настроил SSL с редиректом, для геймеркарт ставить редирект не стал.

[bambucha 83]

Флешган, спасибо тебе за очень актуальный, полезный и довольно удобный сервис.

 

Мое мнение - для компенсации аренды и прочих мощностей - пили несколько небольших баннеров и мы будем кликать.

Если совесть не позволяет на этом зарабатывать - на лишние деньги делай розыгрыши среди Ленда.

[Kubic 7]

Да, спасибо за дипу, ты пиши если чего, чем сможем поможем.

 

Кстате опять тут дипу штудировал не видит

https://www.microsoft.com/ru-ru/p/flipping-death/bvg1sp245lhz

и

https://www.microsoft.com/ru-ru/p/the-walking-dead-Финальный-сезон-the-complete-season-pre-order/bpr94kq9jpdt

Изменено 8 августа 2018 пользователем Kubic

[flashgun 0]

Кстате опять тут дипу штудировал не видит

https://www.microsoft.com/ru-ru/p/flipping-death/bvg1sp245lhz

и

https://www.microsoft.com/ru-ru/p/the-walking-dead-Финальный-сезон-the-complete-season-pre-order/bpr94kq9jpdt

Спасибо! Никак не могу поймать за хвост этот глюк: неправильно определяет платформу, "Other" вместо "XboxOne", поэтому в базе оно есть, и даже с ценами, а в выборке не показывается. Что-то похожее я исправлял пару месяцев назад, но похоже не то или не там.

 

@bambucha, @Kubic, спасибо, братцы! Пока живём, я тут потюнил немного базу, настроил pgbouncer, включил сжатие в php, кажется стало немного побыстрее работать! Но и данных мало, теперь уже ближайшая проверка будет в чёрную пятницу.

 

Тем временем Azure добавил конфигурацию, дешевле и мощнее. Попробую переползти, но будет небольшой downtime. Но в любом случае с него придётся уходить, даже сейчас это дорого, просто оплачивается не мной :)

 

UPD: забавно, миграция уже завершена. Теперь у меня на 1 гиг озу больше, и чуть более быстрые (обещаны) диски. Проц остался тот же. Но дешевле на 200 рублей :) Приятная фича облака: 10 минут -- и типа апгрейд окончен, всё опять стартануло и работает.

[flashgun 0]

На всякий случай, старая стата остановлена, и не собирается. Новая собирается, но пока не видна. Надеюсь, старую получится смигрировать в новый формат, и сделать всю обработку не хуже, чем было.

[flashgun 0]

Важно: запоем читаю "Mastering PostgreSQL 10", "PostgreSQL 10 High Performance" и "PostgreSQL 10 Cookbook" (+ ещё небольшая книжка по администрированию). Принял решение проапгрейдиться с 9.6 на 10, тем более, что Убунта уже давно предлагает do-release-upgrade на 18.01.1 (сейчас 17.10). Короче, в это воскресенье вечером /dipa не будет работать. Оптимистичное время проведения работ -- пара часов. Пессимистичное -- до вечера понедельника, чтобы ко вторничной распродаже успеть. Короче, имейте ввиду.

[flashgun 0]

Важно: запоем читаю "Mastering PostgreSQL 10", "PostgreSQL 10 High Performance" и "PostgreSQL 10 Cookbook" (+ ещё небольшая книжка по администрированию). Принял решение проапгрейдиться с 9.6 на 10, тем более, что Убунта уже давно предлагает do-release-upgrade на 18.01.1 (сейчас 17.10). Короче, в это воскресенье вечером /dipa не будет работать. Оптимистичное время проведения работ -- пара часов. Пессимистичное -- до вечера понедельника, чтобы ко вторничной распродаже успеть. Короче, имейте ввиду.

 

Короче, останавливаю дипу и начинаю апгрейд. Напишу, как взлетит :)

[vanter90 4]

Будем ждать

[flashgun 0]

Запустилсо!

[flashgun 0]

Решил всё-таки сделать нормальную работу с тайтлами x360. Оказывается, xbox-store-checker.com вообще не показывает аддоны к x360 и игры не в BC-листе, а там бывают скидки и прайсдропы. Плохо то, что маркетплейс сделан так, что его чудовищно неудобно парсить. Один запрос к странице занимает 1 секунду, даёт цену на одну игру и до 90 аддонов к ней, и тупо обновление всех цен всех игр во всех регионах в 12 потоков занимает чуть больше часа. Это только игры! Сколько всего аддонов, я скоро выясню.

 

Из забавного: в российском маркетплейсе к игре "Rock Band 3" целых 1898 аддонов, и, чтобы их всех купить, понадобится 236982.60 рублей (прописью: двести тридцать шесть тысяч девятьсот восемьдесят два рубля и 60 копеек).

[bambucha 83]

 

Из забавного: в российском маркетплейсе к игре "Rock Band 3" целых 1898 аддонов, и, чтобы их всех купить, понадобится 236982.60 рублей (прописью: двести тридцать шесть тысяч девятьсот восемьдесят два рубля и 60 копеек).

Фига! Ребята знают толк в распиле игры

[Aiser 0]

Что-то с ценами не так. Какие то не реальные. Например: Rise of the Tomb Raider x360 - 26 438,50 в Китае и прочее;

Ещё и сортировка по дате тоже странно работает. Вроде сортирует, но не понятно как. Частично.

[flashgun 0]

@Aiser, сортировка по дате поломана, никак не могу найти ошибку в чужом коде, а с Китаем посмотрю, спасибо!

 

UPD: нашёл ошибку, цены исправил, ещё раз, спасибо огромное!

Изменено 14 августа 2018 пользователем flashgun

[Kubic 7]

Надеюсь эту игру дипа завтра подсосет в себя а то не в одном парсере её почему то не видно ((

https://www.microsoft.com/ru-ru/p/graveyard-keeper/c11gzgmkrtcv

[Perdolshik 107]

@Kubic, бизнес на кладбище...жостик :dad:

[vanter90 4]

Надеюсь эту игру дипа завтра подсосет в себя а то не в одном парсере её почему то не видно ((

https://www.microsoft.com/ru-ru/p/graveyard-keeper/c11gzgmkrtcv

Интересно, тут есть русский язык?)

[Kubic 7]

@Kubic, бизнес на кладбище...жостик :dad:

Ееее , инквизиции,продажа человеческих органов, подземелья, где еще в такое можно поиграть, от создателей Punch Club (чую потом у них идею своруют и будут выдавать за якобы собственный ip )

@vanter90, есть, создатели игры наши люди.

Изменено 15 августа 2018 пользователем Kubic

[vanter90 4]

@Kubic, 

 

Тогда надо брать:)

Самое то после работы играть:)

[Kubic 7]

@Kubic, 

 

Тогда надо брать:)

Самое то после работы играть:)

Её походу в геймпасс добавили,кто может проверьте.

[sektor1899 468]

 

Её походу в геймпасс добавили,кто может проверьте.

0,00 ₽ Благодаря Xbox Game Pass вы можете играть в больше отличных игр в любое время.

[Aiser 0]

Заметил багу с играми для Xbox 360 игр. Если ищем по поиску, например: Mass Effect, то все ссылки открываются. Если переходим слева по игре, например: Mass Effect 2 или 3, то ссылки не правильные и не открываются.

 

https://xbox.z2e.ru/dipa/ginfo.php?id=d802454108ce