В период организации Выставки Экспо-2017 мы прорабатывали основные риски, которые могли бы возникнуть в зоне нашей ответственности.
Для меня было очевидным, что главные риски связаны с посетителями выставки.
Если выключится, например, все видеонаблюдение — силовики вынесут нам мозг и отобьют печень, но люди этого не заметят. Если пропадет интернет и wi-fi — это тоже особо не отразится на посетителях.
Не включится вовремя освещение на улице — можно пережить, на дворе лето. Перестанут работать телефоны — есть рации и мобильная связь. А вот если посетители не смогут зайти на выставку — это настоящая проблема.
Чтобы попасть на выставку посетитель должен приобрести билет (онлайн или в кассе), пройти досмотр и систему контроля доступа (турникет).
Билеты продавал билетный оператор — стороннее юридическое лицо с серверами в собственном дата-центре, турникеты были полностью под нашим управлением. (Интеграция — зазвенел тревожно колокольчик у опытных итишников).
Процесс продажи и входа на выставку представлялся мне самым критичным, так как через входные группы проходило сотни людей в минуту и любой технический затык мог привести к большим очередям. Организационные «затыки» (кому-то стало плохо в очереди и т.п.) решали другие службы.
Всего на входных группах было смонтировано 60 турникетов (включая турникеты для лиц с ограниченными возможностями), поэтому выход из строя одного из них не представлял проблемы. Дежурный специалист по входной группе мог оперативно выполнить ремонт.
Риск 1. Сбой управляющих систем
Проблемой было бы, если бы в результате сбоя какой-либо из управляющих систем все турникеты на одной группе или на всей территории выставки одновременно перестали работать и пропускать посетителей.
На этот случай у нас был разработан первый резервный план — «План В». Согласно него турникеты можно было перевести в «автономный режим работы» и они продолжали бы считывать билеты, пропуская посетителей, пока мы ликвидировали проблему.
Риск 2. Потеря связи
Если бы пропала связь между билетным и «турникетным» сервером, посетители также не смогли бы пройти на выставку. Для уменьшения этого риска каждую ночь мы заранее загружали все проданные на предстоящую дату билеты в нашу систему, поэтому проблема со связью их не касались.
Однако данная проблема распространялась на посетителей, купивших билеты в течении дня. В случае отсутствия связи зайти на выставку они все равно не смогли бы.
Для устранения данного риска был разработан «План С».
«План С» комплексно перекрывал все проблемы, связанные с продажей билетов, вплоть до отсутствия электроэнергии в кассах или хакерской атаки. Я предложил билетному оператору сделать «препринт» — т.е. заранее напечатать достаточное количество «универсальных» билетов разных типов и разложить их по кассам в сейфах. Соответственно, номера этих билетов мы предварительно залили себе в систему.
В случае любых технических проблем, кассиры могли начать реализацию заранее напечатанных билетов.
Как показала практика, данное решение оказалось одним из самых эффективных.
Риск 3 Потеря контроля над турникетами
«План D» был последним рубежом обороны. Если по какой-то причине, которую мы не спрогнозировали, турникеты все равно не пропускают посетителей, их можно было «уронить», т.е. удаленной командой из Главного операционного центра все турникеты отключались и ограничивающая планка «падала», открывая свободный проход.
Если гипотетически система управления турникетами померла-так-померла вообще, турникеты можно было «уронить» локально дежурным персоналом на входной группе.
В самом крайнем случае план предусматривал отключение электрических автоматов, на которых были запитаны турникеты, и планка падала, увлекаемая силами Ньютона/Эйнштейна. Посетители могли беспрепятственно зайти на выставку.
В конце концов, пусть лучше кто-то пройдет бесплатно, чем будет скандал на входной группе. Выставка это не кинотеатр, места не резервируются, территории хватит всем.
Как ни странно, «План D» оказался востребованным! Только не по своему прямому назначению, на вход он ни разу не применялся, а вот после окончания больших вечерних концертных мероприятий, на выход — да.
Если нужно было выпустить десятки тысяч людей за короткое время, срабатывал «План D», турникеты «падали», посетители спокойно выходили через входные группы. Так как концерты заканчивались поздно, к этому времени вход на выставку был уже закрыт и встречный поток отсутствовал.
Прочие риски
Немного расскажу о «не технических» рисках. Чтобы оперативно разбираться с билетными проблемами на каждой входной группе сидела «группа разбора». Если турникет не пропускал посетителя, специалист на группе поднимал вся история проблемного билета.
Порой случались забавные ситуации. Как-то по рации прошло сообщение, что не работает Северная входная группа. Это инцидент высокого уровня! При этом, по всем остальным группам никаких проблем не наблюдалось. Странно.
«Северяне» продолжали сообщать о заторах на турникетах и массовом скоплении посетителей, что подтверждалось данными видеонаблюдения в Главном операционном центре Выставки.
Однако техника бодро рапортовала — все работает в штатном режиме! Впрочем, в статусе турникетов появилось большое количество красных линий — сигналов об отказе в пропуске. Как будто кто-то пытается массово и незаконно преодолеть их оборону.
Причина оказалась до смешного проста. Из одного из городов Казахстана приехала большая группа туристов, около 200 человек. Ответственное лицо, по ошибке, вместо 200 разных билетов, распечатала 200 экземпляров одного и того же билета и раздала туристам. Конечно же система пропустила только одного человека, заблокировав остальные попытки.
Благодаря заранее выявленным рискам и разработанным планам действий, даже если возникали какие-то технические или организационные проблемы, они не оказывали практически никакого влияния на посетителей.
В следующий раз расскажу, с какими интересными нюансами мы столкнулись, реализуя наши запасные планы.
P.S.: Я не описываю стандартные ИТ-риски, типа выхода из строя оборудования и т.п. Стандартные риски закрывались стандартными ИТ-решениями — кластерные системы, кольца, бекапирование, бесперебойное питание и т.п., о чем итишники и так хорошо знают, а остальным вряд ли будет интересно.