Статистика ВК сообщества "Кактус Интернет+ТВ"

Друзья, доброго вам дня!

Ночью (с 30го числа на 31е) с 1 часу до 5ти утра мы будем проводить работы по модернизации сети. Предполагаем отключение различных услуг связи в разных частях сети.

Далее напишу подробнее, что и зачем будем делать. Для не интересующихся техническими подробностями можно и не читать.

В условиях, когда, казалось бы, мир уже никогда не будет таким как прежде, хочется рассказать, что мы работаем, и готовим глобальный апгрейд. Занимаемся той работой, которую любим и делаем уже много лет, надеемся, сможем делать это и в дальнейшем.

Сразу после Нового Года у нас значительно вырос трафик в Интернет. Какой либо одной причины этому нет, похоже, просто растет общее потребление, но порой нагрузки становились сильно выше расчетных. Приходилось по-разному решать проблему, вплоть до ограничений скорости. Сейчас положение стабилизировали, но все равно требуется кардинальный апгрейд как внутренней сети, так и внешних каналов связи. Чтобы все идеально работало, хорошо иметь нагрузку на каналах связи не сильно больше половины в любое время.

Итак, апгрейд первый - не хватает портов 10G, запланировали замену коммутаторов на узле в Мурино на один многопортовый 10 гигабитный коммутатор Cisco Nexus 3064. Железка проверенная, аналогичная работает без особых проблем на центральном узле в Девяткино около года. Коммутатор хоть и не специально для сетей связи, скорее для датацентров, но как L2 молотилка отлично подходит.

Менять будем ночью (с 30го числа на 31е) с 1 часу до 5ти утра. Будет требоваться обрезать магистральные линии связи, переварить и переключить их в другой шкаф с новым оборудованием.

Постараемся выполнить работы максимально быстро. Просьба иметь в виду, что услуги связи в этот момент могут вообще не работать.

На первом этапе никаких изменений качества предоставления услуг не прогнозируем, просто подготовим основу для дальнейшей модернизации.

Вторым этапом мы будем расширять емкости каналов, с использованием CWDM технологии, а третьим - повысим скорости интерфейсов маршрутизаторов. Будут и 40G интерфейсы и агрегированные каналы связи.

О всех этих работах сообщим тоже, заранее предупредим и расскажем что будем делать. Но, думаю, только завтрашней ночью будет такое длительное отключение.

Простите за возможные неудобства, очень хочется вывести услуги на тот уровень, на котором они у нас обычно и бывают, когда одновременно и задержки минимальные, и потерь нет, а скорости вне конкуренции.

Авария в Мурино. На данный момент нет связи в домах по Оборонной, Привокзальной, Скандинавский , Боровой, Парковой, Шоссе в Лаврики. Разбираемся.
UPD. 5:54 . Питание центрального Муринского узла вернули. Связь восстановлена.
Upd. 9:16 К сожалению, проблема вернулась.
Upd 10:30 большую часть домов вернули.Остается проблема на Оборонной.
UPD 11:38 запущено все, но пока по временной схеме. У кого не запустилось- перезагрузите роутеры на всякий случай : выключить из розетки на 40 секунд, включить обратно и минуту подождать.

Друзья, сегодня проводили работы, хотели параллельно запустить высокоскоростной резервный канал для подключения Западного Мурино и домов на улице Новая. Никаких отключений в ходе работы не планировалось. Обычная работа, которая как правило проходит незаметно для наших абонентов.
Но в сети произошла закольцовка, приведшая к жестким лагам. К сожалению, очень долго искали проблему, прямо очень долго. Отключили уже все резервные каналы, в том числе и атмосферную оптику, и другие каналы, а закольцовка не уходила. В итоге в голову пришла мысль, что виной всему новый, только что установленный SFP+ модуль, в который
планировалось включить резервную линию до ЗМ. Мысль оказалась столь же верной, насколько и идиотской, ведь так никогда не происходило раньше.

Как оказалось, вставленный в оборудование, но никуда не подключенный модуль устроил нам ту самую закольцовку трафика в сети. Достаточно было в него установить обычную крышечку-заглушку и все пришло в норму.

Сильно извиняемся за доставленные неудобства, и большое количество потерянного времени, но отродясь такого не было, чтобы обычные модули так эффектно замыкались сами на себя.

UPD: 8:44 , опять линяя на Привокзальную площадь и Новую вырубилась в 8:06. Перевели на резервную в обход. :( Будет все стабильно теперь.

Так все работы окончены, в Новом-Девяткино Интернет работал без сбоев почти, Мурино включили все в 4 утра, но к сожалению после окончания работ, пришлось вернуться, и еще часа 2 устранять всякие глюки. ТВ все каналы вернули только к семи утра. Теперь все и у всех должно работать, если не работает, то перегрузите роутер пожалуйста, бывает они подвисают. В 10 утра будет начнут работать коллеги на телефонной поддержке, если будет сложности пишите и звоните, будем рады помочь!

Немного фоток, кроссов и переварки оптической муфты.

Для тех кому не спится, расскажу что мы сегодня делаем!

Не секрет, в Мурино беда с электропитанием, и конечно на центральном узле у нас стоит большооооооой бесперебойник, который спасал нас не раз. Но недавно от отключился ночью, вот прямо в 4 утра. Наши коллеги смогли разбудить всякого разного рода диспетчеров и попасть к оборудованию посреди ночи. Бесперебойник оказался отключенным, но без ошибок. Удивились - включили.

Увидели такую картинку, заряд полный, ошибок нет, будет работать почти 9 часов автономно.

Сегодня в 3 утра пробирался по крышам, смотрел на спящее Новое Девяткино. Красота, тут у нас! А задача была заменить память в маршрутизаторе CCR1036, оказалось, там нет слотов под память! Но с такими видами, даже и не расстроился. Пейзажи меняются у нас порой быстрее, чем погода.

Коллеги, прилетел DDoS большой, потребовалось несколько минут отстроиться. Работаем дальше. Все сервисы в порядке. Далее надеемся, без сбоев.

Сегодня днем попробовали расширить доступную полосу до Санкт-Петербурга, к сожалению пока не удалось. Модули повели себя неожиданно, один начал сыпать ошибками (сказалось на ТВ, было много "квадратиков" пока тестировали), а второй то поднимался, то падал. Такое поведение называется - флапом. В итоге пока откатили, вечером полосы всем хватает, когда, конечно, не происходят каких либо неожиданных событий. Пинги в норме.

Проработаем все собранные днем данные и подумаем как все же расширить полосу, чтобы иметь хороший запас.

UPD 11:40 восстановлено
UPD 10:58 К сожалению, ситуация повторилась.
UPD 2:56: Рассказываю что было, завис один из маршрутизаторов, хоть и не основной , но через него шла связь для Западного Мурино, и для тестового дома Арсенальная д.3. Сразу после падения недоступность серверов была замечена, мы оперативно подняли резервный DNS сервер, и все запросы на штатные DNS 91.202.44.214 и 221 перенаправили на него. Инет поднялся почти у всех абонентов, потом уже разбирались с повисшим железом. Оборудование работало около полугода, и вот на ровном месте повисло, наблюдаем за ситуацией. Враждебное воздействие почти исключено соответствующей настройкой оборудования.

UPD 1:20 связь восстановлена
UPD: нет связи в Западном Мурино , Санкт-Петербурге и на Арсенальной 3
Видим проблему с ДНС серверами на центральном узле. Не доступен наш сайт и личный кабинет. Интернет и тв работают. Пока разбираемся.

После сегодняшних злоключений с пожаром на ТЭЦ, все еще восстанавливаем связь, где-то просто перезагружаем оборудован е повисшее, где-то меняем на новое. Везде где сможем попасть ночью - отремонтируем, где не сможем, придется ждать ключей до утра.

Арсенал отключили, начались работы по модернизации оптических магистралей, будем держать в курсе происходящих событий!

2:48: Cвязь вернули, но работы продолжаются, возможны повторные отключения.

6:05 все работы окончены, с 2:48 больше не отключали, удалось сократить время простоя до минимума.