опыт работы компьютерной сети в условиях локальной войны

Все о компьютерах, цифровых и информационных технологиях. Также рассматриваются вопросы информационной безопасности и "выживания" в интернет.

Сообщение Предвестник » 26.06.2009, 20:13

http://crimea-board.net/index.php?showtopic=6493

#277. Интернет под бомбами.

Заметку прислал Denys Fedoryshchenko, он же nuclearcat на форуме.

Пожалуй, я первый, кто пишет русский обзор о работе ISP в условиях военного времени, под непрерывной бомбежкой. Даже сейчас, во время написания, постоянно слышу взрывы бомб, и своими глазами вижу вспышки.

Пользователи говорят об оседающих рядом зданиях, и даже был случай, когда саппорт общался с админом интернет кафе, там были посетители (в основном дети из этого же дома), админ говорил о том, что он ненавидит войну и террористов, и что хочет отсюда поскорее уехать... Взрыв, человек ушел в оффлайн.

Смотрим на мониторинг - узел в дауне. На место подъезжать сразу нельзя, неоднократно были случаи, когда начинали тушить возникший пожар и спасать людей, а через 5-15 минут наносился удар туда же. Позже разрушенное здание, скорая помощь, абсолютно безумные крики полные страха и боли, выносят людей по частям... Когда видишь детей, которых выносят фрагментами тел, начинаешь ненавидеть "миротворцев" и "демократию", их борьбу с терроризмом методом "точечных" ударов.

Итак, восстановим хронику событий

Со вторника (11.07) наблюдаем странные помехи, в определенное время начинает сбоить все беспроводное оборудование, спутниковый передающий и принимающий канал, в то же время оптика функционирует нормально. Были осуществлены попытки взлома биллинга с внешних адресов (какой-то финский институт), и изнутри, из района неподалеку от того, где находится Хезболла, попытки достаточно странные, ничего подобного ранее не встречалось.

Но свою положительную роль сыграл mod_security, php safe mode, chroot и т.п., ну и то, что я в тот момент отслеживал тщательнее возможные проблемы с безопасностью. Были жалобы от нескольких пользователей на взлом их компьютеров и воровство логинов-паролей.

В среду Хезболлой были похищены солдаты.

В ночь на четверг был разбомблен аэропорт, телестанция Хезболлы, мосты и дороги на юге.

В пятницу начинается активная бомбежка города, продолжающаяся по сей день. События можно легко отследить по mrtg основного приемного канала Кстати, мне сразу пришлось анализировать, почему упало потребление инета, и прикинуть, насколько нужно уменьшить внешние каналы, чтобы не уйти в минус. Анализ конечно предварительный, полная картина будет только через месяц.

Сразу после бомбардировки аэропорта, народ посчитал, что это их как всегда не касается, и бросился читать новости в интернете, вы видите пик вечером в четверг.

Ночью в пятницу нанесли удар по электропитанию южной части Бейрута, люди услышали бомбы, им стало мягко говоря не до интернета. Из-за частичной неготовности к длительному отключению электроэнергии, многие пользователи сидели в темноте. Ну и конечно испуг, все сидели по домам.

Владельцы sub-ISP бросились закупать батареи и топливо для генераторов, из 200 точек присутствия в мониторинге, отсутствовало около 30. Сейчас только 15, и те были разбомблены или отключены.

После починки, почти сразу началась бомбежка района, где находится Хезболла. Слава богу у нас были недавно подключены только несколько интернет-кафе, и то - через третью сторону, так называемый data provider, предоставляющий свой wireless. Часть из них разбомбили сразу, часть я отключил самостоятельно (не хочу, чтобы бомба упала на наши головы, только из-за того, что связь используется террористами).

Один из владельцев крупной точки присутствия (кстати христьянин, не имеющий отношения к террористам), погиб под бомбами, вместе со всем оборудованием. Он имел неосторожность расположиться рядом с стратегическим объектом (то ли АТС, то ли электроподстанция).

Ну и конечно почти все "юрики", т.е. предприятия не функционируют. Но вполне возможно, что интернет они оплатят.

Ключевые моменты в планировании бомбоустойчивого провайдера для тех, кто хочет чтобы функционирование продолжалось в условиях войны (не дай бог угодить вам в мою ситуацию). Вспомним долгие дискуссии на форуме nag, о моих идеях с использованием дешевого оборудования.

Местоположение. Не располагать ваши ключевые объекты в стратегических точках, излюбленные у нас АТС и подстанции бомбят в первую очередь. Коммуникационные вышки общего пользования - та же песня. Ну и конечно топливные склады и прочие промышленные объекты.

Электропитание, и снова электропитание. Генератор, способный работать хотя бы 20 часов в сутки. Батареи должны держать оборудование не менее 24 часов. Вполне вероятно, что из-за бомбежки вы не сможете добраться, и заправить генератор сразу. Но если ваши пользователи не подумали о питании (здесь почти каждый жилой дом имеет собственный дизель-генератор, из-за нестабильного "государственного" питания), то все ваши меры будут бесполезны.

Охлаждение и мониторинг. Температурный мониторинг, так как завести кондиционеры при батарейном питании не получится (это неразумно). Нужно просто вентилировать помещение. Если у вас гермозона без возможности внешней вентиляции, по нашему опыту, даже при небольшом количестве серверов температура без кондиционирования растет дико, сервера быстро отключаются из-за перегрева. Конечно, необходим хороший мониторинг всех объектов в сети, по нему сразу видно, где упала бомба или пропало питание.

Cisco 2509
Сервер доступа, 1 порт Ethernet, 2 синхронных последовательных порта, 8 асинхронных последовательных портов.
всего за $360.00!

Безопасность. Думаю слово "мародеры" много что скажет. В основном палестинцы-беженцы воруют wireless оборудование, его сложно прятать. Двух уже поймали.

Децентрализация. В случае полного бомбового попадания во все наши ключевые коммуникационные центры, практически 70% оборудования покупается в ближайшем супермаркете, бекапы хранятся вне страны, и провайдера можно восстановить в течении 1-4 суток. Более того, "мозговые центры" у нас есть и извне, при полном уничтожении персонала возможно восстановление любым специалистом, кто может поставить линукс и подключить его в сеть.

Дублирование "материальной" связи - беспроводной. Проводные и оптические линки обязательно дублировать беспроводкой. Когда падает бомба, обычно все подземные коммуникации рвутся в мелкие лохмотья, и засыпаются камнями. С оптикой понятно, дрова полные, но и провода раскопать нереально. Разумеется, гос-телекомы под бомбы не полезут ремонтировать.

Персонал. Возможно напишу жестоко. Лучше всего неженатые, и тем более без детей, с местным гражданством. Потому как про работу женатые забудут сразу, их жены скорее всего заставят превратить всю семью в беженцев, независимо от ситуации. Большинство "приезжих" консультантов в соседних компаниях, быстренько слиняло в свои страны.
Так же можно полагаться на outsourcing. Внешний персонал не сидит под бомбами, и нервничает меньше.

Удаленный офис. Нужно обеспечить возможность удаленной работы персонала. IP АТС позволит принимать звонки саппортом на дому, удаленный терминал позволит работать бухгалтеру из дома, jabber сервер позволит безопасно обмениваться информацией. Ну и конечно ключевые сотрудники должны быть обеспечены бесперебойной связью и электропитанием, т.е. подключение должно быть через "первые руки". В нашем случае один из сотрудников, подключенный не wireless, а через несколько ethernet сетей, оказался отрезанным от связи после первых бомб.

Резервирование оборудования, и его дешевизна:
Носители. Использование носителей в виде USB flash оказалось практически идеальным. Винты от перегрева выходят из строя практически сразу. DOM Flash днем с огнем не найдешь, все закрыто, аэропорт разбомблен, как и все границы наглухо запечатаны самолетами противника. USB Flash покупаем в супермаркетах, которые по прежнему открыты.

Серверы. В случае вышедшего из строя сервера Sun, при полном бекапе крайне тяжело найти ему замену. Весь софт на них собран под железо с оптимизациями и т.п. В случае использования обычного PC, любой компьютерный магазин, или даже старые запасы спасают даже в случае прямого попадания бомбы.

Коммуникационное оборудование. Роутер на PC намного легче заменяется, чем, скажем, Cisco семитысячник. Wireless - то же самое, унифицированное недорогое решение. Лучше поставить два, и опираться на софт, в плане резервирования.

Электропотребление. Теоретизируя, думаю нашпигованный 3Com Total Control, в качестве PPPoE NAS гораздо хуже себя покажет в плане энергопотребления в случае уменьшения количества пользователей. В случае использования кластера из PC, ненужные можно выключать, и при необходимости подымать через Wake-on-lan.

Политика. Пожалуй самое главное. Категорически не вмешиваться в политику, и не осуществлять связь для любой из воюющих сторон, и тем более террористам. Иначе бомбы на вас упадут в первую очередь.

Самое удивительное, наиболее живучим показали себя не wireless линки, а ethernet. И линки не проброшенные по всем "правилам" в подземных коммуникациях, а висящие соплями.

После разрушения зданий к ним легче всего добраться, и легче всего их починить. Даже при разрушении верхней части здания, провод пролегающий под карнизом, с коробкой и свичом внутри обычно остаются целыми.

И последние слова в этом обзоре, но надеюсь не мои последние слова. Я остаюсь здесь, и не буду эвакуироваться с гражданами своей страны. Просто не могу бросить работу и своих друзей. Пожелайте мне и мирным ливанцам удачи, чувствую она потребуется.

http://www.nag.ru/

PS - автор - севастополец, находящийся ныне в Ливане

Добавлено в 12:56
NuclearCat

Зарегистрирован: 01.12.2003
Сообщения: 5128
Откуда: Somewhere

Добавлено: 21 Июл, 2006, 20:33 Заголовок сообщения:
Василий622 писал(а):
Интересно,Кот-как это у тебя в Бейруте до сих пор инет пашет?

Пока еще пашет. Сегодня США задействовали jammer-ы похоже, все радио-оборудование "соответствующее" стандартам США скисло. Поэтому если вы не хотите попасть в неприятную ситуацию, не советую брать оборудование certified by FCC.
Предвестник
 


Сообщение Предвестник » 26.06.2009, 20:14

Люди. Некоторые сначала даже нос из дому не показывали. Многие, с двойным гражданством бежали. Так же бегут крикуны, которые орали "мачить Израиль, Хезболла рулез", одни только пятки сверкают. Потом из всяких канад эти герои продолжают орать. Сейчас большинство вышло на работу. На выходных кафешки были переполнены.

Связь - сотовая работает, но плохо. Для некоторых VoIP единственный надежный вид связи.
Сервисах... им нужен просто интернет. До задницы сейчас сервисы :)
По валюте - национальные банки ограничили выдачу доллара. Есть опасения что местная лира упадет в "курсе".
Офисы по приему платежей работают, более того - так как районы даже города разделены бомбами, деньги передаются через WU и банки. Банки работают.
Потерь много, но пока выдерживаем. У некоторых конкурентов дела обстоят значительно хуже. Северные конкуренты чувствуют себя лучше нас, их война почти не затронула. Но сильно покоцала их РЭБ, полегли поделки на Z-Com и Блинки.

Сегодня Кондолиза Райс приехала. Ну и еще одну скорую разбомбили.
Предвестник
 

Сообщение Предвестник » 26.06.2009, 20:25

Так всё-таки, как лучше тянуть провода (по городу, в сельской местности - пофиг): воздушкой - подвешивать к столбам, или закапывать в траншею под землю? Что происходит, если бобма взрывается недалеко от воздушной линии? А если недалеко от подземной?
Какова вероятность повреждения кабеля, проложенного под землей, если бомба взрывается в 10 метров от него? Тот же вопрос, но по воздуху? Интересуют не столько абсолютные величины, сколько их соотношение.
Какие кабели наиболее устойчивы: оптика, витая пара неэкранированная, коаксиал, военные типа П-296? Какие типы оптоволоконного кабеля предпочтительнее (оболочка волокон, общее покрытие)?

По столбам - здесь почти никто не тянет. В основном между зданиями, лучше всего под карнизом.
Если провод висит между пролетами, и поддерживающие его здания-столбы уцелели - его все равно может сорвать разлетающимися осколками и камнями.

Вероятность... смотря какая бомба. Если бомба которой тут рушат мосты, то у нее воронка наверное поболее 10 метров будет. Подземных кабельных коммуникаций в таких местах у нас не было. И обычно если что-то есть - порванные водопроводы и канализация сделают даже уцелевшие провода труднодоступными,мокрыми и плохо пахнущими. Если есть повреждение изоляции - куку. Потому и дохнет DSL. А откопать такие провода будет малореально.


П-296, откуда тут ему взяться?
Бомбовый удар никакие кабеля не выдерживают. Легче всего восстанавливать самый дешевый. С оптикой жопа полная, но мы пока ее почти не применяли, кабеля заказывали готовые извне. Вы представляете сидение со сваркой под вероятностью быть накрытым бомбой? Кроме того, после бомбежек очень много пыли строительной остается, нежное оборудование в такие районы лучше не таскать.

Потому лучше под карнизом витой парой, если верх здания обрушится, чтоб не посрывало коробки и провода.

P.S. Я сам чинить не суюсь... смотреть интересно, но не более.
Предвестник
 

Сообщение Предвестник » 26.06.2009, 20:37

Стихийные бедствия не избирательны, там правила думаю совершенно другие.

Без обслуживания долго живут embedded устройства, типа routerboard/staros warboard... нет движущихся частей, и можно использовать как резервное питание аккумуляторы от упсов с минимальной обвязкой.
В PC вентиляторы забиваются пылью очень быстро.

Бомбы... штук 10 - и интернета со связью не будет. Электронные способы малоэффективны.
Другой вопрос, что это железно посчитают нападением на государство, а не хезболлу... и это уже будет надолго. Не в интересах Израиля получить еще одну палестину.

Действия Израиля часто сложно поддаются анализу. Например:
Бомбят подстанцию в Палестине. Это при том, что рубильник подающий энергию на эту подстанцию находится на территории Израиля :) Т.е. цель нанести материальный ущерб, а не обесточить террористов. Потому как террористам бомбежки электростанций ровно побоку, у них обычно жменя дизель-генераторов и инверторов с батареями под рукой.

Только что так %йнуло даже на христианской части, что стекла кое-где посыпались. Явно американская гуманитарная помощь приехала. Полностью исчез один из data провайдеров, все клиенты в дауне подключенные через него.
Угу. Разрушений совсем нет. И люди бегут просто так. Несколько сотен тысяч южан, или 70% населения занимаются утренней пробежкой.
Все гостиницы, палатки в центре и в окрестностях, родственники у всех знакомых... тоже, так, шашлыки собрались жарить.
Это не ответ форумному герою Ирси,а ответ автору статьи. Хотя... что брать с аффтара живущего в Израиле.

В разбомбленные районы я не поеду, там бомбы продолжают падать. Кемпинги тоже фотографировать не стоит, их жителям и так хватает геммороя, а я не репортер, полицаи люлей навешают быстро за любопытство. Но пустые полки в магазинах могу сфотографировать. С едой и топливом серьезные напряги.

Как я говорил выше, пригодилось направление сборки необходимого оборудования из подручного дешевого материала.
USB флешки, запасы Atheros карточек тоже ощутимые, PC, провода - думаю долго еще будут в наличии.
По опыту прежней войны, шеф грит, жрать нечего, а деньги за инет несут. Может и продержимся :)

Начались серьезные напряги с электричеством, точнее наличием от гос-ва только ночью на час-два.
Сегодня в домоуправлении собирались мужики, обсудили и решили.
С 7 до 8, с 14 до 15, с 19 до 24 генератор работает, остальное время кукуем. И даже столько выйдет $200 в месяц на семью.

А на работе разбрасываем по ключевым точкам мощные упсы и решаем вопросы с владельцами "местных" генераторов.

насчет магазинов - почти все закрыто
Только расчет на супермаркеты, там совсем уж ширпотреб валяется (компьютерный).
Сегодня был в городе, большинство магазинов постельного белья клепает матрасы для беженцев, какой-то поролон, обтянутый попавшейся под руки тканью. Рядом с ними валяются горы этого хозяйства.

Вопрос не в линиях связи, а в экономической целесообразности.
Если есть клиенты - сеть можно и с нуля отстроить очень быстро.

На заправках очереди. Большинство не работает. Заканчивается бензин.
Когда закончится дизтопливо - здесь будет полный пэ. Не из-за отсутствия интернета... летом, без холодильника большинство продуктов и овощей здесь хранятся не больше дня-недели.

Запасов у населения в лучшем случае на неделю, при максимальной экономии.
С дизель-генераторам рядом обычно строят внушительные баки, но это тоже ненадолго.

Близко расположенный DECT/2400 тушит wifi насмерть без всяких
отдельных ваттов. :-) А сам комп обычно неплохо экранирован, потому как у него внутри тоже высокочастотные излучатели в наличии. :-)
Но если у компа появляется монитор, или сетевая карточка, или
антенна wifi, GPS, bluetooth, etc... Это уже повод для размышления.
А вот в soho wifi железках обычно экранирована только pcmcia/minipci карточка, а все остальное можно тушить наводками. :-)

По крыше езер в военное время лучше не вести. У одного из реселлеров погибли два монтажника. Полезли на крышу провод чинить, вроде выждали, тихо было часа три, их конечно приняли за террористов и сбросили бомбу им на головы или ракету с БПЛА выпустили.
Предвестник
 

Сообщение Предвестник » 26.06.2009, 20:52

Железо - стараюсь x86, микровтыки, Avila ARM(если нужен wifi, покупаем их у valemount networks - с StarOS). Практически везде пингвин, кроме цисок и прочего уж очень специализированного оборудования. Ну и помоему один игровой сервер - винда.

P.S. Один из шефов постепенно привыкает к линуксу на ноутбуке. Успешно.
Для меня эта война послужила хорошим уроком, все "сертифицированное" американцами, в нужный для них или их союзников момент перестает работать.

Может конечно я и излишне параноидален, но помоему IOS/Windows и прочее бинарное хозяйство может принести неприятные сюрпризы, если в регионе появится конкурент, и в его составе будет акционер имеющий связи в USA government. Поэтому... на мой взгляд лучше всего конечно была бы FreeBSD/OpenBSD, это более открытая система, у пингвинов уже были ляпсусы с бэкдорами, типа do_brk(), внесенными втихаря дырками, но пока BSD не совсем удовлетворяет мои потребности.

Во фре SIP NAT helper есть? Это например вопрос на повестке сегодняшнего дня, у меня.
Дистр - или gentoo(если чтото обьемное), или самосборный на флешке.

У нас ядро сети на 72xx и линуксы на Sun Fire X4100(отличная железка, 4 встроенных гигабита) :) Сеть - не один большой езер, а много небольших сегментов терминирующихся на PPPoE.

262 - USB флешки

jab - нет там никакой загрузки почти, у меня нет "халявного" траффика в сети, в лучшем случае мегабит 80 на интерфейс, потому мониторить нет смысла

http://www.nuclearcat.com/terror/
сегодня нафотал, фотал на ходу, не обессудьте

jab - на большинстве прокси
несколько БД, и один в качестве экспериментального роутера, но пока не сложилось потестить на производительность

С чего ты взял, что это просто роутеры?

Из самого важного я писал ранее:
IPMI 2.0 (в т.ч. веб-интерфейс для него, и собственно отдельный management порт на 100 мбит), SCSI SAS кажется 3'5 диски, дуальный БП, система охлаждения с резервированием, все это в 1U.

http://forum.nag.ru/forum/index.php?sho ... 164&st=340
Предвестник
 



Вернуться в Компьютерный центр



Кто сейчас на конференции

Зарегистрированные пользователи: Yandex [Bot]