Why did facebook died

It has died due to a wrong BGP routing update.

Facebook is dead

BGP is the protocol that virtually runs the global Internet.

What has happened is something known as RTBH – remotely triggered blackholing  – RFC5635.

Effectively RTBH is the best and most powerful way to defend your infrastructure from DDOS attacks by blackholing attacks on the edge of your network.

In essence, RTBH could be source or destination-based – e.g to blackhole traffic based on a destination or source address.

A good document to read about RTBH is that one https://www.cisco.com/c/dam/en_us/about/security/intelligence/blackhole.pdf

Also the RFC itself https://datatracker.ietf.org/doc/html/rfc5635

Essentially what facebook most likely did is to blackhole their own DNSes which ultimately shut them down for some hours.

Without DNSes their own mappings between names and addresses disappeared.

DNS has the bad habit to cache as much as possible and as close to the end client as possible which made the problem even worse…

So guys and gurus remember to study about BGP and DNS :)

Posted in Uncategorized | Tagged , , | Leave a comment

3+ години след последния ми пост

След като почти 5 години нищо не написах в собствения си блог е време да напиша нещо. За този период както се казва се сдобих с две деца и куче и както се казва станах един истински нормален средно статистически мъж, съпруг и баща ;)

Niki

През този период нямах време много да пиша, беше луда надпревара между деца, семейство, работа и университет. Почти се отказах от хобитата си дет се вика не съм хващал риба на муха от цяла година а предния сезон ходих само един два пъти.

 

Между временно и COVID-19 ни удари, промени начина на живот на много хора. Включително и моя.  Хората се промениха, стереотипа на работа в офис се промени. Аз започнах да прекарвам много повече време на село, много по-малко да пътувам по света.

За последната година и половина имам само едно посещение на US – Distributech в Сан Антонио, което си е лично за мен рекорд по най-малко пътуване за една година. Малко пътувания, но качествени, благодарение на Стефан се запознах с малко, но много години хора, които пък ме научиха на много важни и интересни неща за ютилити бизнеса.

 

Образованието също се промени – стана в голямата си част онлайн. Личното ми мнение, е че в това има много позитивно (изведнъж бройката на студенти и слушатели в лекциите се вдигна), записаха се доста хора в НБУ от къде ли не. Върнаха се студенти, дет преди това са учили я в Англия я в Германия. За нас преподавателите това беше чудесна възможност да се уверим, че ако ние сме зян, то и колегите навън явно също. Студентите дет се върнаха пак си незнаеха баш като нашите :) тъй че университета мили хора не е критерии – човека е и неговото желание и хъс за развитите. Ако детето ви иска да се развива, ако е любознателно и има интерес и на смет на го хвърлите пак ще стане човек от него. Няма ли и в Харвард да го пратите само си хабите парите, времето и усилията и вашите и неговите.

Ники преподава с шлем

Та отплеснахме се – позитив – дигна се бройката на студентите, почна по-голяма посещаемост на онлайн занятията, негативите – практическите умения си изискват да се седне на ушите на студента и да се му се помага т.е нужна си е и работа в час.

В последните няколко години след като Нокиа си нарита R&D екипа в България (включително и мен като горд негов архитект) започнахме нещо ново и напълно непознато лично за мен – ThingsLog – smart solutions for smart people.

От топа на ITто и R&Dто изведнъж се озовах в разни дълбоки шахти, до разни водомери и с две думи попаднах в ситуация “Ебало си е мамата”. Най-готиното бе, че с колегата Васко не знаехме абсолютно нищо за ютилити бизнеса, за умните измервания, за водомерите и електромерите и за трудностите в тази сфера.

bezmer1

Та скочихме ние в шахтата, направихме купчина устройства, закачихме ги по разни водомери в болници, лудници и общежития снимахме ги с камери с Raspberry Pi, научихме що е то LoRa, NB-IoT и как аджеба да направиш нещо дет да го хвърлиш в някоя дупка и то да работи маса време с батерия от Кауфланд и дет се вика за пореден път учудихме освен нас си и света.

Беше много смешно, в началото се срещнахме с конкурентите ни и те ни казаха, че нямаме никакъв шанс, не разбираме от тоз бизнес, нямаме връзки и какви ли не неща дет явно ни минаха през ушите. Ние пък бавно, полека и методично си подобрявахме продуктите, пуснахме ги  на световния пазар в портали като Tindie и хоп почнаха да ни се обаждат други чичковци с много опит в този бизнес и да искат да пробват нашите.  Пробваха, казаха ни, че сме идиоти и не сме копирали от никого и верно не разбираме от този бизнес и в крайна сметка ни помогнаха точно толкова колкото да тръгнат като хората нещата.

The rest is history – нещата тръгнаха, убедихме и други хора да се включат и помогнат, почнахме да печелим проекти и при нас да идват хора с истински проблеми, на които им трябват решения в нашата област. Беше ни леко смешно в началото, но дет се вика в момента има хиляди устройства насам натам в шахти, мази, покриви и чукари, които всеки ден ловят кражби, течове, наводнения, преливания и в крайна сметка служат и помагат на много хора.

Та с това ми дойде пак музата и е време да продължа да пиша в тоз мой блог!

Posted in IT sector in Bulgaria | Tagged | Leave a comment

Приказка за качествените атрибути на една система, GDPR, Любчето, Вайбър, Замунда и хасанчо, петканчо, рапунцел и разни други

Наскоро се разчу, че търговския регистър го нямало. Опитам аз да пусна фактура и да намеря ответната страна в софтуера, който ползвам и греда не става.

Викам на счетоводителката Любче кво става бе, нещо този бъгав софтуер дет го избра за фактурите не работи, а Любчето вика, ааа не този път регистъра го няма…

Гледам аз и ругая и преписвам от Вайбър разни данни на другата фирма от сниман скриншот. Сигурно още 100 – 200 к хора са били като мен, колко ли фактури са се омазали и т.н.

Същевременно един приятел ми праща пак по тоз добър еврейски тул Вайбъра следното

targovskia

И си викам ех деа, дори и да е истина, супер намериха го търговския и сега поне могат да си го дръгпнат и да го възстановят :)

Иначе този същия ми праща и друго

https://scontent-frx5-1.xx.fbcdn.net/v/t1.0-9/39154818_519521585137074_6298258897484382208_n.jpg?_nc_cat=0&oh=7c0f96479d92655a644f69df789a17e7&oe=5BF33BCB

Мисля си, че след като им ударят по една прическа на паница няма нужда нито от повече думи, нито от оставки.

То туй то че сме объркали фактурите ама лични данни, ала бала, GDPR (4%) от оборота, европейски директиви, ейй за нищо ги нямат деа.

Та може би е добре Хасанчо, Петканчо, Любчето и много други да вземат да поискат от държатата тия 4% и да вземат да ги похарчат за нещо разумно (примерно китайски стоки от по левче) така ще инвестираме в китайската икономика и китайците ще дойдат да ни турят един търговски регистър като хората.

Но като хората в живота няма. Там се учи и чете и се вземат последователни решения на база на аргументи и изсквания съответно има там едни курсове по архитектури, дет се учат едни качества на системата.

Ако може някой да напише какви би трябвало да са качествените атрибути на тази на търговския, ще му бъда безкрайно благодарен, белким някой прочете и се вразуми….

 

 

 

Posted in Architectures for Software Systems, IT sector in Bulgaria | Leave a comment

“Vitaly rules google” vs “Congratunations to Trump and all americans”

Vitaly vs Trump

Oh… so interesting . Now I really understand why Trump won the elections.  He really manipulated google analytics with some help of some handsome guy called Vitaly :P

Some people are posting that the future of Internet is NFV, SDN and other blah, blah. Well guys the future of Internet is much more the Vitaly, DDOS and a lot of unwanted content that all those virtual things.

Posted in Uncategorized | Tagged | Leave a comment

The beauty of network engineering

netTransformer

The beauty of network engineering

The diagram is generated with netTransformer

docker pull itransformers/nettransformer

Posted in Uncategorized | Tagged , , | Leave a comment

Some toughts on SDN/NFV, SDNv2

I went on a networking conference that was not really for networking but for “networking”. One of the speakers stated that we have to share something after the lecture. Well I am dealing with ip & telecom networking for more than 15 years :( and with software for at least from 10 and I am really confused about those couple of acronyms.

SDN has come and now everybody is crazy about it. Vendors dream, service providers participate, everything is API driven, if you wish even based on microservices and as thus virtual as possible.  Controllers are clever and switches are dump and everything is coming up roses..

However how many of you that will read that post has really used either SDN or NFV in building a carrier grade network or service  offering? How many have deal with ephemeral routes and rules. Prove me wrong but actually … most likely not that many…

NFV is a ton of specs and a few real lines of code …. For example check http://opnfv.org/ and its projects codebase :) Besides that network operators offer shared virtualized network services for a ton of ages and with some more talent those could be exposed over an API through “something” typically an OSS fulfillment platform.

SDN is so cool and useful so that its original author started already to patch it…

https://www.sdxcentral.com/articles/news/scott-shenker-preaches-revised-sdn-sdnv2/2014/10/

Don’t get me wrong.  SDN/NFV acronyms that are here to change the mindset of the networking community and they already did so.

They have brought some positive stuff like API driven network devices, network centric models, model driven network service development easier OSS/BSS integration.  API driven “encapsulation” kind of a an overlay networking is a rule atm. Community driven development (now all the big guys work on certain key open-source projects together instead of well closed proprietary full stack solutions).

They will also bring some very bad stuff as network wide control plane centralization, buggier controllers, bad network outages. Some friends say that virtual networks are like virtual ice-creams :) . Also customers don’t really want virtual shared shit. They prefer  the words solid, physical, dedicated :)

In my opinion in the end SDN/NFV will be yet another NGN/IMS in the never ending process of the network evolution and who atm still remembers the NGN or IMS ….

I doubt that many of the current standards will stay, what will stay is some of the concepts and hopefully some of the open source projects related to SDN/NFV networking.

Again maybe not that many people :)

 

Posted in Network Architecture Evolution | Tagged , , | 2 Comments

About the monkeys and the Cisco certificates

You are a well educated network engineer, a real CLI worrier that has passed all Cisco CCNA, CCNP and even CCIE network certificates. Let’s say you are on the top of the food chain in network engineering. You know everything about EIGRP and how to migrate to EIGRP, you do even better knowing VTP and CDP with other words you are the top of the food chain a real CLI warrior ;)

With that post I would like to ask you do you know RFC bro?  Have you heard about IMPS?

No :( Come onnnnnn :)

Monkey-eats-a-certificates

Then you should  eat your certificates and read that.

It is one of the oldest protocol RFCs still unchanged or replaced by a newer version :)

It explains a bit about CLI and automation. Nowadays is not sufficient to be simply a CLI warrior you should be able to automate networks and integrate networks with applications. The static CLI stuff that we all know is still there but is slowly diminishing :)

All that sounds cool and SDN like. Well the only issue is that we don’t have that many SDN networks and EIGRP is still present ;)

In that sense we released a couple of useful libraries (expect4java & expect4groovy) that might help to those of you that has to integrate enterprise applications and web-portals with live “non” SDN monkey style :) networks.

They don’t do more from what the standard expect does however they will allow you to integrate your java enabled applications with your CLI networks relatively easy.As an advantage to other java world expect integrations they will allow you to expect nested CLI statements as the one so typical for Cisco CLI.

Posted in SDN | Tagged , , | Leave a comment

За Cloudflare, ЦИК и прокурорите

Викам си дай да видя дали са си взели едно на ум тия дето се занимават с сайта на ЦИК. Еми не…

Screen Shot 2015-11-01 at 2.18.24 PM

 

Абе както се казва ейй ЦИК имайте малко жал и към хакерите бе. Дайте им поне малко предизвикателство. А вие ги мъчите с cloudflare ;) то те така добре ви пазят, че след 10 мин ми се зареди снапшота, идващ от тях…

Screen Shot 2015-11-01 at 2.21.21 PM

Та за самия снапшот. Нима той не подменя вашия сайт или пък аз се бъркам? И нима подобна подмяна не е това, което всеки уважавщ себе си хакер от тип селски зевзек не би искал да направи в изборния ден ?

Сега да си представим, че Cloudflare не е случайна организация и не случайно пази сайта на Белия дом… Та да видим дали в конкретна ситуация Белия дом да речем не би пожелал да повлияе на даден изборен резултат в дадена държава като да речем Булгаристан ?!? Да идем малко по далеч и да си помислим, че в 14:00 някой “зевзек” от CloudFlare реши не просто да сложи snapshot, а лекинко да го промени и да пише примерно текущия резултат от изборите е “Болен 70%, Барбойко 20%, мура ми янко 10 %” и т.н.  Та за туй…. Алоо я са събудете бе… Не може да давате на външна организация да ви подменя DNS рекордите, да и давате право, да го играе прокси между вас и останалия свят и даже да може да ви подменя сайта когато си поиска и да показва каквото си поиска….За туй все си мисля, че хората избрали и подписали се под подобно решение за защита на правителствени портали с национално значение като да речем сайта на ЦИК или на президента май са си за прокурор или пък за публично обругаване с домати от Николай Колев босия :) знам ли…

Posted in IT sector in Bulgaria | Tagged , , | 2 Comments

За гащите, ЦИК и безпрецедентните DDOS атаки послепис

Четох из разни сайтове, че силата на атаката била едновременни 65 000 000 потребителски сесии.

Интересно че сайтове като digitalattackmap дори не са отчели атаката….

Все пак си  там хората са написали, че картата е на база на топ 2% от атаките. Явно нашата липсва :), но примерно този ден е била отчетена атака срещу Румъния.

Не че този сайт е някакъв страшен фактор, но странна работа, прокрадва се съмнение, че атаката далеч не е била чак толкова безпрецедентна и масирана :)

Screen Shot 2015-10-27 at 11.01.15 AM

Posted in IT sector in Bulgaria | Leave a comment

За гащите, ЦИК, хакерите и безпрецедентните DDOS атаки

Както се казва ЦИК, Държавата и Информационно обслужване ги одрусаха. Това не се случва за пръв път – да си припомним случая със системата за детските градини. Сигурно има и други само дето аз не ги знам. Та DDOSа било нарочен или случаен :) си е кофти често срещано явление в световния Интернет което се прави обикновено с комерсиална и/или политическа цел. То си е фундаментален проблем на Интернет още от сравнително ранните му години. Тия милиони сесии срещу сайта цитирани в сайта дет се вика може да са предизвикани от не чак толкоз виртуални машини в някой облак. Дет се вика една една виртуалка, на която върви простичък туул като nc, или да кажем по сложен като ab с -c 100 като параметър, може да сътвори чудеса за час със напълно легитимни заявки. Пък да не говорим, ако виртуалните машини не са виртуални и  са много.

Одрусаха ги защото те и доставчиците, които те използват явно не се научиха, че Cloudflare не може да ги спаси от дупката в гащите. Т.е железни гащи трябват, но в тях винаги има дупка и през дупката понякога често се случва да влязат разни неща. Понякога те са малки подли пи.ки, а понякога дебели черни турове.

Спасението е едно единствено добър външен peering, добра синхронизация с upstream доставчиците и разбира се прилагането на RTBH.

За хората, които не знаят RTBH е простичка методология за пращане на трафик в черни дупки (не баш кат тия на гащите им). Тя позволява трафика на атакуващия да бъде спрян максимално близо до мястото където той се генерира. Това понякога е възможно и понякога не е.

За по незапознатите Cloudflare (решението на което Информационно бяха заложили) не е спасение. За хората посетили днес сайта на ЦИК, той показваше snapshot, на реалния сайт генериран от cloudflare 4-5 часа преди реалното време. Че що му е на човек да гледа изборни резултати с 4-5 часа закъснение?

Когато не е и паниката ни е завладяла за да се избегнат туровете, най-добре е атакувания да се скрие. Обикновено идеята е да се скрие за всички навън включително и атакуващите от Турция, Виетнам, Таджикистан и къде ли още не, но да остане видима за хората в дадената държава и за клиентите на дадения оператор.

Какво им пречеше на тия хора аджеба да скрият сайта на ЦИК за всички отвън или да кажем за всички дет не са част от БГ пиъринга (така известен като  Български Интернет) и да остане видим за всички в него. Нима по време на избори над 95% от всички посещаващи този сървър да не са в България? Дори и да има някой Българин навън интересуващ се от резултата, не се притеснявайте за нето. Те повечето си имат VPN при приятели и си теглят филми от замунда, тъй че едва ли ще имат проблем да видят сайта, ако чак толкоз много ги интересува.

Та в такива случай какво се прави:

Стъпка 1: Операторите са конфигурирали черни дупки на краищата на техните мрежи. Черната дупка е адресно пространство което сочи към /dev/null. Конфигурира се също и uRPF (Unicast Reverse Path Forwarding) – механизъм за отстраняване на трафик, ако идва от място от което не го очакваме.

Стъпка 2: Операторите конфигурат некоя стара цисковска бангия от порядъка на 3620 или пък 2611 :) да го играе тригер. Тригера отравя мрежата с маршрут, който казва, че атакувания или атакуващия сочи към адресното пространство предварително конфигурирано да сочи към /dev/null.

Стъпка 3: ЦИК и информационно почват да пищят, атакуват ни от майна си.

Стъпка 4: Паниката почва да тресе и сайта на ЦИК се насочва към  черната дупка. Това става чрез дърпане на спусъка с маршрут който казва че ЦИК сочи към адресното пространство което пък от своя страна сочи към черната дупка.

Това ни действие изглежда парадоксално, но то води до отстраняване на целия външен трафик на границата на нашата мрежа към ЦИК. Съответно за клиентите на оператора могат да си достъпват портала на ЦИК, а другите кучета ги яли. Под другите се разбира тия дет не са част от БГ Интернет.

Стъпка 5: Анализ на трафика на атакуващите. За целта обикновено се пуска  тънка струйка от трафика (грижливо подравнена и ограничена по метода на пробитата кофа )…  Подбор на ИП адресите, които са ни атакували и преминаване към насочване на тях към черната дупка. Т.е постепенно откриваме атакувания, но бързичко изтребваме по-подозрителни източници на трафик към него.

Стъпка 6: Атаката постепенно отслабва (все пак хората си имат и друга работа, сигурно някой някъде открива я хотел, я казино или пък има избори в Зимбабве) и е време администраторите да ходят да пият бира.

Стъпка 7: Метода не използва скъпо оборудване,  защитни стени, IPS (Intrusion Prevention systems), IDS (Intrusion Detection systems) и т.н. написаното в сайта на news.bg изявление “По тази причина компанията предварително била осигурила възможно най-ефективната и модерна защита на инфраструктурата от подобни атаки чрез технологии и софтуер, които се използват от институции като Белия дом, например.” по скоро подсказва за зле свършена работа, пари загробени в кутии и услуги, които нямат особен смисъл да се използват преди да си направил А и Бто.

А то Аи Бто е описано в RFC документ на обществото на Интернет инженерите като документа е под номер 5635.

 

В заключение: Извинявам се за леко пиперливия език използван в този блог пост. Надявам, хората отговорни за въпросния портал (от бизнес и техническа гледна точка) да прочетат поста и дай-боже да си вземат поука. Да не ползват разни чужди решения (те може и да пазят Белия дом, но вие сте им примерно 100000 клиент и едва ли ги е много еня за вас), а да разчитат на себе си. Надявам се също държавен обществено значим сайт да не бъде хостван никога в инфраструктура, която няма ясно изписани политики за DDOS защита.  В идеалния вариант тези политики трябва да са достъпни през API, а обществения сайт трябва да има начин да засича атаките и да сигнализира за атаката, консумирайки API интерфейса на доставчика за проблемния клиент.

В крайна сметка се надявам в близките 5-10 години да не прочета и да не чуя за страница на Българска държавна институция, която да е срутена по подобен начин.

 

 

 

 

 

Posted in IT sector in Bulgaria | 1 Comment