//

2009/03/10

网络风暴

最近精神有点恍惚,自槟城回来到今天为止,刚刚好是一个星期。在一个星期前,公司下榻的主机房出现了前所未有的问题,甚至老板也出动处理解决这件事情,我把这件事情称之为“网络风暴”。

风暴于03/03/09爆发,刚好是我check-out槟城之旅的那一天,一早就来的电话,响起紧急的讯号,我顿时起了一种不祥的预感。接着在下午的时候,公司的同事接二连三拨电来,看来情况是没有好转,反而更加严重了,这是我隔天才知道的,因为他们不想搞砸我的假期。

04/03/09,防火墙down了,这道防火墙的服务供应商之前一直不断催我们续约,但是老板却已经向另一供应商洽谈,但却在还未洽谈成之前就down了,也不知道是不是他们搞鬼。问题开始来了,主机房的监察员来信提到,我们的subnet出现一个loop,不断的query主机房的网络系统,造成他们的宽频不足,间接影响到整个网络系统的运作。

05/03/09,工程师怀疑其中一台主机中毒,我们把宽频用量最高的blooming网站暂时关闭,网络实时报告MRTG显示subnet的网络出现舒缓的现象,其他一部分的主机开始运作,但是ping的数度不快,工程师reboot交换机,并解除所有主机的宽频限制,网络宽频飙升到最顶,主机房的监察员要我们在最短的时间解决这件事清,否则将切断这台防火墙的uplink.

06/03/09,主机房的负责人召开会议。第一,了解我们的网络规划方式;第二,解决双方面的网络问题。事后主管倾诉,这是他遇过最有压力的会议。同时,老板买了两枚交换机,在必要的时候,必须换掉旧的交换机。Blooming几乎打爆老板的的手机。

07/03/09,凌晨,新交换机正式取代旧的那枚,网络断了接近2个小时,手机每10分钟响一次,都是同样的人,打了14次,看到他的名字出现在手机荧幕顿时觉得害怕,因为我一直重复同样的答复,我们整个部门的员工都在努力恢复整个网络系统,你需要给我们一些时间整理一些技术性的问题。

08/03/09,终于找出问题的起因,其中一台交换机的port坏了,造成loop query不断产生,由于我们的网络是一个ring network,由一台交换机连接另一台交换机,再连接防火墙。凌晨4点,一共7台主机,从Jaring主机房搬迁到AIMS主机房,当中牵涉IP转换,网页无法显示,还有一些电子邮件遗失的问题。Maslog主机由于卡在主机房的架箱,所以被迫成为“漏网之鱼”,7台主机所占的空间大概有12至13U,大约在凌晨7点,终于完成艰苦的搬迁事宜。

09/03/09,暂时平息,不知道下一波还有什么祸害。

3 comments:

Kai and Baobei said...

搞网络很累的哦~ :P

小鎮 said...

緊張!!

Then-Kiong's said...

有了这次的经验, 下次就知道从何下手啦.... :P

IP address