风暴于03/03/09爆发,刚好是我check-out槟城之旅的那一天,一早就来的电话,响起紧急的讯号,我顿时起了一种不祥的预感。接着在下午的时候,公司的同事接二连三拨电来,看来情况是没有好转,反而更加严重了,这是我隔天才知道的,因为他们不想搞砸我的假期。
04/03/09,防火墙down了,这道防火墙的服务供应商之前一直不断催我们续约,但是老板却已经向另一供应商洽谈,但却在还未洽谈成之前就down了,也不知道是不是他们搞鬼。问题开始来了,主机房的监察员来信提到,我们的subnet出现一个loop,不断的query主机房的网络系统,造成他们的宽频不足,间接影响到整个网络系统的运作。
05/03/09,工程师怀疑其中一台主机中毒,我们把宽频用量最高的blooming网站暂时关闭,网络实时报告MRTG显示subnet的网络出现舒缓的现象,其他一部分的主机开始运作,但是ping的数度不快,工程师reboot交换机,并解除所有主机的宽频限制,网络宽频飙升到最顶,主机房的监察员要我们在最短的时间解决这件事清,否则将切断这台防火墙的uplink.
06/03/09,主机房的负责人召开会议。第一,了解我们的网络规划方式;第二,解决双方面的网络问题。事后主管倾诉,这是他遇过最有压力的会议。同时,老板买了两枚交换机,在必要的时候,必须换掉旧的交换机。Blooming几乎打爆老板的的手机。
07/03/09,凌晨,新交换机正式取代旧的那枚,网络断了接近2个小时,手机每10分钟响一次,都是同样的人,打了14次,看到他的名字出现在手机荧幕顿时觉得害怕,因为我一直重复同样的答复,我们整个部门的员工都在努力恢复整个网络系统,你需要给我们一些时间整理一些技术性的问题。
08/03/09,终于找出问题的起因,其中一台交换机的port坏了,造成loop query不断产生,由于我们的网络是一个ring network,由一台交换机连接另一台交换机,再连接防火墙。凌晨4点,一共7台主机,从Jaring主机房搬迁到AIMS主机房,当中牵涉IP转换,网页无法显示,还有一些电子邮件遗失的问题。Maslog主机由于卡在主机房的架箱,所以被迫成为“漏网之鱼”,7台主机所占的空间大概有12至13U,大约在凌晨7点,终于完成艰苦的搬迁事宜。
09/03/09,暂时平息,不知道下一波还有什么祸害。
3 comments:
搞网络很累的哦~ :P
緊張!!
有了这次的经验, 下次就知道从何下手啦.... :P
Post a Comment