维保现场最常见的一句话是「有块盘坏了,换一块吧」。
这句话有一半的时候是对的。另一半的时候,换上去的新盘会在几周之内再次报错,因为坏的从来不是那块盘。过保设备上,这类误判造成的成本比真正的硬件故障还高——件换了,钱花了,故障还在,而且下一次故障发生时,现场的人已经不相信告警了。
下面五种情况,都会以「一块盘坏了」的形态出现在你面前。
一、盘被踢出阵列,但盘本身是好的
现象:某块成员盘被控制器标成 Failed。拔下来接到另一台机器上单独测试,读写正常,SMART 各项干净。
原因:掉盘(drop)和盘坏(fail)是两回事。SAS/SATA 链路抖动、背板连接器接触不良或氧化、扩展卡(expander)超时,都会让控制器在它的超时窗口内收不到这块盘的响应。控制器不会去判断「为什么没响应」,它只会把这块盘判为离线。
怎么判断:看控制器日志里记的是哪一类错误。
Media Error/Uncorrectable Sector—— 盘本身的问题Link Reset/PHY Change/Timeout—— 链路的问题
这两类在日志里是分开记的,不需要猜。
处理:如果是链路类,重点查背板、线缆、扩展卡;这时候换盘只是把故障往后推几周。如果确实是介质类,按同型号同固件替换。
二、SMART 显示正常,盘其实已经在坏
现象:没有任何告警,操作系统不报错,但业务就是慢,偶尔卡顿。
原因:SMART 的告警阈值是厂商设的,很多属性要劣化到相当程度才会翻红。在翻红之前,盘可能已经在大量重试了。
看哪几个值:
- 重映射扇区数(Reallocated Sector Count)
- 待定扇区数(Current Pending Sector)
- 寻道错误率(Seek Error Rate)
- 命令超时计数(Command Timeout)
关键不是当前值,是增长趋势。这几个数字上周还是 0、这周变成 12,就是在坏,不用等它报警。
处理:这是最适合做计划性更换的情况——机器还在正常跑,可以挑业务低峰、可以提前备好件,比等它彻底挂掉再半夜处理从容得多。另外,预测性故障告警(PFA)一旦出现,按已故障处理,不要观望。
三、两块盘同时报错,大概率不是盘的事
现象:同一台机器上两块甚至更多盘在很短时间内同时报错或掉线。
判断依据:单块盘的独立故障是随机事件。两块盘恰好在同一小时内独立失效,概率低到可以忽略。所以「同时」这个信息本身,就指向共享路径。
更可能的原因:背板、扩展卡、线缆、电源纹波。这些是多块盘共用的通路,一处出问题,挂在下面的盘会一起表现异常。
排查顺序:先查共享部件,再怀疑盘。反过来做,会白换一堆好盘,而且换完还会再坏。
四、盘位标错,换下来的是好盘
现象:前面板亮黄灯的物理盘位,和管理界面里的盘编号对不上。换下来一测,是好盘。
原因:盘位编号的起始值和排列方向在不同品牌、不同代机型之间并不统一——有从 0 开始的,有从 1 开始的,有按行排的,有按列排的。远程看到的编号和现场手摸到的位置,不能默认一致。
后果:这一条比前三条严重得多。在 RAID 5 里拔错一块好盘,等于人为制造了第二块盘故障,整组直接垮掉。这不是多花一块盘的钱的问题,是数据的问题。
规矩:换盘之前先点亮定位灯(locate LED)确认物理位置,确认了再动手。换下来的盘贴标签留着,不要当场丢掉——万一判断错了,它是唯一的退路。
这是现场事故里最不该发生、却最常发生的一类。
五、一排盘同时出问题:背板
现象:同一组盘位的硬盘集体报错或掉线,而其他盘位正常。
原因:这些盘共享同一块背板上的供电和信号通道。背板上一处虚焊、一个连接器氧化,挂在它下面的盘会一起遭殃。
怎么验证:把其中一块可疑盘换到另一组盘位上。如果在新位置一切正常,问题就在原来那块背板或它的线缆上。
处理顺序:先换线缆(便宜、快),再考虑背板。背板属于结构件,不同代机型不通用,订货时要核对版本号。
按盘一块块换,是这类故障里最贵也最没有效果的做法。
排查顺序清单
遇到「一块盘报故障」,按这个顺序走:
- 先看日志类型 —— Media Error 还是 Link Reset,这一步就能分掉一半的情况
- 看是不是多盘同时 —— 同时出问题的,先查共享部件,别查盘
- 看 SMART 的趋势 —— 不看当前值,看这几周涨了多少
- 点定位灯确认物理盘位 —— 动手之前的最后一道闸
- 确认要换了,核对替换件规格 —— 型号、固件、扇区格式、托架,缺一不可 (这一条展开见《同型号同容量,为什么装不上》)
- 换下来的件留标签保存,直到确认故障消失
关于备件
上面每一类判断,最后都会落到同一个问题上:要换的那个件,手里有没有,能不能直接上机。
七小服的料号库收录 11,894 个料号,其中 4,786 个为库房常备实物,每一条都记录了品牌、容量、接口、转速、固件基线、扇区格式与可替代料号。入库做 48 小时以上加压测试,出库逐件复测,随件附规格标签与测试报告。
型号能不能查到,可以直接在备件料号速查里搜。查不到的把清单发过来,人工核。
本文描述的是这类设备的常见故障模式,不是某一台机器的具体案例。引用的标准与厂商条款出处见资料与依据。
