一块盘报故障,什么时候不该换盘

by

in

维保现场最常见的一句话是「有块盘坏了,换一块吧」。

这句话有一半的时候是对的。另一半的时候,换上去的新盘会在几周之内再次报错,因为坏的从来不是那块盘。过保设备上,这类误判造成的成本比真正的硬件故障还高——件换了,钱花了,故障还在,而且下一次故障发生时,现场的人已经不相信告警了。

下面五种情况,都会以「一块盘坏了」的形态出现在你面前。

一、盘被踢出阵列,但盘本身是好的

现象:某块成员盘被控制器标成 Failed。拔下来接到另一台机器上单独测试,读写正常,SMART 各项干净。

原因:掉盘(drop)和盘坏(fail)是两回事。SAS/SATA 链路抖动、背板连接器接触不良或氧化、扩展卡(expander)超时,都会让控制器在它的超时窗口内收不到这块盘的响应。控制器不会去判断「为什么没响应」,它只会把这块盘判为离线。

怎么判断:看控制器日志里记的是哪一类错误。

  • Media Error / Uncorrectable Sector —— 盘本身的问题
  • Link Reset / PHY Change / Timeout —— 链路的问题

这两类在日志里是分开记的,不需要猜。

处理:如果是链路类,重点查背板、线缆、扩展卡;这时候换盘只是把故障往后推几周。如果确实是介质类,按同型号同固件替换。

二、SMART 显示正常,盘其实已经在坏

现象:没有任何告警,操作系统不报错,但业务就是慢,偶尔卡顿。

原因:SMART 的告警阈值是厂商设的,很多属性要劣化到相当程度才会翻红。在翻红之前,盘可能已经在大量重试了。

看哪几个值

  • 重映射扇区数(Reallocated Sector Count)
  • 待定扇区数(Current Pending Sector)
  • 寻道错误率(Seek Error Rate)
  • 命令超时计数(Command Timeout)

关键不是当前值,是增长趋势。这几个数字上周还是 0、这周变成 12,就是在坏,不用等它报警。

处理:这是最适合做计划性更换的情况——机器还在正常跑,可以挑业务低峰、可以提前备好件,比等它彻底挂掉再半夜处理从容得多。另外,预测性故障告警(PFA)一旦出现,按已故障处理,不要观望。

三、两块盘同时报错,大概率不是盘的事

现象:同一台机器上两块甚至更多盘在很短时间内同时报错或掉线。

判断依据:单块盘的独立故障是随机事件。两块盘恰好在同一小时内独立失效,概率低到可以忽略。所以「同时」这个信息本身,就指向共享路径。

更可能的原因:背板、扩展卡、线缆、电源纹波。这些是多块盘共用的通路,一处出问题,挂在下面的盘会一起表现异常。

排查顺序:先查共享部件,再怀疑盘。反过来做,会白换一堆好盘,而且换完还会再坏。

四、盘位标错,换下来的是好盘

现象:前面板亮黄灯的物理盘位,和管理界面里的盘编号对不上。换下来一测,是好盘。

原因:盘位编号的起始值和排列方向在不同品牌、不同代机型之间并不统一——有从 0 开始的,有从 1 开始的,有按行排的,有按列排的。远程看到的编号和现场手摸到的位置,不能默认一致。

后果:这一条比前三条严重得多。在 RAID 5 里拔错一块好盘,等于人为制造了第二块盘故障,整组直接垮掉。这不是多花一块盘的钱的问题,是数据的问题。

规矩:换盘之前先点亮定位灯(locate LED)确认物理位置,确认了再动手。换下来的盘贴标签留着,不要当场丢掉——万一判断错了,它是唯一的退路。

这是现场事故里最不该发生、却最常发生的一类。

五、一排盘同时出问题:背板

现象:同一组盘位的硬盘集体报错或掉线,而其他盘位正常。

原因:这些盘共享同一块背板上的供电和信号通道。背板上一处虚焊、一个连接器氧化,挂在它下面的盘会一起遭殃。

怎么验证:把其中一块可疑盘换到另一组盘位上。如果在新位置一切正常,问题就在原来那块背板或它的线缆上。

处理顺序:先换线缆(便宜、快),再考虑背板。背板属于结构件,不同代机型不通用,订货时要核对版本号。

按盘一块块换,是这类故障里最贵也最没有效果的做法。

排查顺序清单

遇到「一块盘报故障」,按这个顺序走:

  1. 先看日志类型 —— Media Error 还是 Link Reset,这一步就能分掉一半的情况
  2. 看是不是多盘同时 —— 同时出问题的,先查共享部件,别查盘
  3. 看 SMART 的趋势 —— 不看当前值,看这几周涨了多少
  4. 点定位灯确认物理盘位 —— 动手之前的最后一道闸
  5. 确认要换了,核对替换件规格 —— 型号、固件、扇区格式、托架,缺一不可 (这一条展开见《同型号同容量,为什么装不上》)
  6. 换下来的件留标签保存,直到确认故障消失

关于备件

上面每一类判断,最后都会落到同一个问题上:要换的那个件,手里有没有,能不能直接上机。

七小服的料号库收录 11,894 个料号,其中 4,786 个为库房常备实物,每一条都记录了品牌、容量、接口、转速、固件基线、扇区格式与可替代料号。入库做 48 小时以上加压测试,出库逐件复测,随件附规格标签与测试报告。

型号能不能查到,可以直接在备件料号速查里搜。查不到的把清单发过来,人工核。


本文描述的是这类设备的常见故障模式,不是某一台机器的具体案例。引用的标准与厂商条款出处见资料与依据

Discover more from 七小服 Seven Small Services

Subscribe now to keep reading and get access to the full archive.

Continue reading

七小服(北京)网络科技有限公司 · 京ICP备16066256号-1