弃用华为设备后，法国Orange全国断网9小时（下）

3.4 工具三：降额设计

降额设计，是可靠性设计里最朴实、也最管用的一招。它的意思显而易见：让元器件实际承受的应力，低于它的额定值。一个电容额定耐压50伏，实际工作只让它跑到30伏上下，失效率就会明显下来。

1）应力比与三级降额

降额的核心指标是应力比，也就是实际应力与额定应力的比值。业界把降额分成三个等级：一级降额最严，功率降额系数控制在0.5到0.6，适用于高可靠性要求的场合；二级降额中等，系数0.6到0.75，适用于一般工业应用；三级降额最宽松，系数0.75到0.8，适用于成熟的标准设计。商用产品通常按额定值的七到八成来用，军用和航空航天则收紧到四到六成。

降额等级	适用场合	功率降额系数（实际／额定）
一级（最严）	高可靠性要求场合	0.5～0.6
二级（中等）	一般工业应用	0.6～0.75
三级（最宽松）	成熟的标准设计	0.75～0.8

2）温度每升10℃，寿命掉一半

半导体的失效概率跟工作应力，尤其是结温是指数关系。经典的阿伦尼乌斯模型给过一个经验规律：温度每升高10摄氏度，器件寿命大约缩短一半。降额的本质，就是通过压低电压、电流这些电应力，控制住结温，把器件从临界状态拉回来，同时给个体差异、批次波动、参数长期漂移留出缓冲。

但要注意的是：降额不是越狠越好。降得太少没效果，降得太狠，选型成本上去了，热设计的可行性也跟着受影响。

3.5 工具四：共因失效分析与故障域隔离

这一条，恰恰是Orange这次的事故元凶。

1）β因子模型：冗余的可用度，有天花板

冗余是解决单点故障的老办法，一台不够就上两台，一个机房不够就上两个机房。可冗余系统最怕的，是主备系统因同一个原因一起倒下。工程上用共因失效分析来量化这个风险，最常用的模型是β因子模型，国际电工委员会的功能安全标准IEC 61508就采用它。

它的思路是：把一个部件的总失效率，拆成两部分，一部分是只影响自己的独立失效，另一部分是会同时影响所有同源部件的共因失效，共因失效所占的比例，就是β因子。β取值越高，说明冗余的几套东西越同源，冗余越没有大的价值。

这个模型能推出一个有用的结论：N条互为冗余的路径，如果彼此独立，系统可用度会随着N增大迅速逼近1；可一旦存在共因，系统可用度就被共因发生的概率封了顶，公式写出来是A≤1－P(c)。换句话说，共因概率成了可用度的天花板，跟冗余度多高几乎没关系。

Orange断网事故里，主系统和备份系统跑同一版本诺基亚软件，两套设备共享同一个软件缺陷，共因概率P(c)高得离谱。这种时候，你就算是布置三套、五套备份，也顶不上用。加冗余只在故障彼此独立的时候才有线性收益，碰到了共因，就成了竹篮打水一场空了。

2）故障域四层

那么，共因都藏在哪儿？做可靠性设计的人，习惯先划故障域。故障域就是“会因为同一原因一起失效”的范围，来源大致分四层。第一层是物理载体，同一条光缆、同一个管道、同一个机房入口、同一条电力分区。第二层是变更操作，同一个维护窗口、同一个操作者、同一个自动化脚本的爆炸半径。第三层是控制平面，同一次配置、策略或者配额推送，可以跨区域同时生效。第四层是区域和供应商，单地域、单云、单运营商本身就是一个故障域。

这四层里，最常被忽略的，恰恰是第二层和第三层，也就是变更操作和控制平面。Rogers那次事故，根因就是一次变更操作，误删了一条过滤器，一个动作把整条链路清零；AT&T那次，是变更流程缺乏同行评审。它们的共同点是，出问题的不是设备本身坏了，而是人改了什么。这类共因，最容易被排除在容灾模型之外，杀伤力却最大。

3）三平面核验，和异构冗余

真正的故障域隔离，要求在数据、控制、管理三个平面上分别检查独立性。数据平面两条路径独立，不代表控制平面和管理平面独立，它们可能仍共享同一套身份认证、同一套域名解析、同一条证书信任链、同一个时间同步源，或者同一个变更编排平台。任何一个共享点，都是一条潜在的共因路径。

在设备层面，去相关的手段也很具体：主备用不同版本或者不同实现的软件，走不同的物理路由，用不同的供电，尽量避开同型号、同批次的器件。硬件和机械领域，则有表决冗余，三取二，抵消单个部件的偶发故障。

这些做法在电信设备里是有体现的。核心网的关键部件按冗余设计，冗余之间刻意做异构，避开同源；网元支持在线升级不断业务，升级过程分批，一次变更的爆炸半径有明确上限；再加上过载控制，让设备在流量洪峰面前能先保护自己，而不是直接躺平。

3.6 工具五：HALT与HASS

设计上做得再好，最后也要拿试验验证一遍。传统可靠性试验慢得让人着急，一轮做下来半年到一年。而HALT的出现改变了这个节奏。

HALT的全称是高加速寿命试验，1988年由Gregg K. Hobbs提出。它不是模拟真实使用环境的合规测试，而是用远超过规格的阶梯式应力，去逼出产品的工作极限和破坏极限。做法上，温度在强迫风冷或者液氮的帮助下，可以从零下80摄氏度一直拉到摄氏125度以上；温变速率能到每分钟45摄氏度；振动是多轴随机的，用六自由度振动台，量级能上到60Grms。低温步进、高温步进、快速热循环、振动步进、综合应力，一项一项往上加，加到产品失效为止。

每失效一次，就停下来做失效分析，找到根因，改设计，再拉回来重测。改完再测，测完再改，循环几轮，直到工作极限被推到规格之上、还留出相应的余量。这么一轮下来，一款新样机通常能找到五到十五个设计弱点，这些弱点，靠算平均无故障时间的数学方法是算不出来的。

HALT的结论还能往下传，用来制定HASS，也就是高加速应力筛选。HASS把HALT测出来的破坏极限打个对折，用这个力度对每一台出厂产品做筛选，把制造过程引入的瑕疵提前挑出来。国标GB/T 29309-2012对这套方法有专门规范。

3.7 工具六：可靠性建模与仿真

可靠性建模的思路，是用数学模型把各模块的失效概率和相互影响串起来，算出整个系统大概能有多可靠。

常用的模型有可靠性框图，也就是RBD，串并联、N中取K这些结构都能表达，做指标预计和分配够用。如果要比较不同设计方案的可靠性差异，比如给方案加一套故障检测，可靠性会提升多少，就得把RBD和马尔可夫模型结合起来用。建模还有个很好的作用，能把“整个系统要五个九”这种大指标，一层层拆到功能模块，再拆到具体设计规格。哪些模块必须冗余，哪些场景必须能自动恢复，先算清楚再动手设计，比拍脑袋强。

3.8 工具七：故障注入与应急演练

故障注入，就是在受控环境里，主动把故障打进系统，看它会怎么反应，看故障检测能不能报出来，看主备切换能不能切过去，看切回来会不会再抖一次。软件行业管这叫混沌工程，本质是同一件事：与其等共因在某一天突然找上门，不如自己先主动制造环境让它出现。

配合着做的还有应急演练。光有纸面上的预案是远远不够的，得真拉一群人跑一遍，看多久能定位、多久能恢复、跨部门的信息怎么传。Optus那次，五个用户打来电话说紧急电话不通，客服只是记了一笔没上报。如果预案演练里包含“一线反馈如何越级上报”这条，事故的走向可能会完全不同。

四、华为支撑网络连续性的三大绝招之二：ITR

华为三大绝招之一的DFR，目的是“别让故障发生”。可做工程的人都明白一个道理：设计再周全，也挡不住所有意外。设备会老化，软件会冒出新的漏洞，人操作时手会抖一下点错了。真正让华为和诺基亚们拉开差距的，不是谁的产品永远不坏—那是童话，而是坏掉的那一刻，谁能更快把业务恢复起来。法国人灰暗的九个小时里，最扎心的其实不是断网本身，是九个小时都没恢复正常。所以这一章，得讲华为的另一条绝技：ITR。

4.1 ITR：华为压箱底的第三条主流程

1）IPD、LTC、ITR，桌子稳固的三条腿

华为把一家超过20万人的巨型公司的运转，抽象成三条主流程。第一条叫IPD，管产品怎么从想法变成能卖的东西；第二条叫LTC，管商机怎么变成合同、合同怎么变成回款；第三条叫ITR，管东西卖出去、用户用起来之后出了问题，怎么从“问题”走到“解决”。ITR的全称是Issue to Resolution，直译过来就是从问题到解决。

这三条流程，不是三段互不相干的部分，而是一张桌子的三条腿。IPD决定做什么产品，LTC决定怎么把它卖出去、把钱收回来，ITR决定客户用完之后，还愿不愿意继续掏钱。少一条腿，桌子就会不牢靠。

ITR这个和西方厂家的差异化绝招，华为是花了大力气才练出来的。2011年，它启动ITR流程变革，把客服、营销、研发之间那堵墙拆了，让一个客户问题能在部门之间顺畅地跑起来。再往前追，华为还是小厂的时候，压根没资格跟巨头比技术。有一个客户原来用爱立信，爱立信是瑞典公司，周末不上班，设备一出问题就找不到人。而华为替换了爱立信之后，7×24小时响应，随叫随到，靠着这种贴身式保姆服务，华为硬是从老牌巨头手里撬了不少市场过来。

2）七个阶段：一个问题处理的全流程

ITR把每一个问题，都当成一个有生命周期的对象来管。从客户报上来的那一刻起，它就有了唯一编号，一路走完七个阶段：提交与受理、分类与定级、指派与分诊、处理与监控、验证与关闭、复盘与回溯、知识沉淀。

每个阶段都有明确的输入、输出、责任人和操作标准。受理阶段，输入是客户的原始描述，输出是一张受理记录单，责任人是服务台或者一线工程师，标准里写着响应时间不能超过多少分钟、信息录入完整率要达到百分之百。处理阶段，状态必须在待受理、定位中、已解决、待验证、已关闭之间流转，每一次状态变化，都得有一个真实的动作发生着，不许靠人为设置到新状态。

通过这套精细的标准化服务，任何一个问题，在任何时刻，你都能立刻回答三句话—现在问题处理走到哪一步了、下一步什么时候做、谁在负责。反观不少团队的现场是什么样？一个故障在群里喊半天，谁有空安排谁接；处理完不验证就关单，用户第二天再报一次；紧急问题没人敢拍板，只能等领导关注和介入。

3）分级定级：把资源砸在最该砸的地方

ITR里最关键之一，是问题分级。不是所有问题都需要用一班豪华阵容去处理。它按影响范围、业务重要程度、紧急程度，把问题切成不同等级：一个用户的配置小毛病，一线工程师按知识库十几分钟解决，不必惊动专家；一个可能影响大片区业务、还在持续恶化的故障，直接定到最高优先级，二线、三线的人（注：指的是区域业务专家和研发专家）当场被拉进会议室。资源有限，就得花在刀刃上。所有问题一视同仁，结果一定是紧急的被简单的堵在门外。

跟分级绑在一起的，是SLA和OLA这两个词。SLA是服务级别承诺，是对客户的，白纸黑字写着什么级别的问题、多长时间内响应、多长时间内解决；OLA是运营级别协议，是内部各部门之间互为支撑的约定—研发什么时候必须交出补丁，供应链什么时候必须把备件发到客户。Orange的合同里写着两个工作日内恢复服务，这次十小时内解决，条款上挑不出毛病，可用户的信任度，已经打了无数个问号了。

4）一线、二线、三线：把问题交给对的人

ITR的技术支撑是分层搭起来的。一线是一批懂技术、有经验的工程师，处理常见问题和一般故障，按标准方案和知识库就能搞定，是绝大多数问题的终点站。二线是各专业领域的专家，一线啃不动的硬骨头转上来，他们做的是深度定位和技术指导。三线就是研发团队本身—二线也没辙的时候，研发从产品代码层面找根因，出补丁、出版本，从源头把问题解决掉。

5）双循环与三个闭环

ITR里还有个特别聪明的设计，叫双循环。一个循环面向单次事件，目标只有一个：把业务先恢复过来，衡量指标叫MTTR，平均恢复时长。这个循环里不追根因，先活下来再说。另一个循环面向重复故障和重大隐患，目标是让它别再犯，看的是问题关闭率和复发率。

关键在这两个循环是并排跑的，不是先救完火再去慢慢查火源。一个故障在处理过程中，一旦被判定成重大事件，或者看出有反复发作的苗头，问题管理流程当场就被拉起来。救火和查火源，同时开工。这样一来，“这个月修好了、下个月换个客户又重复一遍”的恶性循环，才有机会被掐断。

跟双循环配套的，是三个闭环。第一层是问题闭环，把事解决掉；第二层是质量闭环，针对反复发生的问题和重大隐患，推动研发、生产、供应链去改产品、改流程，让问题不再发生；第三层是能力闭环，靠案例库、知识库、培训认证，把一次次实战经验，沉淀成组织的肌肉记忆。大部分公司只做完了第一层，还常常做不完整。华为把后两层也做成了制度动作，问题才会越处理越少，队伍能力越来越强。

4.2 主动维护子流程：把故障消灭在发生之前

ITR里有一条子流程，像扁鹊的大哥一样专门负责“把可能的问题扼杀在摇篮里”。这个子流程，才是华为设备“很少出大事”最直接的答案。

华为的主动维护，是在设备的正常运行过程中，定期进行检查、保养，及时发现并消除潜藏的缺陷和隐患，让系统能长期安全、稳定、可靠地跑下去。说白了，就是给网络做定期体检。

体检分两档。日常例行维护，每天都做，看告警、看设备运行状态、看接口和链路。定期例行维护，周期长一些，检查供电系统、接地系统、除尘这些平时不太看的角落。要盯的维度包括：硬件状态、资源利用率、接口链路、路由协议、日志告警、安全配置。设备层级不同，节奏也不同—核心设备每天或每周查一遍，汇聚和接入层可以放长周期，交给网管平台盯着。

4.3 故障快速恢复

1）应急响应也分级

出了网络事故后第一件事不是扑上去修，是给事故定级。华为的告警和事故分了好几档，响应时限跟着等级走：紧急的，十五分钟内必须动起来；重要的，一个小时；次要的，四个小时；提示类的信息，可以放到二十四小时。分级不是走形式，它决定了谁来接、投多少资源、按什么节奏对外通报。一个全国性的核心网瘫痪，和一个省内的单点故障，绝对不能排进同一个优先队列。分错了级，要么小题大做浪费资源，要么大事被当成小事，白白浪费掉最宝贵的头几个小时。

2）三板斧：先定界，再动手

华为的应急维护文档里，有一套故障快速定界的方法，俗称“三板斧”。第一斧，通过告警快速定界，把故障圈到一个大致范围；第二斧，看上线失败和下线原因的统计，把故障现象和影响范围摸清楚；第三斧，检查备份系统、保护隧道、用户数据这些冗余链路是不是在岗。

三板斧用完，问题出在哪个域、影响多少用户、备份是活的还是死的，基本就清楚了。最怕的现场是什么样？一群工程师围着屏幕猜，猜错方向，几小时全白费。三板斧的价值，就是把“猜”变成“查”—用数据把范围一点点缩小，而不是靠经验拍脑袋。

3）先救业务，后挖根因

应急处理和日常排障，优先级是反过来的。日常排障可以慢慢找根因；应急的时候，第一原则是把业务先恢复，根因可以等业务正常了再说。

华为的应急方案非常明确：故障判定在某一块单板上，换板；判定在整机上，主备倒换；判定在某条保护隧道上，走备份路径。此外研发还专门设计了快速复位这类特殊功能，让工程师在几分钟内就能把业务先抢救回来，然后再从容地收集日志、分析根因。

Orange的这次事故，如果按照华为的做法，备用系统在切过去的瞬间，会先把那条错误消息挡在门外，有人可能会问华为的备用系统为什么挡得住异常消息？因为它是异构的、独立校验的，不会跟主机犯同一个错。而且主备切换的时间极短，用户基本感觉不到。

4）重大事故通报

华为有一套代表处重大事故通报流程，规定什么级别的事故、在多长时间内、往哪一级上报、向客户通报什么内容。为什么通报这么重要？因为客户在设备故障里最怕的，不是出问题，是不知道出了什么问题、什么时候能处理好。信息越透明，客户越能安心等；信息越黑箱，谣言越容易满天飞。

五、华为支撑网络连续性的三大绝招之三：本地化服务

5.1 全球服务网：TAC、GSC、备件库

华为的服务，不是一栋楼里的一个客服中心。它是一张铺到全球的网。全球服务中心和技术支持中心，7×24小时不间断地转；从西安到罗马尼亚，技术支持中心一个接一个；再加上散在各国的备件库，连成一张随时能被调用的服务网。

客户打进来的一个电话，背后是什么样的服务队伍在支撑？前台是技术支持中心的一线坐席，后台是各领域的技术专家，再往后是研发的资源，旁边还有随时能出货的备件库。它有一整套远程技术支持、在线自助、软件授权、硬件支持、现场支持的组合拳。一个电话，能牵动一整条背后的资源。这种服务能力的价值，平时看不出来，只在全国断网的那种时刻，显示出它快速的动员和作战能力。

5.2 属地化：全球智慧，本地执行

服务要有速度，光靠远程不够。备件得在当地，工程师得在附近。华为全球技术服务部两万多名员工，足迹扎进一百七十多个国家，维护着两千五百多张运营商和企业的网络。这组数字背后，是三十年大力建设的一张一张服务网堆出来的覆盖。

华为有个八字方针，叫“全球智慧、本地执行”。全球的技术能力随时能被本地的队伍调起来，本地的队伍又最懂当地的地形、法规、客户的脾气。这种组合，是纯远程支持给不了的。设备在某个偏远的机房趴窝了，远程的人再厉害，也拧不动那颗松了的螺丝；本地的工程师开一个小时车就能到现场，摸一摸、看一看，问题可能当场就解决了。

更关键的是，这套东西不是等出了问题才临时建的。它靠的是长期往里投：本地化团队、本地备件库、本地合作伙伴，平时一直养着，看着像是成本，战时才知道是救命的。

5.3 备件：抢修比赛里的弹药

通信抢修，有点像一场和时间的赛跑。光有工程师不够，手上得有备件。一块坏掉的主控板卡，从大洋彼岸空运过来要一天，从本地备件库房里拉出来可能只要一个小时。这一天的差距，对一张瘫了的网络意味着什么？可能是几个亿的损失，和数不清的打不出去的电话。

所以备件库在哪儿建设，是要拿着地图和业务分布，精心做好规划的。多贵，都要建；多难，都要送到。这就解释了，为什么华为在一些别人觉得“没必要”的偏远地区，也养着服务点—因为网络就在那里，用户就在那里。急着用备件的时候，远水解不了近渴，距离就是一切。

5.4 伙伴生态扛起大梁

华为自己也承认，光靠自己的队伍，覆盖不到所有角落。所以它把知识、工具、能力开放出来，交给合作伙伴。华为有个服务平台，把知识社区、作业平台、能力开放接口攒在一起，让伙伴的工程师也能拿到和华为自己一样的方法和工具。

华为全球六千六百多家服务合作伙伴，认证服务伙伴的工程师超过七万人，HCIE认证工程师超过七千；伙伴的自交付率，从2015年的五成五，涨到了八成六。这组数说明什么？说明华为把一张网的服务能力，从自己的一万多人，扩到了十几万人。它自己扛核心和疑难问题，伙伴扛一线的现场。服务的最后一公里，就这么补上了。

对一张全国性的网络来说，这种覆盖至关重要。故障可能发生在任何一个地级市、任何一个乡镇的机房里。工程师到不了现场，再好的远程方案也是纸上谈兵。

六、结尾：什么是真正的网络安全

Orange断网的九个小时，其实不仅仅是一次事故，更像是给西方再次上了一堂生动的课。

多年以来，西方打着“国家安全”的旗号，并不断泛化意识形态，最初只是一些关键项目上，通过国家政府官员介入，施压或指示电信运营商不要让华为、中兴等中标，典型的如华为美国的Sprint项目，因为时任商务部长骆家辉的干涉而丢标；然后是一些重要的核心网络，比如5G，通过搞所谓的短名单来排除华为等中企；再到后来，把正常的商业合作以安全之名无限泛化，不但一些国家新建网络不准使用华为的，甚至以前已经建成的网络还要进行强制替换……

只是，西方的种种小动作，真的让它们的网络更安全了吗？它们臆想中的华为等设备可以通过后门被控制、核心人物的通信被监控等事件从来没有发生过，华为等中企在过去的一二十年时间里，始终保持着良好的运营和安全记录，而且中企多次公开表示西方如果有某方面的担心，大家可以坐下来谈，甚至可以让当地主管机构检视源代码等，但西方头脑里固有的意识形态已经根深蒂固，就像伊索寓言里的狼和小羊一样：

狼很想吃小羊，就故意找碴儿，说：“你把我喝的水弄脏了！你安的什么心？”

小羊吃了一惊，温和地说：“亲爱的狼先生，我怎么会把您喝的水弄脏呢？您在上游，我在下游，水是不会倒流的呀！”

狼气冲冲地说：“就算这样吧，你总是个坏家伙！我听说，去年你经常在背地里骂我，是不是？”

可怜的小羊喊道：“啊，这是不可能的，去年我还没出生呢！”

狼不想再争辩了，龇着牙，逼近小羊，大声嚷道：“你这个小坏蛋！骂我的不是你就是你爸爸，反正都一样！” 说着，就往小羊身上扑去……

而现在，Orange断网事件再次戳破了西方所谓“国家安全”的窗户纸：安全从来不是把谁赶走就高枕无忧了，你把可靠的选项一个个删掉，最后剩下的那两家出了问题，你连重新选择的余地都没有。黑客攻击、大面积断网这些真实的安全，原本西方欲加之罪式的“莫须有安全”要严重的多。

华为在网的那些年，法国人、加拿大人、英国人、澳大利亚人，很少听到“全国断网九小时”这种消息。不是华为的设备永远不会坏，而是它提前把FMEA做完了，把降额留足了，把共因拆开了，把极限测过了，把故障预演过了，把服务流程和全球的网络建到了客户身边。这就像扁鹊大哥在疾病征兆出现时已经扑灭了一样，西方政客们平时看不见华为这些保障网络连续性方面的贡献，或许只有在出事的那一天，这些国家的电信运营商会想“曾经有一份宝贵的网络连续性保障摆在我面前，可是我们的政客没有珍惜”吧。

免责声明：本文数据来自媒体或第三方公开报道，仅代表个人观点。

【 -END- 】

如需要开展集成产品开发IPD DFR、ITR体系培训和咨询项目的，请联系我们的学习顾问：directorniu (个人微信)