大多数团队以为,在 API 网关层就已经“解决了幂等性”。
他们给请求加上重试键,防住了重复点击,也处理了用户连点两次“提交”这种显而易见的情况。
可接下来,又冒出别的情况:
- 后台任务超时后重试。
- 两个工作进程取到了同一条队列消息。
- 长时间运行的工作流程在崩溃后恢复,把最后一步又执行了一遍。
- 两个人几乎同时批准了同一项操作。
转眼之间,系统在现实世界里把同一件事做了两遍:两次发运、两张工单、两次库存移动、两次批准。
问题不在 HTTP 层,而在于重复发生的位置:在业务逻辑内部,也就是产生状态变更的地方。
EquatorOps 用安全与可靠性引擎(Safety & Reliability,又称分布式并发控制与操作安全引擎,即 Distributed Concurrency Control and Operation Safety Engine)解决这个问题。通俗地说:
即使请求重试、任务重放、工作进程崩溃或用户同时操作,它也能确保重要的运营操作只执行一次。
先说清楚:什么是“幂等性”(简单定义)
幂等性的意思是:
同一个操作可以放心地执行多次,结果仍然“与只执行一次相同”。
举个例子:如果“下达工单 123”因为重试执行了两次,系统仍应只产生一张已下达的工单,不应下达两次,也不应生成两套下游任务。
这与“API 没报错”是两回事。这里说的是防止业务结果真正出现重复。
为什么 HTTP 幂等性不够
HTTP 幂等性只能应对一种很窄的场景:
- 客户端发出请求,
- 网络不稳定,
- 客户端重试,
- 而您希望服务器不要把同一件事做两遍。
这很有用,但运营系统面临的问题更大,而且根本不是来自客户端:
- 队列重复:两个工作进程消费了同一条消息。
- 任务重试:任务超时后重试,把“创建”步骤又执行了一遍。
- 崩溃恢复:进程重启后重放了最后一个操作。
- 人员并发:两个用户同时执行同一个审批操作。
- 集成重放:外部系统重新发送事件(有时是几天之后)。
这些不是传输层问题,而是业务逻辑问题。
在入口处加一个请求 ID,无法可靠地防住发生在工作流程、后台任务和事件处理内部的重复。
安全与可靠性引擎做什么(通俗解释)
安全与可靠性引擎就守在最关键的位置:状态发生变更的那一刻。
它不只是在 API 边界检测重复,而是在业务操作层面强制实现“精确一次”:
- “下达这张工单”
- “接受这份报价”
- “移动这批库存”
- “创建这张供应商退货单”
- “指派这名技术人员”
- “批准这道质量关卡”
它的做法基于几个简单的思路:
1)业务级锁(同一时间只有一个执行者能执行该操作)
执行操作之前,引擎会创建一把实体级锁,表示:
“这个业务实体的这项操作,正在执行中。”
举例来说,“下达工单 WO-123”会变成这样一把锁:
(entity = WO-123, action = release)
如果另一个工作进程或用户同时尝试执行同一操作,系统可以稳妥地回应:
- “该操作正在进行中”,或
- “该操作已经成功,这是已有的结果。”
2)结果缓存(重试时返回同一结果)
操作成功后,引擎会存储一条结果记录,记下“创建了什么”。
这样,如果同一操作因为重试或重放而再次发起,系统不会再创建第二次发运或第二次库存移动,而是直接返回最初的结果。
通俗地说:
“做过了,就别再做。把之前创建的结果返回去。”
3)自动过期(工作进程宕机时系统能自愈)
锁带有定时过期机制:
- 如果工作进程在持有锁时崩溃,锁会自动过期。
- 之后,另一个工作进程可以安全地接着执行。
- 系统不会永远卡住。
安全性与韧性,就这样兼得。
它在 EquatorOps 平台中如何体现
您通常不会直接调用安全与可靠性引擎,但处处都能感受到它,因为上层服务都依赖它。
受益于业务层幂等性的端点示例:
-
POST /api/work_orders/{wo_sqid}/release即使存在重试或并发,工单也只下达一次。 -
POST /api/quoting/quotes/{quote_sqid}/accept防止报价被重复接受(以及由此在下游产生的重复合同效力)。 -
POST /api/inventory/movements在大批量收货或扫描时防止库存移动重复。 -
POST /api/procurement/rtv防止“退回供应商”流程被创建两次。
重要的不是端点路径,而是这项保证:
每个业务操作都受到一把锁和一条已存储结果的双重保护,并发和重试因此不会造成重复。
各行业的实际场景
不同行业的工作流程各不相同,但重复导致故障的模式是一样的。
金融科技
网络超时后,一笔支付授权被重试。没有防护时,可能生成两条账务分录,存在重复支付的风险;有了防护,账务分录只生成一次,重试返回相同的结果。
物流
月台工人把同一个托盘扫描了两次,与此同时,一个后台进程也在处理一条 WMS 事件。没有防护时,可能生成两次发运或两个拣货任务;有了防护,只记录一次发运,第二次尝试返回已有的发运单号。
医疗
一份检验单同时通过移动应用和批量上传提交。没有防护时,同一位患者可能被重复开单;有了防护,系统只创建一份检验单,并向两条提交途径返回同一份。
现场服务
两名调度员试图把同一名技术人员派给一项紧急任务。没有防护时,可能出现相互冲突的派工;有了防护,操作锁会阻止重复派工,并返回已有的派工结果。
模式始终如一:
运营天生就是并发的。只有业务层的防护机制,才能让结果确定且安全。
与常规数据库锁有何不同
传统的数据库锁必不可少,但单靠它们解决不了这个问题。
为什么?
- 数据库锁通常是短暂的,并绑定在单个事务上。
- 它们不会自动提供可跨重试复用的“同一请求 → 同一结果”行为。
- 它们不会生成一条明确的记录,供日后解释某项操作为何被拦截或去重时引用。
安全与可靠性引擎的防护机制则不同,因为它们是显式的,并且懂业务:
- 锁的作用域是业务实体和操作,而不只是行或表。
- 锁的持久性足以覆盖长时间运行的操作。
- 锁可以成为审计追踪的一部分:您能解释某项操作为什么被拒绝或去重。
- 结果缓存让重试的结果确定不变:拿到的是相同的结果,而不是一条笼统的报错。
这样,就能在分布式系统中实现“精确一次”,又不拖垮吞吐量。
可监控的可靠性信号(持续改进的依据)
防护机制是显式的,所以可以度量。
有用的指标示例:
- 锁争用率(操作冲突的频率)
- 重试率(操作被尝试一次以上的频率)
- 重复拦截事件(系统阻止重复结果的频率)
- 租约过期(工作进程在操作中途失败的位置)
这些指标一旦飙升,就能在故障波及客户之前,告诉您流程在哪里比较脆弱。
与 EquatorOps 平台的关系
安全与可靠性是平台的核心支柱之一,贯穿多个引擎族:
- 工单类引擎借助这些防护机制,确保执行状态的变更只发生一次,并保持一致。
- 库存操作类引擎借助它们,确保库存移动在扫描高峰和重试下不会重复。
- 商务与财务类引擎借助它们,确保报价接受和计费状态转换只执行一次。
想了解这些引擎如何协同工作,可以从 /platform 入手,并在 /platform/engines 浏览引擎目录。如需把这些保证集成到自己的工作流程中,请在 /developers 申请访问权限。
归根结底
重试逻辑不等于可靠性。
可靠的运营需要业务级幂等性,在真正产生后果的地方提供保护:
- 下达订单,
- 移动库存,
- 创建发运,
- 接受合同,
- 批准关卡,
- 分派工作。
安全与可靠性引擎把“精确一次”的业务结果带到运营层,这正是它该在的地方。