跳到正文
EquatorOps
EquatorOps 博客 安全与可靠性

精确一次的运营操作:幂等性为什么应放在业务层

HTTP 重试解决不了运营中的重复操作,安全与可靠性引擎可以。

阅读约 6 分钟 EquatorOps 产品团队
幂等性 运营护栏 跨行业

大多数团队以为,在 API 网关层就已经“解决了幂等性”。

他们给请求加上重试键,防住了重复点击,也处理了用户连点两次“提交”这种显而易见的情况。

可接下来,又冒出别的情况:

  • 后台任务超时后重试。
  • 两个工作进程取到了同一条队列消息。
  • 长时间运行的工作流程在崩溃后恢复,把最后一步又执行了一遍。
  • 两个人几乎同时批准了同一项操作。

转眼之间,系统在现实世界里把同一件事做了两遍:两次发运、两张工单、两次库存移动、两次批准。

问题不在 HTTP 层,而在于重复发生的位置:在业务逻辑内部,也就是产生状态变更的地方。

EquatorOps 用安全与可靠性引擎(Safety & Reliability,又称分布式并发控制与操作安全引擎,即 Distributed Concurrency Control and Operation Safety Engine)解决这个问题。通俗地说:

即使请求重试、任务重放、工作进程崩溃或用户同时操作,它也能确保重要的运营操作只执行一次。


先说清楚:什么是“幂等性”(简单定义)

幂等性的意思是:

同一个操作可以放心地执行多次,结果仍然“与只执行一次相同”。

举个例子:如果“下达工单 123”因为重试执行了两次,系统仍应只产生一张已下达的工单,不应下达两次,也不应生成两套下游任务。

这与“API 没报错”是两回事。这里说的是防止业务结果真正出现重复。


为什么 HTTP 幂等性不够

HTTP 幂等性只能应对一种很窄的场景:

  • 客户端发出请求,
  • 网络不稳定,
  • 客户端重试,
  • 而您希望服务器不要把同一件事做两遍。

这很有用,但运营系统面临的问题更大,而且根本不是来自客户端:

  • 队列重复:两个工作进程消费了同一条消息。
  • 任务重试:任务超时后重试,把“创建”步骤又执行了一遍。
  • 崩溃恢复:进程重启后重放了最后一个操作。
  • 人员并发:两个用户同时执行同一个审批操作。
  • 集成重放:外部系统重新发送事件(有时是几天之后)。

这些不是传输层问题,而是业务逻辑问题。

在入口处加一个请求 ID,无法可靠地防住发生在工作流程、后台任务和事件处理内部的重复。


安全与可靠性引擎做什么(通俗解释)

安全与可靠性引擎就守在最关键的位置:状态发生变更的那一刻。

它不只是在 API 边界检测重复,而是在业务操作层面强制实现“精确一次”:

  • “下达这张工单”
  • “接受这份报价”
  • “移动这批库存”
  • “创建这张供应商退货单”
  • “指派这名技术人员”
  • “批准这道质量关卡”

它的做法基于几个简单的思路:

1)业务级锁(同一时间只有一个执行者能执行该操作)

执行操作之前,引擎会创建一把实体级锁,表示:

“这个业务实体的这项操作,正在执行中。”

举例来说,“下达工单 WO-123”会变成这样一把锁: (entity = WO-123, action = release)

如果另一个工作进程或用户同时尝试执行同一操作,系统可以稳妥地回应:

  • “该操作正在进行中”,或
  • “该操作已经成功,这是已有的结果。”

2)结果缓存(重试时返回同一结果)

操作成功后,引擎会存储一条结果记录,记下“创建了什么”。

这样,如果同一操作因为重试或重放而再次发起,系统不会再创建第二次发运或第二次库存移动,而是直接返回最初的结果。

通俗地说:

“做过了,就别再做。把之前创建的结果返回去。”

3)自动过期(工作进程宕机时系统能自愈)

锁带有定时过期机制:

  • 如果工作进程在持有锁时崩溃,锁会自动过期。
  • 之后,另一个工作进程可以安全地接着执行。
  • 系统不会永远卡住。

安全性与韧性,就这样兼得。


它在 EquatorOps 平台中如何体现

您通常不会直接调用安全与可靠性引擎,但处处都能感受到它,因为上层服务都依赖它。

受益于业务层幂等性的端点示例:

  • POST /api/work_orders/{wo_sqid}/release 即使存在重试或并发,工单也只下达一次。

  • POST /api/quoting/quotes/{quote_sqid}/accept 防止报价被重复接受(以及由此在下游产生的重复合同效力)。

  • POST /api/inventory/movements 在大批量收货或扫描时防止库存移动重复。

  • POST /api/procurement/rtv 防止“退回供应商”流程被创建两次。

重要的不是端点路径,而是这项保证:

每个业务操作都受到一把锁和一条已存储结果的双重保护,并发和重试因此不会造成重复。


各行业的实际场景

不同行业的工作流程各不相同,但重复导致故障的模式是一样的。

金融科技

网络超时后,一笔支付授权被重试。没有防护时,可能生成两条账务分录,存在重复支付的风险;有了防护,账务分录只生成一次,重试返回相同的结果。

物流

月台工人把同一个托盘扫描了两次,与此同时,一个后台进程也在处理一条 WMS 事件。没有防护时,可能生成两次发运或两个拣货任务;有了防护,只记录一次发运,第二次尝试返回已有的发运单号。

医疗

一份检验单同时通过移动应用和批量上传提交。没有防护时,同一位患者可能被重复开单;有了防护,系统只创建一份检验单,并向两条提交途径返回同一份。

现场服务

两名调度员试图把同一名技术人员派给一项紧急任务。没有防护时,可能出现相互冲突的派工;有了防护,操作锁会阻止重复派工,并返回已有的派工结果。

模式始终如一:

运营天生就是并发的。只有业务层的防护机制,才能让结果确定且安全。


与常规数据库锁有何不同

传统的数据库锁必不可少,但单靠它们解决不了这个问题。

为什么?

  • 数据库锁通常是短暂的,并绑定在单个事务上。
  • 它们不会自动提供可跨重试复用的“同一请求 → 同一结果”行为。
  • 它们不会生成一条明确的记录,供日后解释某项操作为何被拦截或去重时引用。

安全与可靠性引擎的防护机制则不同,因为它们是显式的,并且懂业务:

  • 锁的作用域是业务实体和操作,而不只是行或表。
  • 锁的持久性足以覆盖长时间运行的操作。
  • 锁可以成为审计追踪的一部分:您能解释某项操作为什么被拒绝或去重。
  • 结果缓存让重试的结果确定不变:拿到的是相同的结果,而不是一条笼统的报错。

这样,就能在分布式系统中实现“精确一次”,又不拖垮吞吐量。


可监控的可靠性信号(持续改进的依据)

防护机制是显式的,所以可以度量。

有用的指标示例:

  • 锁争用率(操作冲突的频率)
  • 重试率(操作被尝试一次以上的频率)
  • 重复拦截事件(系统阻止重复结果的频率)
  • 租约过期(工作进程在操作中途失败的位置)

这些指标一旦飙升,就能在故障波及客户之前,告诉您流程在哪里比较脆弱。


与 EquatorOps 平台的关系

安全与可靠性是平台的核心支柱之一,贯穿多个引擎族:

  • 工单类引擎借助这些防护机制,确保执行状态的变更只发生一次,并保持一致。
  • 库存操作类引擎借助它们,确保库存移动在扫描高峰和重试下不会重复。
  • 商务与财务类引擎借助它们,确保报价接受和计费状态转换只执行一次。

想了解这些引擎如何协同工作,可以从 /platform 入手,并在 /platform/engines 浏览引擎目录。如需把这些保证集成到自己的工作流程中,请在 /developers 申请访问权限。


归根结底

重试逻辑不等于可靠性。

可靠的运营需要业务级幂等性,在真正产生后果的地方提供保护:

  • 下达订单,
  • 移动库存,
  • 创建发运,
  • 接受合同,
  • 批准关卡,
  • 分派工作。

安全与可靠性引擎把“精确一次”的业务结果带到运营层,这正是它该在的地方。

分享本文

觉得有用?不妨分享给团队。

结合工作流程来看

看看理念背后的实际记录。

带着一个工作流程或运营问题来,我们会演示相关应用记录与职责之间如何关联。