【现网】记一次并发冲突导致流量放大的生产问题

事故现象

生产环境，转账相关请求失败量暴增。

直接原因

现网多个重试请求同时到达 svr，导致内存数据库大量返回时间戳冲突。业务方收到时间戳冲突，自动进行业务重试，服务内部也存在重试，导致流量放大。

转账

首先我们一起了解一下转账。转账请求在支付场景中的应用频率非常高，它是现代金融系统中的一个核心功能。在日常生活中，个人和企业都需要进行各种不同类型的转账:

1. 个人间转账：朋友、家人之间进行的转账，如还款、借款、生日礼物赠送等。
2. 工资支付：企业向员工支付工资、奖金等。
3. 税费缴纳：向政府缴纳所得税、增值税等税费、政府退回多征收的税费等。
4. 跨境汇款：向国外的个人或企业进行的转账，如国际贸易、留学生汇款等。
5. 投资与理财：向股票、基金、保险等金融产品进行的投资转账。
6. 退款与赔付：商家或金融机构向客户退还购物款项、保险理赔等。
7. ...

随着移动支付、网上银行等数字金融服务的普及，转账请求在支付场景中的应用频率越来越高。人们可以随时随地进行转账，这背后离不开金融科技的发展带来的更加便捷、安全、高效的转账过程。

业务背景介绍

背景一：转账流程

转账流程

转账常见流程：

sequenceDiagramparticipant 转出方participant 银行participant 转入方转出方->>银行: 发起转账请求银行->>银行: 验证转出方信息银行->>银行: 验证转入方信息银行->>银行: 检查转账金额Note over 银行: ...银行->>银行: 执行转账Note over 银行: 判断转账是否成功银行-->>转出方: 通知转账结果银行-->>转入方: 通知转账结果