Redis 单个与多节点如何实现分布式锁
分布式锁 在许多环境中，分布式锁是非常有用的原语，在这些环境中，不同的进程必须以互斥的方式操作共享资源。在应对并发问题时，Redis 客户端还可以通过加锁的方式，来控制并发写操作对共享数据的修改，从而保证数据的正确性。 从设计建模角度来看，这三个属性是有效使用分布式锁所需的最低保证。 互斥性：在任何给定时刻，只有一个客户端可以持有锁。无死锁：最终即使锁定资源的客户端崩溃或分区，也始终可以获取锁。容错性...
基于Skywalking开发分布式监控（三）
回顾上期的问题，当我们搭建完成Skywalking的搭建，顺利完成应用监控之后，就会面临一类问题，怎么利用获取的监控数据，包括三方面： 1 应用的Trace和SW收集Service/Endpoint不一定完全一致，可能定位不到，更无法在UI展示 2 按Trace-Span进行下钻分析，SW并不支持，更别说，对于按Trace不同Span特征（可以理解为一项业务在不同阶段的特征数据）进行分析 3 业务本身...
Kafka注册中心：揭秘分布式系统的核心协调者（一）
本系列文章简介： 本系列文章将深入探讨Kafka注册中心在分布式系统中的作用和价值，介绍其关键功能和使用场景，帮助读者更好地理解并应用Kafka注册中心来构建高效、可靠、可扩展的分布式系统。通过揭秘分布式系统的核心协调者，我们将一同探索Kafka注册中心如何助力分布式系统应对挑战，实现业务目标。欢迎大家订阅《Java技术栈高级攻略》专栏，一起学习，一起涨分！ 目录 一、引言 1.1 K...
【Python Scrapy】分布式爬虫利器
本文将深入探讨分布式爬虫的实际应用场景，通过代码示例演示其在提升爬取效率、保障系统稳定性、实现数据一致性等方面的优越表现。无论是加速爬取速度、实现跨地域爬取还是处理高并发请求，分布式爬虫都为解决这些挑战提供了创新性的解决方案。随着对大数据的需求不断增长，深入了解和灵活运用分布式爬虫将成为爬虫领域的关键技能。 Scrapy框架的基本使用 创建爬虫项目 首先，使用Scrapy提供的命令行工具创建一个新的爬...
10分钟带你了解分布式系统的补偿机制
我们知道，应用系统在分布式的情况下，在通信时会有着一个显著的问题，即一个业务流程往往需要组合一组服务，且单单一次通信可能会经过 DNS 服务，网卡、交换机、路由器、负载均衡等设备，而这些服务于设备都不一定是一直稳定的，在数据传输的整个过程中，只要任意一个环节出错，都会导致问题的产生。 这样的事情在微服务下就更为明显了，因为业务需要在一致性上的保证。也就是说，如果一个步骤失败了，要么不断重试保证所有的步骤...
Jmeter 分布式压测
压力测试。这里有一个例子，它模拟了同时有 5000 个用户，循环 10 次的情况。 请求默认配置 token 配置 秒杀接口 结果分析 但是，实际企业中，这种压测方式根本不满足实际需求。下面介绍一种分布式压测。 使用场景 单台的JMeter压测能力有限，最大并发压测在1k内的，单机基本满足日常需求了。 但对于有项目来说，需要上万并发的压测，那就需要采用JMeter的分布式压测。 我根据下面思路简单介绍...
C++面试 -分布式架构-架构能力：一致性算法
一致性算法在分布式系统中扮演着至关重要的角色，主要用于确保系统中的多个副本之间能够达到一致的状态。在分布式计算环境中，由于网络延迟、分区、节点故障等问题，维持数据的一致性是一个挑战。一致性算法能够帮助系统在面对这些挑战时，确保数据的准确性和可靠性。以下是一些广泛使用的一致性算法： 1. Paxos Paxos算法是一种基本的一致性算法，由Leslie Lamport在19...
基于Skywalking开发分布式监控（二）
续上篇，上一篇主要是讲了为啥选skywalking，以及怎么有针对性改造SW Agent，现在我们继续看看如何构建自定义Trace跟踪链 要对SW Agent插件做适当剪裁，原来包括customize插件在内SW 8.9有100多个插件，如果没有作用也就罢了，但是有些插件会产生大量trace和span数据，用处不大，但是会干扰需要聚焦的数据，例如一次最多查10000个trace，但有可能绝大部分都不是...
分布式springboot 3项目集成mybatis官方生成器开发记录
实现思路实现步骤第一步：创建generator子模块第二步：引入相关maven插件和依赖第三步：编写生成器配置文件第四步：运行·查看结果 说明 该文章为作者开发学习记录，方便以后复习和交流主要内容为：分布式springboot3 项目集成mybatis官方生成器开发记录，创建单独的generator模块进行单表的domain、mapper和mapper.xml的内容生成这里以Mysql8为案例进行演示，...
【Git教程】（一）基本概念：—— 工作流、分布式版本控制、版本库 ~
Git教程 · 基本概念 1️⃣ 为什么要用 Git2️⃣ 为什么要用工作流3️⃣ 分布式版本控制4️⃣ 版本库5️⃣ 简单的分支创建与合并🌾 总结 在本章中，将介绍一个分布式版本控制系统的设计思路，以及它与集中式版本控制系统的不同之处。除此之外，还将带你了解分布式版本库的具体工作方式，以及为什么我们会说，在Git 中创建分支和合并分支不是个大不了的问题。 1️⃣ 为什么要用 Git Git的背后有着...