大数据-98 Spark 集群 Spark Streaming 基础概述 架构概念 执行流程 优缺点
有的 RDD 经过转换产生。Batch Interval: 数据流被划分为多个小批次，每个批次在指定的时间间隔（例如 1 秒或 10 秒）内进行处理，这个时间间隔称为 Batch Interval。 架构概念 Spark Streaming 的架构主要包括如下组件： 输入源: Spark Streaming 支持多种输入源，如 Kafka、Flume、HDFS、S3 等。处理引擎: 核心是 Spark...
MySQL5.7.36之高可用架构部署-Atlas读写分离
1、安装Atlas-2.2.1.el6.x86_64.rpm rpm -ivh Atlas-2.2.1.el6.x86_64.rpm 2、进入Atlas目录并且备份配置文件 cd /usr/local/mysql-proxy/confcp test.cnf test.cnf.bak 3、密码加密采用的是自带的工具 /usr/local/mysql-proxy/bin/encrypt 123456 #...
架构设计（3）Lambda 架构在生鲜网购平台中的应用
Lambda 架构在生鲜网购平台中的应用：电商行业案例分析 摘要 本文结合在生鲜网购平台项目中的实际经验，探讨 Lambda 架构在大数据处理中的应用，尤其是针对电商行业的数据处理需求。生鲜网购平台面临高并发和海量数据的挑战，需要实时数据处理和准确的历史数据分析。作为系统架构师，我负责设计和实现 Lambda 架构以解决这些问题。Lambda 架构通过分离实时流处理（加速层）和批处理（批处理层），以...
《系统架构设计师教程（第2版）》第14章-云原生架构设计理论与实践-04-云原生架构案例分析（五）某体育用品公司基于云原生架构的业务中台构建
比较严重，传统商业套件带来了“烟囱式”系统的弊端，导致很多功能重复建设、重复数据模型以及不必要的重复维护工作。 2. 云原生解决方案 阿里云根据某体育用品公司业务转型战略需求，为之量身打造了基于云原生架构的全渠道业务中台解决方案，将不同渠道通用功能在云端合并、标准化、共享，衍生出全局共享的商品中心、渠道中心、库存中心、订单中心、营销中心、用户中心、结算中心。无论哪个业务线、哪个渠道、哪个新产品诞生或调...
LMA——基于 LM 的游戏和挑战代理架构探索
出，虽然以语言为中心或多模态的大规模模型（LMs）正在迅速发展，但对其能力和潜力缺乏系统的审查。本文尤其关注游戏场景，研究其现状，并找出悬而未决的问题。报告回顾了现有的基于 LM 的游戏代理（LMA）架构，并总结了其共性和面临的挑战。 介绍 大规模模型（LM）是语言模型和多模态模型的结合，它的发展推动了自然语言处理和计算机视觉领域的重大进步。这在文本生成、图像理解和机器人学等多个领域取得了显著成就。L...
《系统架构设计师教程（第2版）》第13章-层次式架构设计理论与实践-06-物联网层次架构设计
文章目录 1. 感知层2. 网络层3. 应用层 。 1. 感知层 作用：用于识别物体、采集信息 通过短距离传输技术传递数据 包括：RFID、 条码、工业现场总线、蓝牙、红外等 RFID 概念Radio Frequency Identification无线射频识别技术应用： 电子不停车收费系统 (Electronic Toll Collection,ETC)超市仓储管理系统飞机场的行李自动分类系统 2...
《系统架构设计师教程（第2版）》第14章-云原生架构设计理论与实践-04-云原生架构案例分析（二）云原生技术助力某汽车公司数字化转型实践
文章目录 1. 背景和挑战2. 基于云原生架构的解决方案3. 应用效益 1. 背景和挑战 汽车行业正迅速步入数字化时代。车企服务的对象发生变化，从购车市场转为覆盖后车市场的全周期，通过互联网渠道直面客户，服务客户急速增多。为适配客户快速变化的需求，互联网营销成为常态。业务开展承担新的使命，对业务交付的数量、周期、复杂度都提出新挑战。 目前汽车制造处于“+互联网”和“互联网+”的进程中，面临着互联网业...
LeYOLO，一种用于目标检测的新型可扩展且高效的CNN架构
关重要，尤其是随着新型模型越来越注重速度而非有效计算量（FLOP）。这一发展趋势在某种程度上忽视了嵌入式和面向移动设备的AI目标检测应用。在本文中，我们基于FLOP关注于高效目标检测计算所需的神经网络架构设计选择，并提出了一些优化措施以增强基于YOLO模型的效率。首先，我们借鉴了倒置瓶颈和来自信息瓶颈原理的理论见解，引入了一种高效的骨干网络缩放方法。其次，我们提出了快速金字塔架构网络（FPAN），旨在...
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
问题： 不同场景之间输入输出数据无法做到无缝共享，通常需要进行数据格式的转换、不同的软件需要不同的开发和维护团队，带来了较高的维护和使用成本比较难以通一个集群中的各个系统进行统一的资源协调和分配 系统架构 Spark运行包括如下： Cluster ManagerWorker NodeDriverExecutor ClusterManager ClusterManager 是集群资源的管理者，Spark...
《系统架构设计师教程（第2版）》第13章-层次式架构设计理论与实践-04-数据访问层设计
/关系映射 (O/R Mapping) 2. 工厂方法模式在数据访问层应用3 ORM、Hibernate与CMP2.0设计思想3.1 ORM3.2 Hibernate1）概述2） Hibernate的架构（2023年的考题）3）特点 4. XML Schema的灵活运用4.1 XML Schema4.2 Schema组件4.3 XML Schema规范1）Primer（入门书/指南）2）Structu...