政安晨：【Keras机器学习实践要点】（十三）—— 利用 TensorFlow 进行多 GPU 分布式训练
作原理 如何使用 使用回调确保容错 tf.data 性能提示 数据集批处理注意事项 调用 dataset.cache() 调用 dataset.prefetch(buffer_size) 本文是使用 TensorFlow 对 Keras 模型进行多 GPU 训练的指南。 前言 在多台设备之间分配计算通常有两种方法： 数据并行，即在多个设备或多台机器上复制单个模型。它们各自处理不同批次的数据，然后合并结果。这种...
PyTorch的向量化思维，以及Tensor、nn接口
文章目录 PyTorch的向量化思维，以及Tensor、nn接口 大语言模型的向量化思路 核心原理 关键步骤 关键技术 PyTorch中的向量化 `torch.nn` 是 PyTorch 中用于构建和训练神经网络的核心模块 主要特点： 1. 层（Layers） 2. 模型（Modules） 3. 损失函数（Loss Functions） 4. 实用函数（Utils） 5. 优化器（Optimiz ...
政安晨：【使用 TensorFlow 和 Keras 为结构化数据构建和训练神经网络】（一）—— 单个神经元
咱们在这篇文章中将了解与练习深度学习的构建模块--线性单元。 开始深度学习的入门练习 利用这个系列的文章，您即将学习到构建自己的深度神经网络所需的一切。 通过使用Keras和Tensorflow，您将学习以下内容： 咱们这个系列文章将通过完整的实例向您介绍这些主题，然后在练习中，您将更深入地探索这些主题，并将它们应用于真实世界的数据集中。 现在让我们开始！ 深度学习究竟是什么？ 最近几年人工智能领域最令人印...
政安晨：专栏目录【TensorFlow与Keras实战演绎机器学习】
本篇是作者政安晨的专栏《TensorFlow与Keras实战演绎机器学习》的总纲，专栏文章不断更新，这篇目录总纲也会随着专栏不断更新。 TensorFLow简述 TensorFlow给自己的定位是端到端机器学习平台，作者政安晨对TensorFlow的简述如下： 导入和使用TensorFlow其实并不难： import tensorflow as tf 关键是如何循序渐进地入门，并针对某个具体目标开展实例，并...
政安晨：【深度学习实践】【使用 TensorFlow 和 Keras 为结构化数据构建和训练神经网络】（二）—— 深度神经网络
时被称为隐藏层，因为我们从未直接看到它们的输出。 构建序列模型 我们一直在使用的Sequential模型将按顺序连接一个层的列表：第一层获得输入，最后一层产生输出。这创建了上图所示的模型： from tensorflow import kerasfrom tensorflow.keras import layers model = keras.Sequential([ # the hidden ReLU l...
【Kuiperinfer】笔记03 张量（Tensor）类设计与实现，单元测试解析
文章目录 Tensor类的组成Tensor类设计数据顺序（行主序/列主序）使用单元测试Tensor类方法描述C++中的类模板张量创建单元测试 返回维度信息单元测试 返回张量中的数据单元测试 张量填充单元测试 reshape单元测试 逐元素处理单元测试 其他辅助函数判空返回数据存储的起始位置返回张量的shape 练习FlattenPadding 参考 Tensor类的组成 张量的数据按照channels，ro...
Tensorflow 手写数据集
poutimport torchfrom torch.utils.data import Datasetfrom torch.utils.data import DataLoaderfrom tensorflow.math import argmaxfrom tqdm import tqdmfrom torch import flattenimport osimport torchvision...
Tensorflow深度学习系列专栏简介
专栏内容 在深度学习系列专栏中，我们将深入探讨TensorFlow两个领先的深度学习框架，为读者提供全面而实用的知识。专栏始于深度学习的基础概念，包括神经网络结构、前馈与反向传播等核心知识，为初学者提供坚实的基础。我们将深入讨论TensorFlow基本操作，涉及张量操作和模型构建，帮助读者熟悉两个框架的语法和流程。 除了理论知识，我们还将探讨实际应用与项目实战，通过案例演示如何将深度学习技术应用于实际问题解...
PyTorch中Tensor（张量）数据结构内部观察
上图中是一个张量embeds，打开其内部存储空间，我们可以看到内部的构成。在PyTorch中，Tensor 具有许多属性和方法。以下是其中一些关键的属性和方法： 属性： H： 在标准的PyTorch API中并没有直接表示为 .H 的属性，但在数学或某些库（如NumPy）中，.H 通常代表共轭转置（Conjugate Transpose），也称为Hermitian conjugate。在处理复数张量时，如果...
大语言模型LLM分布式训练：TensorFlow下的大语言模型训练实践（LLM系列05）
文章目录 大语言模型LLM分布式训练：TensorFlow下的大语言模型训练实践（LLM系列05）1. TensorFlow基础与`tf.distribute.Strategy`1.1 `MirroredStrategy`实现数据并行训练1.2 `MultiWorkerMirroredStrategy`应用于多节点并行训练 2. **构建GPT模型实例**2.1 GPT模型结构概览2.2 使用TensorF...