AI大模型探索之路-训练篇17：大语言模型预训练-微调技术之QLoRA
系列篇章💥 AI大模型探索之路-训练篇1：大语言模型微调基础认知 AI大模型探索之路-训练篇2：大语言模型预训练基础认知 AI大模型探索之路-训练篇3：大语言模型全景解读 AI大模型探索之路-训练篇4：大语言模型训练数据集概览 AI大模型探索之路-训练篇5：大语言模型预训练数据准备-词元化 AI大模型探索之路-训练篇6：大语言模型预训练数据准备-预处理 AI大模型探索之路-训练篇7：大语言模型Tra...
C语言中的结构体和指针
8. 指针和动态内存分配 1. malloc() 函数 2. free() 函数 2.结构体 1.定义 2.结构体成员访问 3.给结构体起别名 前言 这篇博客主要介绍C语言中的结构体和指针的用法。 1.指针 指针是C语言中的一种重要概念，它存储了一个变量的内存地址。通过指针，可以直接访问内存中的数据，实现对数据的直接操作。 1.声明 指针...
C语言 举例说明循环嵌套
今天 我们来说循环的嵌套 如果一个循环体内 又包含了另一个循环结构 我们称之为循环的嵌套 我们之前学的 While do-while for 都可以进行相互的嵌套 如下图 在 While 循环语句中再嵌套一个 While 循环语句 do-while 中嵌套 do-while for中嵌套 for 例如 我们做一个九九乘法表 我们代码就可以这样写 #define _CRT_SECURE_NO_WARN...
主成分分析在R语言中的简单应用：使用mvstats包
在数据科学领域，主成分分析（PCA）是一种广泛使用的技术，主要用于数据降维和探索性数据分析。PCA可以帮助我们发现数据中的模式，减少数据集的复杂性，同时保持数据中最重要的特征。本文将介绍如何在R语言中使用`mvstats`包来执行PCA，并通过一个具体例子来展示其应用。 1. 安装和载入mvstats包 在开始之前，我们需要确保已经安装了`mvstats`包。如果你的R环境中还没有安装这个包，可以通过...
LLM——用于微调预训练大型语言模型（LLM）的GPU内存优化与微调
前言 GPT-4、Bloom 和 LLaMA 等大型语言模型（LLM）通过扩展至数十亿参数，实现了卓越的性能。然而，这些模型因其庞大的内存需求，在部署进行推理或微调时面临挑战。这里将探讨关于内存的优化技术，旨在估计并优化在 LLM 推理以及在多样化硬件配置上进行微调过程中的内存消耗。 首先，需要认识到大型语言模型在运行时的内存消耗主要受以下几个因素影响： 模型规模：模型拥有的参数数量直接决定了其对内...
C语言 switch语句
之前 我们讲了 if 和 嵌套的if分支语句 但其实 多分支语句 我们还可以用 switch 有时 switch 语句可以简化逻辑代码 switch语句也称之为开关语句，其像多路开关一样，使程序控制流程形成多个分支，根据一个表达式的不同取值，选择其中的一个或多个分支执行。 我们先来看一个案例 要求 用户从键盘输入一个数字(范围是1~12)，输出对应的月份的英文名称。 我们用 if 多分支语句 思路如...
五个衰落的编程语言
编程语言为开发人员提供了一种与计算机交互的方式。 然而，随着技术的发展，一些编程语言的使用范围越来越窄，或者被其他语言替代。 本文盘点了五种编程语言：Ruby、Visual Basic、Perl、Delphi和Haskell。 1.Ruby Ruby是一种动态、面向对象的编程语言，它于1995年由日本程序员松本行弘（Yukihiro Matsumoto）开发。 Ruby的设计目标是提供一种简洁、灵活和...
C语言高效学习、提升方法
前言 已经用了十多年的C语言，回头看怎么学习、提升最快呢？个人觉得还是要从框架上去着手学习，用全局眼光去看、去学，主要是三部分：关键字及基本语法、重点功能点及标准库函数；只要把这三部分基本搞懂了，剩下就就是去刻意练习与项目实践，更熟练也就更精通，也就能写出架构更合理、更精妙的程序~ 一.关键字及基本语法学习 1.数据类型关键字： int：整型 char：字符型 float：单精度浮点型 double：...
【C语言必刷题】7. 百钱百鸡
📚博客主页：爱敲代码的小杨. ✨专栏：《Java SE语法》 | 《数据结构与算法》 | 《C生万物》 |《MySQL探索之旅》 |《Web世界探险家》 ❤️感谢大家点赞👍🏻收藏⭐评论✍🏻，您的三连就是我持续更新的动力❤️ 🙏小杨水平有限，欢迎各位大佬指点，相互学习进步！ 文章目录 1. 题目描述2. 解题思路3. 代码: 1. 题目描述 百鸡百钱是我国古代数学家张丘建在《算经》一书中提出的数学问题...
使用R语言进行简单的主成分分析（PCA）
主成分分析（PCA）是一种广泛使用的数据降维技术，它可以帮助我们识别数据中最重要的特征并简化复杂度，同时尽量保留原始数据的关键信息。在这篇文章中，我们将通过一个具体的例子，使用R语言实现PCA，展示其在实际数据集上的应用。 背景和理论基础 PCA通过线性变换将原始数据转换到新的坐标系统中，新坐标（即主成分）的选择是基于数据的方差最大化。换句话说，第一个主成分具有最大的方差，每个随后的主成分都在与前面主...