【Tensorflow深度学习】优化算法、损失计算、模型评估、向量嵌入、神经网络等模块的讲解（超详细必看）
算标签和预测值之间的交叉熵。 （6）SparseCategoricalCrossentropy类: 原理与CategoricalCrossentropy类似，比较适用于有两个及以上标签类别的场景 四、向量嵌入 机器学习模型将向量作为输入，因此在将字符串输入模型之前需要将字符串转换为数值向量，也称为词嵌入。词嵌入提供了一种高效表示的方法，其中相似的词具有相似的编码，在处理大型数据集时，通常会看到多维的词...
深度学习-支持向量机（SVM）
1. 简介 在机器学习领域，支持向量机SVM(Support Vector Machine)是一个有监督的学习模型，通常用来进行模式识别、分类(异常值检测)以及回归分析。SVM算法中，我们将数据绘制在n维空间中（n代表数据的特征数），然后查找可以将数据分成两类的超平面。SVM一般只能 用 在 二 分 类 问 题 \color{blue}{用在二分类问题} 用在二分类问题，对于多类问题效果不好。 SV...
【机器学习】支持向量回归
支持向量回归 支持向量回归（support vector regression，SVR）是指，将支持向量机的思想推广到回归问题中。与传统回归模型类似，支持向量回归以 w w w 和 b b b 为待确定的模型参数，希望模型输出 f ( x ) f(x) f(x) 与真实输出 y y y 之间的差值对应的损失尽可能小；不过，在传统回归模型中，当且仅当 f ( x ) f(x) f(x) 与 y y y...
【机器学习】支持向量机【上】硬间隔
支持向量机 支持向量机（support vector machines，SVM）是一种二分类模型。它的基本模型是定义在特征空间上的间隔最大的线性分类器，其决策方式与感知机一致，但是采用最大间隔的思想进行学习使它有别于感知机。支持向量机学习方法包含构建由简至繁的模型：线性可分支持向量机（linear support vector machine in linearly separable case）、...
【Python自然语言处理】文本向量化的六种常见模型讲解（独热编码、词袋模型、词频-逆文档频率模型、N元模型、单词-向量模型、文档-向量模型）
一、文本向量化 文本向量化：将文本信息表示成能够表达文本语义的向量，是用数值向量来表示文本的语义。 词嵌入(Word Embedding)：一种将文本中的词转换成数字向量的方法，属于文本向量化处理的范畴。 向量嵌入操作面临的挑战包括： （1）信息丢失：向量表达需要保留信息结构和节点间的联系。 （2）可扩展性：嵌入方法应具有可扩展性，能够处理可变长文本信息。 （3）维数优化：高维数会提高精度，但时间和...
动态TopicModel BERTopic 中文 长文本 SentenceTransformer BERT 均值特征向量 整体特征分词关键词
动态TopicModel BERTopic 中文 长文本 SentenceTransformer BERT 均值特征向量 整体特征分词Topic 主题模型与BERTopic 主题模型Topic Model最常用的算法是LDA隐含迪利克雷分布，然而LDA有很多缺陷，如： LDA需要主题数量作为输入，非常依赖这个值；LDA存在长尾问题，对于大量低频词数据集表现不好；LDA只考虑词频，没有考虑词与词之间的...
向量与矩阵（2）
1、将三个向量组成一个矩阵 2、矩阵的秩 rank（A） 若矩阵的秩小于矩阵的行数，表示这个矩阵是可逆的，从三维的角度来说就是是共面的，数学上我们可以进行行列式的变换 3、向量方向余弦的计算 我们要补充一下，向量的模 向量的模我们一般是V1=[1,2,1] 那么 模= 2.4495 方向余弦矩阵：分别绕着XYZ轴旋转得到： 4、向量的内积=sum(X.*Y) 5、向量的夹角===Cos...
【菜菜的sklearn课堂笔记】支持向量机-SVC真实数据案例：预测明天是否会下雨-建模与模型评估以及不同方向的调参
衡的参数class_weight，解决多分类问题的参数decision_function_shape，控制概率的参数probability，控制计算内存的参数cache_size，属性主要包括调用支持向量的属性support_vectors_和查看特征重要性的属性coef_。接口中，我们学习了最核心的decision_function。除此之外，我们介绍了分类模型的模型评估指标：混淆矩阵和ROC曲线，...
支持向量机-关于predict_proba、decision_function
前一篇文章中，对 prob = pd.DataFrame(clf.decision_function(Xtest)) prob.loc[prob.iloc[:,0] >= 0.13157937002761821,"y_pred"] = 1prob.loc[prob.iloc[:,0] < 0.13157937002761821,"y_pred"] = 0 有疑问，为什么比阈值大的标签就是1，反之就...
每天5分钟机器学习算法：支持向量机之硬间隔分类器以及SMO算法
本文重点 我们前面把支持向量机需要准备的知识大多数都介绍了，之后我们也介绍了支持向量机的目标函数了，接下来我们要对这个目标函数进行优化了。 优化 这就是目标函数，上一节文章中我们从多角度进行了介绍，那么这里就不多说了，下面继续进行处理，构造拉格朗日函数： 然后我们利用之前的强对偶性对其转换： 从最小到最大的转换，可以让我们先优化w，b，也就是下面我们可以看到w和b可以被λ表示，这样就降低了复杂度了，λ...