对YoloV5的backbone进行self-supervised learning以及fine-tuning
文章目录 应用场景 分离出YoloV5的backbone 基于主干网络的自监督训练 基于冻结主干梯度的模型预训练 模型训练 应用场景 当你的数据集存在标注数据占比较小，无标注数据占大头的时候，可以考虑下自监督学习来提高主干网络的视觉表征能力，有关自监督学习的论文可以参考这篇博文。 分离出YoloV5的backbone 将YoloV5的backbone写成一个图像分类网络 class YoloBackbone(B...
NLP_learning 中文基本任务与处理（分词、停用词、词性标注、语句依存分析、关键词抽取、命名实体识别）介绍、jieba工具库
文章目录 1、分词2、停用词和N-gram停用词N-gram 3、 更多任务（词性标注、依赖分析、NER、关键词抽取）词性标注句法依存分析命名实体识别关键词抽取 4、 jieba工具库使用（1）基本分词函数与用法（2）词性标注（3）关键词抽取基于TF-IDF算法的关键词抽取基于TextRank算法的关键词抽取PageRank的基本思想TextRank的基本思想TextRank提取关键词的主要步骤TextRank...
Model-Agnostic Meta-Learning (MAML) 理解
模型不可知元学习(Model-Agnostic Meta-Learning, MAML)的目标是使模型每次的梯度更新更有效、提升模型的学习效率、泛化能力等，它可以被看做一种对模型进行预训练的方法，适用于小样本学习。 原文：http://proceedings.mlr.press/v70/finn17a/finn17a.pdf 其它理解可以看：https://zhuanlan.zhihu.com/p/...
【论文随笔】Time-Incremental Learning from Data Using Temporal Logics
势变化点）为0的时间点作为决策时间点 生成决策点集合为 T = { t k } k = 1 K \mathcal{T}=\{t_k\}^K_{k=1} T={tk}k=1K Classifier Learning 在每个决策点用决策树生成分类器 每个决策点的分类器用STL公式 ϕ k \phi_k ϕk表示 Classifier Evaluation 计算每个STL的权值生成wSTL ω ( t ) \om...
Spatio-temporal Self-Supervised Representation Learning for 3D Point Clouds
Spatio-temporal Self-Supervised Representation Learning for 3D Point Clouds 摘要 到目前为止，各种 3D 场景理解任务仍然缺乏实用和可推广的预训练模型，这主要是由于 3D 场景理解的复杂性质及其由相机视图、照明、遮挡等带来的巨大变化。在本文中，我们通过引入时空表示学习（STRL）框架来应对这一挑战，能够以自我监督的方式从未标记的 3D ...
Machine Learning机器学习（学习记录）
Machine Learning机器学习 目录 Machine Learning机器学习聚类K-Means基本思路k均值算法流程k均值算法的特点k-均值算法的优点：k-均值算法的缺点： sklearn实现KMeans K-Means++算法基本思路代码实现K-Means++Python代码实现sklearn实现K-Means++ 参考： 聚类 K-Means 基本思路 k-均值（k-means ）算法是一种划分...
NLP_learning 导论：自然语言处理概述+基本文本处理操作
文章目录 一、自然语言处理概述一、基本文本处理操作1、清理与替换2、截取3、连接与分割4、比较与排序5、查找与包含6、大小写变换7、搜索查找更多的字符串相关操作 总结 一、自然语言处理概述 定义：自然语言处理（Natural Language Processing）简称NLP，是一种利用计算机为工具对人类特有的书面形式和口语形式的自然语言的信息进行各种类型处理和加工的技术。 任务：通过处理和理解语言，来构建执行...
Machine Learning with Graphs
学习笔记，仅供参考，有错必纠 文章目录 Machine Learning with Graphs Convolutional Model for Graphs Components of Graph Convolution TransE, Translating Embeddings for Modeling Multi-relational Data Many other Trans[X] models Va...
【DeepLearning 8】Self-Attention自注意力神经网络
一、Introduction 很多时候，我们需要输入的数据非常的复杂，难以用统一、固定长度的向量来表示。比如NLP中长短不一的句子。此外，我们需要输出的数据有时候也会复杂，比如一组向量中每一个向量有一个输出（词性标注），或者一组向量有一个输出，或者输出的数量让机器自己决定（即seq2seq任务，比如中英文翻译） 在第一种情况的时候，我们可以使用Fully-connected，然...
Transductive Learning 和 Inductive Learning
简介 在 kipf-GCN 和 GraphSage 中，对 Transductive Learning 和 Inductive Learning 有了比较深刻的认识。 kipf-GCN 在其论文中提到算法属于 transductive node classification，也就是在训练节点embedding的时候要看到全图的节点，这是因为kipf-GCN使用了拉普拉斯矩阵。kipf-GCN 的半监督指的是只知...