大语言模型构建的主要四个阶段(各阶段使用的算法、数据、难点以及实践经验)
大语言模型构建通常包含以下四个主要阶段:预训练、有监督微调、奖励建模和强化学习,简要介绍各阶段使用的算法、数据、难点以及实践经验。 预训练 需要利用包含数千亿甚至数万亿 单词的训练数据,并借助由数千块高性能 GPU 和高速网络组成的超级计算机,花费数十天完成深 度神经网络参数的训练。这一阶段的核心难点在于如何构建训练数据以及如何高效地进行分布式 训练。 有监督微调阶段 ...
2019年认证杯SPSSPRO杯数学建模C题(第一阶段)保险业的数字化变革全过程文档及程序
本身的驾驶行为,还可能会以投保人本身的年龄、职业、家庭状况等信息为标准。 信息时代的到来,为车险企业提供了一个更加有力的武器,可以通过数字化技术来更加精准地了解客户,制定营销和服务方案。 第一阶段问题: 1. 请建立合理的数学模型,对附件一中提供的客户进行精准画像,给出客户的续保概率。 2. 请针对不同的客户设计不同的优惠和福利方案,以提高续保概率。 整体求解过程概述(摘要) 中国...
2019年认证杯SPSSPRO杯数学建模B题(第二阶段)外星语词典全过程文档及程序
可能有一些位置出现了记录错误。可能的错误分为如下三种: 1. 删失错误:丢失了某个字母; 2. 插入错误:新增了原本不存在的字母; 3. 替换错误:某个字母被篡改成了其他的字母。 第二阶段问题: 现假设我们已经获取了 30 段文本,每段文本的长度都在5000–8000 个字母之间。我们希望找到的片段的长度为 15 个字母。由于技术的限制,当我们在记录每个字母时,都可能有五分之一的概率发...
残疾儿童少年义务教育阶段如何随班就读?广东发布实施细则:随班就读学生不超过3人,建立同伴互助制度
全媒体记者 孙唯1月10日,广东省教育厅等八部门发布《关于加强残疾儿童少年义务教育阶段随班就读工作的实施细则》(以下简称《细则》)。《细则》明确,实施义务教育的普通学校应当依法依规接收具有接受普通教育能力的适龄残疾儿童少年随班就读,不得拒绝接收,不得歧视或变相歧视随班就读学生。优先安排残疾儿童少年入学《细则》规定,每年招生入学工作开始前,县级教育行政部门应对照残联提供的适龄持证残疾儿童少年进行科学全面...
2019年认证杯SPSSPRO杯数学建模D题(第一阶段)5G时代引发的道路规划革命全过程文档及程序
,速度和目的地之类的信息,进而核心控制系统可以基于这些信息,为司机生成个性化指令。通过告诉司机最佳行驶速度、最佳车道或最佳路线,不仅可以消除走走停停的现象,还可以提高交通安全性,如下图所示。 第一阶段问题: 假定如上图所示的交通路口,高峰时的流量可达到 500 辆车/小时。有一条道路的两车道由于出现突发故障需要临时封闭 30 分钟。我们假设绝大多数车辆都可以实行自动驾驶,主控中心可以通过网络给车辆...
2018年认证杯SPSSPRO杯数学建模C题(第二阶段)机械零件加工过程中的位置识别全过程文档及程序
在工业制造自动生产线中,在装夹、包装等工序中需要根据图像处理利用计算机自动智能识别零件位置,并由机械手将零件自动搬运到特定位置。某零件轮廓如图 1 所示,图2 表示零件搬运前后的位置示意图。 第二阶段问题: 3. 题目给出了未经轮廓提取的原始零件图像数据 (附件 DATA3),请采用或自主设计合适的轮廓提取算法,验证前两问中建立的优化模型是否同样适用。 4. 问题 1 至问题 3 讨论的是...
2017年认证杯SPSSPRO杯数学建模B题(第一阶段)岁月的印记全过程文档及程序
有过改变面容的疾病、面部外伤或外科手术等经历,年轻和年老时的面容总有很大的相似性。人们在生活中也往往能够分辨出来两张不同年龄段的照片是不是同一个人。当然,年龄段相差越大,识别起来也就越困难。 第一阶段问题: 请你建立合理的数学模型,当我们给出两张不同年龄段的面部照片时,可以通过算法来自动识别是不是同一个人。为简单起见,我们可以假设两张照片都是标准位置和标准光线下拍摄的,例如都是一寸证件照。 整体求...
2017年认证杯SPSSPRO杯数学建模A题(第一阶段)安全的后视镜全过程文档及程序
外侧则是一个凸面镜,在它们之间进行了平滑的过渡。图 1 是两个例子,为了便于驾驶员对距离进行判断,镜中由虚线或细实线示意了不同曲率的镜面间的分界线。它们的具体设计有所区别,性能也会有所不同。 第一阶段问题: 对典型的小型家用轿车而言,共有三面后视镜,左右车门的外侧各装一面外后视镜,车内正中还有一面内后视镜。假设两面外后视镜都设计成如图 1 所示的双曲率后视镜,请你建立相应的数学模型,对外后视镜给出...
继阶段性取消首套房贷款利率下限后,“双(多)证房”可办理合证 东莞两日内调整两项楼市政策
讯 记者文聪报道:1月1日和2日,东莞市相继调整两项楼市政策,先是阶段性取消首套住房商业性个人住房贷款利率下限,随后针对“‘双(多)证房’流通难”问题,提出“双(多)证房”可办理合证。1月1日晚,东莞市住房和城乡建设局对“莞e认购”小程序中的“温馨提示”进行更新,即日起阶段性取消首套住房商业性个人住房贷款利率下限,具体的房贷利率由各商业银行根据市场化、法治化原则自主确定。此前,东莞大部分银行首套利率下...
2020年认证杯SPSSPRO杯数学建模B题(第二阶段)分布式无线广播全过程文档及程序
信息广播出去,需要此条信息的节点只需要被动收听即可,并不需要点对点地持续交换信息。所有信息只能使用同一个频率发送,一旦有两个或多个节点的广播发生冲突,能同时收听到它们的节点就都能监听到冲突。 第二阶段问题: 我们假设每条信息 (广播) 发送时所需的时间是不等长的,但都是某个最小时间单位 (不妨设为秒) 的整数倍。请建立合理的数学模型并解决如下问题。 1. 假设对每个节点来说,发送信息所需的时间...