概述
物联网（IoT）的最新发展导致人工智能模型被嵌入到传感器和智能手机等终端设备中。这些模型是根据每个设备的存储容量和计算能力定制的，但重点是在终端侧进行本地推理，以降低通信成本和延迟。
然而，与部署在边缘服务器或云端的更先进模型相比，设备上的模型往往表现不佳。为了解决这个问题，有人提出了合作推理系统（CIS），它允许能力较弱的设备将部分推理任务卸载给功能更强大的设备，从而提高了整体性能。
此外，由于 CIS 操作中客户之间提供服务的异质性很高，传统的培训方法往往无法提供足够的性能。本研究提出了一种专为 CIS 设计的新的联合学习（FL）方法，该方法允许在培训模型中考虑每个客户服务提供率的变化。
这一新框架不仅提供了理论保证，而且在性能上优于 CIS 的最先进训练算法。这在推理请求频率和数据可用性因客户而异的情况下尤其如此。
相关研究
协作推理系统（CIS）和联合学习（FL）是在终端设备和边缘服务器等分布式环境中有效运行人工智能模型的关键技术。开发这些技术是为了应对终端设备的异构计算和存储能力，同时降低通信成本和保护数据隐私。
FL 基础知识和 CIS 整合
联盟学习是一种在客户端之间不共享数据的情况下联合训练模型的框架。这确保了数据的私密性，而且训练直接在终端设备生成的数据上进行。这可以通过 FedAvg 和 FedProx 等算法来实现，它们提出了一种新方法，可以高效地训练具有不同模型大小的多个客户端。
CIS 的应用和挑战
CIS 的目的是将计算任务分配给网络中的不同设备，以改善特定推理任务的响应时间。例如，利用早期退出（early exit）网络和有序剔除（ordered dropouts）等技术，系统会自动调整，使更强大的模型负责计算要求高的任务。然而，有效训练这些模型的方法尚未得到充分研究。
最先进的 FL 技术
FL 中的知识提炼和参数共享等技术可实现模型之间的知识转移。即使在不同架构的模型共存的环境中，也能提高模型的整体性能。还有人尝试生成不同大小的子模型，并使其适应异构客户端，如 FjORD 框架。
以前的工作主要集中在模型放置和合作策略的优化上，而本研究则致力于 CIS 环境中的模型训练方法。具体来说，它根据不同客户端的推理请求频率提出了一个优化问题，并提出了一种新颖的 FL 方法。其目的是消除终端设备之间推理性能的差异，提高整个系统的效率。
建议方法
本研究针对协作推理系统（CIS）提出了一种新颖的联合学习（FL）方法。该方法可在考虑到 CIS 环境中推理请求的频率和客户数据可用性差异的情况下进行模型训练。主要特点和方法如下。
考虑到推理服务限制的优化问题：该方法考虑到了客户推理请求的异质性，并将这种情况表述为一个优化问题。具体来说，它根据推理请求的频率调整每个模型的训练权重，从而平衡推理任务。
∙ 最小化加权损失函数：建议的算法旨在最小化来自不同客户端的损失加权总和。权重基于推理请求的频率，可能因每个客户端的计算能力而异。
-计算能力强的客户提供协助：计算能力强的客户根据预设概率参与模型训练，以协助计算能力较弱的客户。这可以提高模型的整体性能，保证推理的准确性。
试验
为了评估所提出的联合学习算法的性能，我们在 CIFAR-10 数据集上进行了详细的实验。这些实验是在考虑到不同客户端数据可用性和推理请求频率差异的环境下进行的，目的是验证所提算法的性能和适应性。
实验数据集
使用的主要数据集是 CIFAR-10，这是一个通常用于图像识别任务的数据集。在实验中，数据集分布在不同的云、边缘和设备拓扑结构中，以便在每个环境中训练和推断模型。
与基线模型的比较
我们将提议的算法与现有的联合学习算法进行了比较，并对其性能进行了评估。特别是，它与 FedAvg 和 FedProx 等流行的联合学习算法进行了比较，目的是让所提出的方法比这些算法显示出更好的适应性和性能。
绩效评估结果（表 2）
实验结果显示了使用 CIFAR-10 数据集在不同客户端设置下的推理性能。这证实了所提出的算法在解决客户端数据异质性问题的同时，提高了整体推理任务的效率。
验证理论保证
实验证明，所提出的算法实现了理论上预测的性能提升。这表明，该算法能够在不同的客户端环境中保持一致的推理性能。
这些实验结果表明，针对分布式环境中的推理任务，所提出的联合学习算法是一种实用而有效的解决方案，表明它可以广泛应用于 CIS 环境。
结论
本研究提出了一种专门用于协作推理系统（CIS）的新型联合学习（FL）框架。该方法根据每个客户端的服务交付率调整模型的训练，同时考虑到推理请求的频率和客户端之间数据可用性的差异，从而优化整体推理性能。通过实验，与传统的 FL 方法相比，所提出的算法显示出更优越的性能，为在异构设备环境中进行高效推理提供了可能。
未来展望
基于本研究中开发的 FL 方法所取得的成功，它有望应用于更多的场景和不同的数据集。特别是，该算法有望在物联网和移动设备大量存在的现实世界中得到扩展和应用。未来，进一步优化模型训练过程和开发适应策略以应对不同的网络条件和设备限制将非常重要。
此外，隐私保护和增强安全性是基于 FL 的应用中的核心问题，需要在今后的研究中更详细地加以解决。在拟议框架的基础上，探索在不损害隐私的情况下有效利用数据的新方法可能是未来研究的一部分。
最后，将这一研究方法应用于其他机器学习模型和算法可促进其在不同行业的实施，并有助于在 CIS 环境中进一步建立高效的运行模型。
注：
论文地址：https://arxiv.org/pdf/2405.04249