实地研究降本增效的杀伤力，LSTM算法实现全国失业率分析预测

前言

​

降本增效=降本增笑？增不增效暂且不清楚，但是这段时间大厂的产品频繁出现服务器宕机和产品BUG确实是十分增笑。目前来看降本增效这一理念还会不断渗透到各行各业，不单单只是互联网这块了，那么对于目前就业最为严峻的一段时期，我们能够对失业率有个全面的了解是最好的情况，所以基于此理念我们来拟定一个失业率预测分析这一微项目。

我们将会从数据获取–数据处理–LSTM建模–预测检测这四个流程依次进行最终得到一个较为合理准确的数据，当然该预测率的准确度是依赖获取到的官方数据的，至于数据真实性这个不作过多解释~大家只要了解建模过程如何和LSTM模型如何使用就好。

博主现任高级人工智能工程师，理解各类模型原理以及每种模型的建模流程和各类题目分析方法。写文章的目的就是为了让零基础快速使用各类代码模型，保证每篇文章都为用心撰写。

且每篇文章我都会尽可能将简化涉及到垂直领域的专业知识，转化为大众小白可以读懂易于理解的知识，将繁杂的程序创建步骤逐个拆解，以逐步递进的方式由难转易逐渐掌握并实践，欢迎各位学习者关注博主，博主将不断创作技术实用前沿文章。

数据获取

不查不知道，一查确实还是挺有意思的数据，想要获取官方数据可以直接访问国家数据网站。
因为是官方的数据所以就默认为真实情况，就不用进行数据清洗工程了。

数据预览

# 转换为DataFrame
df = pd.DataFrame(data)

# 将日期转换为时间序列，并设为索引
df['日期'] = pd.to_datetime(df['日期'], format='%Y年%m月')
df.set_index('日期', inplace=True)

# 由于数据是逆序的，我们需要将其反转以正确地展示时间序列
df = df.iloc[::-1]

df

​

我们再来数据可视化帮我们更具体的看清楚整个数据的全貌：

# 绘制线图
plt.figure(figsize=(10, 6))  # 设置图形大小
plt.plot(df.index, df['全国城镇调查失业率(%)'], marker='o', label='全国城镇调查失业率(%)')
plt.plot(df.index, df['全国城镇本地户籍劳动力失业率(%)'], marker='s', label='全国城镇本地户籍劳动力失业率(%)')
plt.plot(df.index, df['全国城镇外来户籍劳动力失业率(%)'], marker='^', label='全国城镇外来户籍劳动力失业率(%)')

# 设置图表标题和标签
plt.title('不同类型失业率的时间序列变化')
plt.xlabel('日期')
plt.ylabel('失业率(%)')
plt.xticks(rotation=45)  # 旋转x轴标签以避免重叠
plt.legend()  # 显示图例

# 显示图表
plt.tight_layout()  # 自动调整子图参数, 使之填充整个图像区域
plt.show()

​

LSTM建模

​

那么现在我们可以来预测未来三个月的失业率到底如何，构建一个LSTM模型来预测未来三个月的失业率是一个典型的时间序列预测任务。使用PyTorch框架进行此类预测需要几个步骤：数据预处理、定义LSTM模型、训练模型、以及最后的预测。下面我会概述这个过程的每个步骤，并提供相应的示例代码。

步骤 1: 数据预处理

时间序列预测的第一步通常涉及到数据的预处理，包括标准化/归一化数据和创建适合于监督学习的时间序列数据集。

from sklearn.preprocessing import MinMaxScaler
import numpy as np
import torch

# 假设df是包含失业率时间序列的DataFrame

# 选择一个列作为预测目标
data = df['全国城镇调查失业率(%)'].values.reshape(-1, 1)

# 数据标准化
scaler = MinMaxScaler(feature_range=(-1, 1))
data_normalized = scaler.fit_transform(data)

# 创建数据集
def create_dataset(data, look_back=1):
    dataX, dataY = [], []
    for i in range(len(data)-look_back):
        a = data[i:(i+look_back), 0]
        dataX.append(a)
        dataY.append(data[i + look_back, 0])
    return np.array(dataX), np.array(dataY)

look_back = 3  # 使用3个月的数据来预测下一个月
X, y = create_dataset(data_normalized, look_back)
X = X.reshape(X.shape[0], 1, X.shape[1])  # 为了LSTM输入，需要转换为[samples, time steps, features]

# 转换为PyTorch张量
X_torch = torch.from_numpy(X).float()
y_torch = torch.from_numpy(y).float()

步骤 2: 定义LSTM模型

在PyTorch中定义一个简单的LSTM模型。

import torch.nn as nn

class LSTMModel(nn.Module):
    def __init__(self, input_size=1, hidden_layer_size=100, output_size=1):
        super().__init__()
        self.hidden_layer_size = hidden_layer_size

        self.lstm = nn.LSTM(input_size, hidden_layer_size)

        self.linear = nn.Linear(hidden_layer_size, output_size)

        self.hidden_cell = (torch.zeros(1,1,self.hidden_layer_size),
                            torch.zeros(1,1,self.hidden_layer_size))

    def forward(self, input_seq):
        lstm_out, self.hidden_cell = self.lstm(input_seq.view(len(input_seq) ,1, -1), self.hidden_cell)
        predictions = self.linear(lstm_out.view(len(input_seq), -1))
        return predictions[-1]

步骤 3: 训练模型

接下来，定义训练循环来训练LSTM模型。

model = LSTMModel(input_size=3, hidden_layer_size=100, output_size=1)  # 确保这里的参数与你的数据匹配
loss_function = nn.MSELoss()
optimizer = torch.optim.Adam(model.parameters(), lr=0.001)

epochs = 150
for epoch in range(epochs):
    total_loss = 0
    for seq, labels in zip(X_torch, y_torch):
        optimizer.zero_grad()
        
        # 根据修改后的模型，不再需要外部初始化hidden_cell
        y_pred = model(seq.unsqueeze(0))  # 增加一个批次维度

        single_loss = loss_function(y_pred, labels.unsqueeze(0))  # 标签也需要增加一个批次维度
        single_loss.backward()
        optimizer.step()
        
        total_loss += single_loss.item()
    
    if epoch % 25 == 0:
        print(f'epoch: {epoch:3} loss: {total_loss/len(X_torch):10.8f}')

训练误差：

epoch:   0 loss: 0.50735911
epoch:  25 loss: 0.09428047
epoch:  50 loss: 0.08110558
epoch:  75 loss: 0.06782570
epoch: 100 loss: 0.05745859
epoch: 125 loss: 0.05270799

模型预测

基于前面讨论的步骤和代码，使用训练好的LSTM模型和最近几个月的数据来预测未来三个月的失业率。这个过程大致分为以下几步：

1. 使用最近的数据：基于look_back参数，从最新的数据开始预测。
2. 进行预测：利用模型预测下一个时间点的值。
3. 更新输入数据：将预测值添加到输入数据中，用于下一步的预测。
4. 重复预测过程：重复步骤2和3，直到预测了所需的未来时间点的数据。

# 如果look_back=3，我们取最后3个已知时间点的数据
input_data_normalized = data_normalized[-look_back:].reshape((1, 1, look_back))

# 转换为PyTorch张量
input_data_tensor = torch.from_numpy(input_data_normalized).float()

# 存储预测结果
predictions_normalized = []

# 进行未来三个月的预测
for _ in range(3):  # 预测未来三个月
    with torch.no_grad():  # 不计算梯度
        # 预测下一个时间点
        pred = model(input_data_tensor)
        predictions_normalized.append(pred.numpy().flatten()[0])  # 存储预测结果
        
        # 更新输入数据
        input_data_tensor = torch.cat((input_data_tensor[:, :, 1:], pred.unsqueeze(0)), dim=2)

# 将预测结果逆标准化
predictions = scaler.inverse_transform(np.array(predictions_normalized).reshape(-1, 1))

print("预测的未来三个月失业率：", predictions.flatten())

预测的未来三个月失业率： [5.226562  5.1846743 5.1323695]

这个过程假定input_data_normalized包含了用于开始预测的最后look_back个时间点的数据，已经是标准化形式。每次预测后，我们都会更新这个输入数据，将最新的预测值添加进去，同时移除最旧的数据点，以便于下一次预测。预测完成后，我们使用与训练数据相同的MinMaxScaler实例scaler来逆标准化预测结果，以获取原始尺度上的预测值。

确保在进行预测之前，model已经在相似的数据上训练并且达到了满意的性能。预测的这个值大家看个乐呵就行不要太较真~

点关注，防走丢，如有纰漏之处，请留言指教，非常感谢

以上就是本期全部内容。我是fanstuck ，有问题大家随时留言讨论 ，我们下期见。