【机器学习】在【R语言】中的应用：结合【PostgreSQL数据库】的【金融行业信用评分模型】构建

目录

1.数据库和数据集的选择

1.准备工作

2.PostgreSQL安装与配置

3.R和RStudio安装与配置

2.数据导入和预处理

1.连接数据库并导入数据

1.连接数据库

2.数据检查和清洗

1.数据标准化

2.拆分训练集和测试集

3.特征工程

1.生成新特征

2.特征选择

4.模型训练和评估

1.逻辑回归

2.随机森林

3.XGBoost

4.模型比较与选择

5.深度挖掘和优化

1.模型调参

2.特征交互和组合

6.实际应用中的挑战与解决方案

1.数据偏差

1.持续监控模型性能

2.在线学习和模型更新

3.数据增强

2.模型过拟合

1.交叉验证

2.正则化

3.增加训练数据

3.业务需求变化

1.模块化设计

2.自动化流程

3.多模型集成

附录

完整代码示例

---

金融行业由于其高度数据驱动的特点，是机器学习技术应用的理想领域。信用评分作为金融领域的重要应用，通过评估借款人的信用风险，帮助金融机构做出放贷决策。本文将详细介绍如何使用R语言结合PostgreSQL数据库，基于公开数据集构建一个信用评分模型。

1.数据库和数据集的选择

本次分析将使用Kaggle上的德国信用数据集（German Credit Data），并将其存储在PostgreSQL数据库中。该数据集包含1000个样本，每个样本有20个特征，用于描述借款人的信用情况。

1.准备工作

在开始我们的分析之前，我们需要安装和配置所需的软件和库。

1. 安装PostgreSQL：PostgreSQL是一个强大的开源关系型数据库管理系统，可以方便地处理大规模数据。
2. 安装R和RStudio：R是本次分析的主要编程语言，RStudio作为集成开发环境。
3. 安装必要的R包：包括DBI和RPostgreSQL用于数据库连接，dplyr用于数据处理，caret和xgboost用于机器学习模型。

2.PostgreSQL安装与配置

1. 访问PostgreSQL官方网站下载适用于您操作系统的安装包。
2. 按照官方网站上的说明进行安装，确保安装过程中包括pgAdmin管理工具。
3. 安装完成后，打开pgAdmin并创建一个名为credit_rating的数据库。
4. 在数据库中创建表并导入德国信用数据集。我们可以使用SQL脚本完成此操作：

   CREATE TABLE german_credit_data (
       ID SERIAL PRIMARY KEY,
       Status_Checking VARCHAR(255),
       Duration INT,
       Credit_History VARCHAR(255),
       Purpose VARCHAR(255),
       Credit_Amount INT,
       Savings_Account VARCHAR(255),
       Present_Employment_Since VARCHAR(255),
       Installment_Rate INT,
       Personal_Status_Sex VARCHAR(255),
       Other_Debtors_Guarantors VARCHAR(255),
       Present_Residence INT,
       Property VARCHAR(255),
       Age INT,
       Other_Installment_Plans VARCHAR(255),
       Housing VARCHAR(255),
       Number_of_Existing_Credits INT,
       Job VARCHAR(255),
       Number_of_People_Liable INT,
       Telephone VARCHAR(255),
       Foreign_Worker VARCHAR(255),
       CreditRisk INT
   );
   

   然后使用批量导入工具将CSV数据文件导入到表中。

   3.R和RStudio安装与配置

• 访问R官方网站下载适用于您操作系统的安装包，并按照提示进行安装。
• 访问RStudio官方网站下载RStudio桌面版安装包，并进行安装。
• 打开RStudio并安装必要的R包：

  install.packages(c("DBI", "RPostgreSQL", "dplyr", "caret", "xgboost", "pROC"))
  

  2.数据导入和预处理

• 数据导入和预处理是机器学习流程的基础。我们将通过R连接PostgreSQL数据库，读取数据，并进行初步的预处理。

  1.连接数据库并导入数据

1.连接数据库

# 加载必要的包
library(DBI)
library(RPostgreSQL)

# 连接到PostgreSQL数据库
con <- dbConnect(PostgreSQL(), dbname = "credit_rating", host = "localhost", port = 5432, user = "your_username", password = "your_password")

# 从数据库中读取数据
query <- "SELECT * FROM german_credit_data"
data <- dbGetQuery(con, query)

# 查看数据结构
str(data)

2.数据检查和清洗

• 在读取数据后，我们首先需要检查数据的完整性和质量。

  # 检查缺失值
  sum(is.na(data))
  

如果存在缺失值，我们可以选择删除缺失值所在的行，或者使用插值方法填补缺失值。对于本次分析，我们假设数据无缺失值。

1.数据标准化

数据标准化有助于提高模型的收敛速度和预测性能。我们使用scale函数对数值型特征进行标准化。

# 数据标准化
data_scaled <- scale(data[, -ncol(data)]) # 排除目标变量

# 将标准化后的数据和目标变量合并
data <- cbind(data_scaled, data[, ncol(data)])

2.拆分训练集和测试集

为了评估模型性能，我们将数据分为训练集和测试集。通常我们将70%的数据用于训练，30%的数据用于测试。

# 拆分训练集和测试集
set.seed(123)
train_index <- sample(seq_len(nrow(data)), size = 0.7 * nrow(data))
train_data <- data[train_index, ]
test_data <- data[-train_index, ]

3.特征工程

特征工程是提高机器学习模型性能的重要步骤。通过生成新的特征和选择重要特征，可以显著提升模型的预测能力。

1.生成新特征

生成新的特征可以增加数据的信息量，从而提升模型性能。例如，我们可以生成交易金额的对数特征。

# 生成新的特征（如账户余额的对数转换）
train_data$log_balance <- log(train_data$Balance + 1)
test_data$log_balance <- log(test_data$Balance + 1)

2.特征选择

特征选择有助于减少模型复杂度，提高模型的泛化能力。我们可以使用基于特征重要性的特征选择方法。

# 特征选择（基于重要性）
library(caret)
control <- trainControl(method="repeatedcv", number=10, repeats=3)
model <- train(CreditRisk ~ ., data=train_data, method="rpart", trControl=control)
importance <- varImp(model, scale=FALSE)
print(importance)

4.模型训练和评估

在本部分，我们将使用多个机器学习算法进行模型训练，并比较它们的性能。

1.逻辑回归

逻辑回归是二分类问题中常用的基线模型。其优点是解释性强，计算效率高。

# 训练逻辑回归模型
model_logistic <- glm(CreditRisk ~ ., data=train_data, family=binomial)

# 模型预测
predictions_logistic <- predict(model_logistic, test_data, type="response")
pred_class_logistic <- ifelse(predictions_logistic > 0.5, 1, 0)

# 评估模型
confusionMatrix(factor(pred_class_logistic), factor(test_data$CreditRisk))

2.随机森林

随机森林是一种集成学习算法，通过构建多个决策树来提升模型的预测性能。

# 训练随机森林模型
library(randomForest)
model_rf <- randomForest(CreditRisk ~ ., data=train_data)

# 模型预测
predictions_rf <- predict(model_rf, test_data)

# 评估模型
confusionMatrix(predictions_rf, factor(test_data$CreditRisk))

3.XGBoost

XGBoost是一种高效的梯度提升算法，广泛应用于各类机器学习竞赛中。

# 训练XGBoost模型
library(xgboost)
dtrain <- xgb.DMatrix(data = as.matrix(train_data[-ncol(train_data)]), label = train_data$CreditRisk)
dtest <- xgb.DMatrix(data = as.matrix(test_data[-ncol(test_data)]), label = test_data$CreditRisk)

params <- list(objective = "binary:logistic", eval_metric = "auc")
model_xgb <- xgb.train(params, dtrain, nrounds = 100)

# 模型预测
predictions_xgb <- predict(model_xgb, dtest)
pred_class_xgb <- ifelse(predictions_xgb > 0.5, 1, 0)

# 评估模型
confusionMatrix(factor(pred_class_xgb), factor(test_data$CreditRisk))

4.模型比较与选择

我们将通过ROC曲线和AUC值来比较各个模型的性能。

# 计算ROC曲线和AUC值
library(pROC)
roc_logistic <- roc(test_data$CreditRisk, predictions_logistic)
roc_rf <- roc(test_data$CreditRisk, as.numeric(predictions_rf))
roc_xgb <- roc(test_data$CreditRisk, predictions_xgb)

# 绘制ROC曲线
plot(roc_logistic, col="blue", main="ROC曲线比较")
plot(roc_rf, col="red", add=TRUE)
plot(roc_xgb, col="green", add=TRUE)

# 计算AUC值
auc_logistic <- auc(roc_logistic)
auc_rf <- auc(roc_rf)
auc_xgb <- auc(roc_xgb)

legend("bottomright", legend=c(paste("Logistic (AUC =", round(auc_logistic, 2), ")"), paste("Random Forest (AUC =", round(auc_rf, 2), ")"), paste("XGBoost (AUC =", round(auc_xgb, 2), ")")), col=c("blue", "red", "green"), lwd=2)

5.深度挖掘和优化

在得到初步模型结果之后，我们可以通过调参和进一步的特征工程提升模型性能。

1.模型调参

通过超参数调优，我们可以进一步提升模型性能。例如，对随机森林和XGBoost模型进行调参：

# 随机森林调参
tune_rf <- tuneRF(train_data[-ncol(train_data)], train_data$CreditRisk, stepFactor=1.5, improve=0.01, ntreeTry=100, trace=TRUE)

# XGBoost调参
params <- list(objective = "binary:logistic", eval_metric = "auc")
tune_xgb <- xgb.cv(params, dtrain, nrounds = 100, nfold = 5, showsd = TRUE, stratified = TRUE, print_every_n = 10, early_stopping_rounds = 20)

2.特征交互和组合

通过生成特征交互项和组合特征，可以增加数据的信息量，从而提升模型性能。

# 生成交互特征
train_data$age_balance <- train_data$Age * train_data$Balance
test_data$age_balance <- test_data$Age * test_data$Balance

# 重新训练模型
model_xgb_interaction <- xgb.train(params, xgb.DMatrix(data = as.matrix(train_data[-ncol(train_data)]), label = train_data$CreditRisk), nrounds = 100)

6.实际应用中的挑战与解决方案

尽管模型在实验数据上表现良好，但在实际应用中会面临数据偏差、模型过拟合和业务需求变化等挑战。为了在真实环境中保持模型的有效性和可靠性，我们需要深入理解这些挑战并采取相应的解决方案。

1.数据偏差

1.持续监控模型性能

定义与重要性： 持续监控模型性能是指在模型部署后，定期评估其在新数据上的表现。这是确保模型在实际应用中保持稳定和可靠的关键步骤。

具体方法：

1.指标评估： 定期使用AUC、F1分数、精确度、召回率等指标评估模型性能。通过对比这些指标的历史记录，可以及时发现性能下降的趋势。

# 计算并记录模型性能指标
library(caret)
predictions <- predict(model_xgb, new_data)
auc_value <- roc(new_data$CreditRisk, predictions)$auc
f1_value <- F1_Score(y_pred = ifelse(predictions > 0.5, 1, 0), y_true = new_data$CreditRisk)
performance_metrics <- data.frame(AUC = auc_value, F1 = f1_value)

2.仪表板监控： 建立实时监控仪表板，自动更新并显示关键性能指标。可以使用Shiny或其他可视化工具实现。

library(shiny)
ui <- fluidPage(
  titlePanel("模型性能监控仪表板"),
  mainPanel(
    plotOutput("aucPlot"),
    plotOutput("f1Plot")
  )
)
server <- function(input, output) {
  output$aucPlot <- renderPlot({
    plot(performance_metrics$AUC, type="l", col="blue", xlab="时间", ylab="AUC", main="AUC值变化")
  })
  output$f1Plot <- renderPlot({
    plot(performance_metrics$F1, type="l", col="red", xlab="时间", ylab="F1分数", main="F1分数变化")
  })
}
shinyApp(ui = ui, server = server)

2.在线学习和模型更新

定义与重要性： 在线学习和模型更新是指模型在实际运行过程中不断吸收新的数据并进行调整，以适应数据分布的变化。这有助于保持模型的时效性和准确性。

具体方法：

1.增量学习： 使用增量学习算法，如SGD或Online Bagging，使模型能够处理流数据并不断更新。

library(glmnet)
# 使用增量学习更新逻辑回归模型
new_model <- glmnet(x = as.matrix(new_data[,-ncol(new_data)]), y = new_data$CreditRisk, family = "binomial", alpha = 0.5, lambda = 0.1, intercept = TRUE)

2.定期重新训练： 根据新数据定期重新训练模型，如每周或每月一次，确保模型能够捕捉最新的市场动态。

# 定期重新训练XGBoost模型
dtrain_new <- xgb.DMatrix(data = as.matrix(updated_train_data[-ncol(updated_train_data)]), label = updated_train_data$CreditRisk)
model_xgb_updated <- xgb.train(params, dtrain_new, nrounds = 100)

3.数据增强

定义与重要性： 数据增强是通过生成更多的样本，特别是对稀缺类别进行增强，来减少数据偏差的影响。数据增强可以提高模型在不同数据分布下的泛化能力。

具体方法：

1.合成少数过采样技术（SMOTE）： 生成新的少数类样本，平衡数据分布。

library(DMwR)
balanced_data <- SMOTE(CreditRisk ~ ., data = train_data, perc.over = 200, perc.under = 200)

2.数据扩展： 对现有数据进行变换和扩展，如添加噪声、数据翻转等。

augmented_data <- data.frame(apply(train_data, 2, function(x) jitter(x, amount = 0.1)))

2.模型过拟合

1.交叉验证

定义与重要性： 交叉验证是一种模型评估方法，通过将数据集分为多个子集，交替使用每个子集作为验证集，其余子集作为训练集，从而全面评估模型性能。交叉验证可以有效防止过拟合。

具体方法：

1.K折交叉验证： 将数据分为K个子集，交替使用每个子集作为验证集。常用的K值包括5和10。

control <- trainControl(method="cv", number=10)
model_cv <- train(CreditRisk ~ ., data=train_data, method="rf", trControl=control)

2.留一法交叉验证： 每次只用一个样本作为验证集，其余样本作为训练集。适用于小规模数据集。

control_loo <- trainControl(method="LOOCV")
model_loo <- train(CreditRisk ~ ., data=train_data, method="rf", trControl=control_loo)

2.正则化

定义与重要性： 正则化通过在损失函数中加入惩罚项，防止模型过于复杂，从而减少过拟合风险。常用的正则化方法包括L1正则化（Lasso）和L2正则化（Ridge）。

具体方法：

1.L1正则化（Lasso）： 在损失函数中加入权重绝对值的和。

model_lasso <- glmnet(x = as.matrix(train_data[,-ncol(train_data)]), y = train_data$CreditRisk, alpha = 1, family = "binomial")

2.L2正则化（Ridge）： 在损失函数中加入权重平方的和。

model_ridge <- glmnet(x = as.matrix(train_data[,-ncol(train_data)]), y = train_data$CreditRisk, alpha = 0, family = "binomial")

3.弹性网正则化： 结合L1和L2正则化。

model_enet <- glmnet(x = as.matrix(train_data[,-ncol(train_data)]), y = train_data$CreditRisk, alpha = 0.5, family = "binomial")

3.增加训练数据

定义与重要性： 增加训练数据可以帮助模型更好地学习数据的真实分布，减少过拟合。通过收集更多的历史数据或生成合成数据，可以提高模型的泛化能力。

具体方法：

1..收集更多数据： 扩展数据来源，获取更多历史数据或跨区域数据。

# 假设通过新的数据源获取了更多数据
more_data <- read.csv("new_credit_data.csv")
combined_data <- rbind(train_data, more_data)

2.合成数据生成： 使用生成对抗网络（GAN）等方法生成合成数据。

# 使用合成数据生成工具（如Python中的GAN库）生成更多样本
# 注意：此处为伪代码，实际使用需参考具体工具文档
synthetic_data <- generate_synthetic_data(train_data)
combined_data <- rbind(train_data, synthetic_data)

3.业务需求变化

1.模块化设计

定义与重要性： 模块化设计是将模型设计成多个独立的模块，方便更新和替换部分模块，提升模型的灵活性和适应性。模块化设计有助于应对金融行业快速变化的业务需求。

具体方法：

1.分离数据处理和模型训练模块： 将数据清洗、特征工程与模型训练分离，方便独立更新。

# 数据处理模块
process_data <- function(raw_data) {
  # 数据清洗和特征工程代码
  cleaned_data <- raw_data # 假设处理后得到cleaned_data
  return(cleaned_data)
}

# 模型训练模块
train_model <- function(processed_data) {
  model <- train(CreditRisk ~ ., data=processed_data, method="rf")
  return(model)
}

# 使用模块化函数
cleaned_data <- process_data(raw_data)
model <- train_model(cleaned_data)

2.模型集成框架： 构建模型集成框架，方便引入和测试新的模型。 

# 模型集成框架
ensemble_models <- function(models, data) {
  predictions <- sapply(models, predict, newdata=data)
  final_prediction <- apply(predictions, 1, mean) # 简单平均融合
  return(final_prediction)
}

# 使用集成模型
models <- list(model_rf, model_xgb, model_logistic)
final_prediction <- ensemble_models(models, test_data)

2.自动化流程

定义与重要性： 建立自动化的数据处理、模型训练和部署流程，可以提升响应速度，快速适应新的业务需求。自动化流程有助于减少人工干预，提高效率和可靠性。

具体方法：

1.自动化数据处理流程： 使用ETL（Extract, Transform, Load）工具自动化数据处理流程。

# 使用R语言中的ETL包（如odbc、dbplyr）自动化数据处理
library(odbc)
library(dbplyr)

# 连接数据库
con <- dbConnect(odbc(), "CreditDB")

# 自动化数据抽取和清洗
processed_data <- tbl(con, "raw_credit_data") %>%
  filter(!is.na(CreditRisk)) %>%
  mutate(Balance = ifelse(Balance < 0, 0, Balance)) %>%
  collect()

2.自动化模型训练和部署： 使用R语言的plumber包构建API接口，实现模型的自动化训练和部署。

library(plumber)

# 模型训练函数
train_model_api <- function() {
  model <- train(CreditRisk ~ ., data=processed_data, method="rf")
  saveRDS(model, "credit_model.rds")
  return("Model trained and saved successfully")
}

# 构建API
r <- plumb()
r$handle("POST", "/train_model", train_model_api)
r$run(port=8000)

3.多模型集成

定义与重要性： 使用多模型集成的方法，不同模型适应不同的市场环境，可以提升整体模型的稳定性和鲁棒性。集成学习通过组合多个模型的预测结果，通常能获得比单一模型更好的性能。

具体方法：

1.投票法： 对于分类问题，使用简单多数投票法融合多个模型的预测结果。

# 简单投票法集成
vote <- function(predictions) {
  final_pred <- apply(predictions, 1, function(x) names(sort(table(x), decreasing=TRUE)[1]))
  return(final_pred)
}

# 使用集成模型
predictions <- sapply(models, predict, newdata=test_data)
final_prediction <- vote(predictions)

2.加权平均法： 对于回归问题或概率输出，使用加权平均法融合多个模型的预测结果。

# 加权平均法集成
weighted_avg <- function(predictions, weights) {
  final_pred <- rowSums(predictions * weights) / sum(weights)
  return(final_pred)
}

# 使用集成模型
predictions <- sapply(models, predict, newdata=test_data)
weights <- c(0.5, 0.3, 0.2) # 假设权重
final_prediction <- weighted_avg(predictions, weights)

3.堆叠法： 使用更高级的模型（元学习器）对多个初级模型的预测结果进行二次学习，得到最终预测结果。

# 堆叠法集成
library(caretEnsemble)

# 训练初级模型
models <- caretList(CreditRisk ~ ., data=train_data, trControl=trainControl(method="cv"), methodList=c("rf", "xgbTree", "glm"))

# 训练元学习器
stack <- caretStack(models, method="glm")

# 使用堆叠模型
final_prediction <- predict(stack, newdata=test_data)

附录

完整代码示例

请参阅下面的完整代码示例，详细展示了如何实现上述步骤。

# 加载必要的包
library(DBI)
library(RPostgreSQL)
library(dplyr)
library(caret)
library(randomForest)
library(xgboost)
library(pROC)

# 连接到PostgreSQL数据库
con <- dbConnect(PostgreSQL(), dbname = "credit_rating", host = "localhost", port = 5432, user = "your_username", password = "your_password")

# 从数据库中读取数据
query <- "SELECT * FROM german_credit_data"
data <- dbGetQuery(con, query)

# 数据预处理
data_scaled <- scale(data[, -ncol(data)])
data <- cbind(data_scaled, data[, ncol(data)])

# 拆分训练集和测试集
set.seed(123)
train_index <- sample(seq_len(nrow(data)), size = 0.7 * nrow(data))
train_data <- data[train_index, ]
test_data <- data[-train_index, ]

# 生成新的特征
train_data$log_balance <- log(train_data$Balance + 1)
test_data$log_balance <- log(test_data$Balance + 1)

# 特征选择
control <- trainControl(method="repeatedcv", number=10, repeats=3)
model <- train(CreditRisk ~ ., data=train_data, method="rpart", trControl=control)
importance <- varImp(model, scale=FALSE)
print(importance)

# 训练逻辑回归模型
model_logistic <- glm(CreditRisk ~ ., data=train_data, family=binomial)
predictions_logistic <- predict(model_logistic, test_data, type="response")
pred_class_logistic <- ifelse(predictions_logistic > 0.5, 1, 0)
confusionMatrix(factor(pred_class_logistic), factor(test_data$CreditRisk))

# 训练随机森林模型
model_rf <- randomForest(CreditRisk ~ ., data=train_data)
predictions_rf <- predict(model_rf, test_data)
confusionMatrix(predictions_rf, factor(test_data$CreditRisk))

# 训练XGBoost模型
dtrain <- xgb.DMatrix(data = as.matrix(train_data[-ncol(train_data)]), label = train_data$CreditRisk)
dtest <- xgb.DMatrix(data = as.matrix(test_data[-ncol(test_data)]), label = test_data$CreditRisk)
params <- list(objective = "binary:logistic", eval_metric = "auc")
model_xgb <- xgb.train(params, dtrain, nrounds = 100)
predictions_xgb <- predict(model_xgb, dtest)
pred_class_xgb <- ifelse(predictions_xgb > 0.5, 1, 0)
confusionMatrix(factor(pred_class_xgb), factor(test_data$CreditRisk))

# 计算ROC曲线和AUC值
roc_logistic <- roc(test_data$CreditRisk, predictions_logistic)
roc_rf <- roc(test_data$CreditRisk, as.numeric(predictions_rf))
roc_xgb <- roc(test_data$CreditRisk, predictions_xgb)

# 绘制ROC曲线
plot(roc_logistic, col="blue", main="ROC曲线比较")
plot(roc_rf, col="red", add=TRUE)
plot(roc_xgb, col="green", add=TRUE)

# 计算AUC值
auc_logistic <- auc(roc_logistic)
auc_rf <- auc(roc_rf)
auc_xgb <- auc(roc_xgb)
legend("bottomright", legend=c(paste("Logistic (AUC =", round(auc_logistic, 2), ")"), paste("Random Forest (AUC =", round(auc_rf, 2), ")"), paste("XGBoost (AUC =", round(auc_xgb, 2), ")")), col=c("blue", "red", "green"), lwd=2)

# 模型监控
library(shiny)
ui <- fluidPage(
  titlePanel("模型性能监控仪表板"),
  mainPanel(
    plotOutput("aucPlot"),
    plotOutput("f1Plot")
  )
)
server <- function(input, output) {
  output$aucPlot <- renderPlot({
    plot(performance_metrics$AUC, type="l", col="blue", xlab="时间", ylab="AUC", main="AUC值变化")
  })
  output$f1Plot <- renderPlot({
    plot(performance_metrics$F1, type="l", col="red", xlab="时间", ylab="F1分数", main="F1分数变化")
  })
}
shinyApp(ui = ui, server = server)

# 增量学习更新模型
library(glmnet)
new_model <- glmnet(x = as.matrix(new_data[,-ncol(new_data)]), y = new_data$CreditRisk, family = "binomial", alpha = 0.5, lambda = 0.1, intercept = TRUE)

# 数据增强
library(DMwR)
balanced_data <- SMOTE(CreditRisk ~ ., data = train_data, perc.over = 200, perc.under = 200)
augmented_data <- data.frame(apply(train_data, 2, function(x) jitter(x, amount = 0.1)))

# 交叉验证
control <- trainControl(method="cv", number=10)
model_cv <- train(CreditRisk ~ ., data=train_data, method="rf", trControl=control)
control_loo <- trainControl(method="LOOCV")
model_loo <- train(CreditRisk ~ ., data=train_data, method="rf", trControl=control_loo)

# 正则化
model_lasso <- glmnet(x = as.matrix(train_data[,-ncol(train_data)]), y = train_data$CreditRisk, alpha = 1, family = "binomial")
model_ridge <- glmnet(x = as.matrix(train_data[,-ncol(train_data)]), y = train_data$CreditRisk, alpha = 0, family = "binomial")
model_enet <- glmnet(x = as.matrix(train_data[,-ncol(train_data)]), y = train_data$CreditRisk, alpha = 0.5, family = "binomial")

# 增加训练数据
more_data <- read.csv("new_credit_data.csv")
combined_data <- rbind(train_data, more_data)
synthetic_data <- generate_synthetic_data(train_data) # 伪代码
combined_data <- rbind(train_data, synthetic_data)

# 模块化设计
process_data <- function(raw_data) {
  cleaned_data <- raw_data
  return(cleaned_data)
}
train_model <- function(processed_data) {
  model <- train(CreditRisk ~ ., data=processed_data, method="rf")
  return(model)
}
cleaned_data <- process_data(raw_data)
model <- train_model(cleaned_data)

ensemble_models <- function(models, data) {
  predictions <- sapply(models, predict, newdata=data)
  final_prediction <- apply(predictions, 1, mean)
  return(final_prediction)
}
models <- list(model_rf, model_xgb, model_logistic)
final_prediction <- ensemble_models(models, test_data)

# 自动化数据处理
library(odbc)
library(dbplyr)
con <- dbConnect(odbc(), "CreditDB")
processed_data <- tbl(con, "raw_credit_data") %>%
  filter(!is.na(CreditRisk)) %>%
  mutate(Balance = ifelse(Balance < 0, 0, Balance)) %>%
  collect()

# 自动化模型训练和部署
library(plumber)
train_model_api <- function() {
  model <- train(CreditRisk ~ ., data=processed_data, method="rf")
  saveRDS(model, "credit_model.rds")
  return("Model trained and saved successfully")
}
r <- plumb()
r$handle("POST", "/train_model", train_model_api)
r$run(port=8000)

# 多模型集成
vote <- function(predictions) {
  final_pred <- apply(predictions, 1, function(x) names(sort(table(x), decreasing=TRUE)[1]))
  return(final_pred)
}
predictions <- sapply(models, predict, newdata=test_data)
final_prediction <- vote(predictions)

weighted_avg <- function(predictions, weights) {
  final_pred <- rowSums(predictions * weights) / sum(weights)
  return(final_pred)
}
weights <- c(0.5, 0.3, 0.2)
final_prediction <- weighted_avg(predictions, weights)

library(caretEnsemble)
models <- caretList(CreditRisk ~ ., data=train_data, trControl=trainControl(method="cv"), methodList=c("rf", "xgbTree", "glm"))
stack <- caretStack(models, method="glm")
final_prediction <- predict(stack, newdata=test_data)