我打算使用“foreach”来使用我的 CPU 中的所有内核。问题是我需要在循环内发送一个 sql 查询。该脚本在正常的“for”循环中工作正常,但是当我将其更改为“foreach”时出现以下错误。
错误是:

select: Interrupted system call
select: Interrupted system call
select: Interrupted system call
Error in { : task 1 failed - "expired MySQLConnection"

我使用的代码是:
library(foreach)
library(doMC)
library(RMySQL)
library(multicore)
registerDoMC(cores=6)
m <- dbDriver("MySQL", max.con = 100)
con <- dbConnect(m, user="*****", password = "******", host ="**.**.***",dbname="dbname")
list<-dbListTables(con)
foreach(i = 1:(length(list))%dopar%{
  query<-paste("SELECT * FROM ",list[i]," WHERE `CLOSE` BETWEEN 1 AND 100",sep="")
  t<-dbGetQuery(con,query)
}

尽管 'foreach' 在我的系统中出于所有其他目的工作正常,但仅在 sql 查询的情况下才会出错。有没有办法在'foreach'循环内发送sql查询?

最佳答案

我的建议是这样的:
将数据库查询移到循环之外,并锁定访问权限,这样您就不会进行并行数据库查询。我认为这也会加快速度,因为您将无法进行并行磁盘访问,同时仍然能够进行并行处理。

含义(伪代码)
db = 连接到数据库
线程锁=锁();

为{
线程锁.lock
结果 = db 查询(将所有数据拉到此处,因为在加载时无法保持数据库锁定状态)
线程解锁
处理结果数据(现在只是数据,而不是 sql 对象)。
}

关于mysql - "foreach"循环 : Using all cores in R (especially if we are sending sql queries inside foreach loop),我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/6407219/

10-13 09:31
查看更多