我想预测二手车的价格,我有二手车的历史数据。我将数值缩放为0-1,并将其他功能设为热门。
public RestResponse<JSONObject> buildModelDl4j( HttpServletRequest request, HttpServletResponse response, @RequestBody Map<String, String> json ) throws IOException
{
RestResponse<JSONObject> restResponse = ControllerBase.getRestResponse( request, response, null ) ;
String path = "\\HOME_EXCHANGE\\uploads\\" + json.get( "filePath" ) ;
int numLinesToSkip = 1 ;
char delimiter = ',' ;
RecordReader recordReader = new CSVRecordReader( numLinesToSkip, delimiter ) ;
try
{
recordReader.initialize( new FileSplit( new File( path ) ) ) ;
}
catch( InterruptedException e )
{
e.printStackTrace( ) ;
}
DataSetIterator iter = new RecordReaderDataSetIterator( recordReader, batchSize, indexToCalc, indexToCalc, true ) ;
json.put( "numAttr", String.valueOf( numAttr ) ) ;
// ds.shuffle( ) ; //TODO should I shuffle the data ?
MultiLayerNetwork net = buildNetwork( json ) ;
net.init( ) ;
net.setListeners( new ScoreIterationListener( 30 ) ) ;
DataSet testData = null ;
for( int i = 0; i < nEpochs; i++ )
{
iter.reset( ) ;
while( iter.hasNext( ) )
{
DataSet ds = iter.next( ) ;
SplitTestAndTrain testAndTrain = ds.splitTestAndTrain( splitRate / 100.0 ) ;
DataSet trainingData = testAndTrain.getTrain( ) ;
testData = testAndTrain.getTest( ) ;
net.fit( trainingData ) ;
}
iter.reset( ) ;
int cnt = 0 ;
while( iter.hasNext( ) && cnt++ < 3 )
{
DataSet ds = iter.next( ) ;
SplitTestAndTrain testAndTrain = ds.splitTestAndTrain( splitRate / 100.0 ) ;
testData = testAndTrain.getTest( ) ;
String testResults = testResults( net, testData, indexToCalc ) ;
System.err.println( "Test results: [" + i + "] \n" + testResults ) ;
}
}
RegressionEvaluation eval = new RegressionEvaluation( ) ;
INDArray output = net.output( testData.getFeatures( ) ) ;
eval.eval( testData.getLabels( ), output ) ;
System.out.println( eval.stats( ) ) ;
String testResults = testResults( net, testData, indexToCalc ) ;
result.put( "testResults", testResults ) ;
System.err.println( "Test results last: \n" + testResults ) ;
restResponse.setData( result ) ;
return restResponse ;
}
我使用从前端传递的参数构建模型,我从csv文件读取数据,然后训练模型。我做对了吗?我应该如何使用测试和训练数据?
示例中有两种方法,它们使用
DataSet ds = iter.next( ) ;
SplitTestAndTrain testAndTrain = ds.splitTestAndTrain( splitRate / 100.0 ) ;
DataSet trainingData = testAndTrain.getTrain( ) ;
testData = testAndTrain.getTest( ) ;
net.fit( trainingData ) ;
要么
for( int i = 0; i < nEpochs; i++ )
{
net.fit( iter ) ;
iter.reset( ) ;
}
哪种方法正确?
最佳答案
我使用从前端传递的参数构建模型,我从csv文件读取数据,然后训练模型。我做对了吗?我应该如何使用测试和训练数据?
更好的方法是使用DataSetIteratorSplitter
,如下所示:
DataSetIteratorSplitter dataSetIteratorSplitter = new DataSetIteratorSplitter(dataSetIterator,totalNumBatches,ratio);
multiLayerNetwork.fit(dataSetIteratorSplitter.getTrainIterator(),epochCount);
totalNumBatches
是总数数据集除以最小批处理大小。例如,如果您有10000个数据集,并假设我们在一个批次中分配了8个样本,则总共有1250个批次。