Java写入的常用技巧(二)

在一般从流接收数据写入介质的场景中,大部分存在每批次数据较小,导致小文件较多的问题.

一般考虑设置一个缓冲池,将多个批次的数据先缓冲进去,达到一定大小,再一次性批量写入

//公共缓冲池和缓冲池大小,如果并发情况下,需要考虑加锁
//符合条件时就写入一次,否则数据只是写入缓冲池
private static final int SIZE=10485760;

private static final ByteArrayOutputStream byteBuffer = new ByteArrayOutputStream();

    public synchronized static void flush(String tableName, List<byte[]> bytes) {

        for (byte[] aByte : bytes) {

            try {

                byteBuffer.write(aByte);

            } catch (IOException e) {

                e.printStackTrace();

            }

        }

        if (byteBuffer.size() >= SIZE) {

            //使用当前日期生成object key

            Date now = new Date();

            String nowStr = dateFormat.format(now);

            doFlush(fileName, byteBuffer.toByteArray());

            byteBuffer.reset();

        }

    }

对应的python版本

def put(filename, str):

    pass

if __name__=='__main__':

    str0 = ''

    for i in range(10000000):

        str0=str0+str

        if len(str0.encode())>10485760:

            put(i,str0)

            str0=''