Spark直接读入fastq格式的数据

• 输入文件： fastq格式
• 输出结果： kmer的频数和对应的kmer类型
• 系统环境Ubuntu单机版17.01
• spark版本2.7
  此次测试主要用到了RDD的函数foreach和zipWithIndex，zipWithIndex这个函数是可以直接对gz文件进行操作的
• python的主要通过lambda函数来进行操作
• 测试代码如下

fastq='/home/yueyao/Spark/00.data/reads.left.fq.gz'

fq_rdd = sc.textFile(fastq)

fq=fq_rdd.zipWithIndex()

def printa(a):

    print a

fq.foreach(lambda line:printa(line))