经过上次对《故事FM》进行爬虫【爬虫】听故事的故事人,我们得到了我们想要对评论数据,格式化的数据给人一种很舒心的感觉,但是,数据得到了,那我们总得保存它吧!用看的没法进行下一步的操作呀~
储存方式选择
在数据储存方式有很多种,我们需要根据数据的格式、类型、数据量和后期的数据处理设想来选择适合我们的储存方式。在数据量较小,数据后期可能直接提供给他人查看使用的情况下,通常使用便于非编程人员使用的csv、txt或者json等易于操作的储存格式;在数据结构化,且数据量一般的情况下,可使用数据库储存;如最常用的mysql、轻量级数据库sqlite、文本型数据库mongoDB等;数据量太大的话,可以考虑hdfs分布式储存使用。
这里由于评论数据文本短、数据量不大、后期需要数据处理的缘故,我们选择轻量级数据库SQLite储存评论数据。
SQLite是一个进程内的库,实现了自给自足的、无服务器的、零配置的、事务性的 SQL 数据库引擎。它是一个零配置的数据库,这意味着与其他数据库一样,您不需要在系统中配置。
那就干!
设计数据库:
根据爬虫所得数据,我们可以建立两个数据库:歌名--ID映射的菜单数据库和评论爬虫的格式化数据库。
数据库语句:
这样我们想要的评论爬虫数据就被我们收入囊中了,嘻嘻~
关注微信公众号:正版乔,一起和我探索Coding的乐趣~
推荐阅读:
一个学统计的程序员
喜欢Coding
喜欢硬件
喜欢树莓派
喜欢深度学习
喜欢你