一、项目背景
文献检索是论文写作中一个重要环节,是写好论文的必要手段。论文写作的前提是必须掌握尽可能多的文献信息资料,借鉴前人的优秀成果,才能写出好的文章。因此,在写作论文时,如何学会快速检索文献资料,懂得文献查找的方法和技巧显得尤为重要。文献检索是借助检索工具或检索系统,运用正确的检索方法,从各种类型的文献中查找所需文献信息的过程。要想快速、详细了解与所写论文相关的文献,掌握文献检索方法是重要的一环,只有选择了科学有效的检索方法,才可以快、精、准地获取大量所需要文献信息,提高检索效率。
本研究是基于Python的网络爬虫技术实现快速地检索相关文献信息,支持论文题目查询和关键词检索,检索出的信息在直接展示的同时实现了持久化存储,即保存为txt格式的文本文件。文献检索系统支持批量导入导出功能和自主选择所需信息等功能。
二、程序设计思路
关于程序的设计思路,Python爬虫是第一步需要完成的工作。Python是一种面向对象的解释型高级编程语言,它的设计哲学为优雅、明确、简单。Python凭借其强大的功能和丰富的第三方库,并且简单易学而广受好评。同时,python在爬虫领域有着众多解决方案和完善的框架以及第三方库,这使得python几乎成为了爬虫的代名词。爬虫(spider)是指向网站/网络发起请求,获取资源后分析并提取有用数据的程序。如果按照过程来划分的话,爬虫可以分为四步:发起请求、获取响应内容、解析数据、保存数据。
首先,打开目标网站首页(https://dblp.org/),按下F12键打开浏览器的开发者工具,并切换到network选项卡下,在浏览器的搜索