先看成品:
一、Typecho图片站: http://typecho.coding.ee/
二、Beauty图片站: http://beauty.coding.ee/
下边有小白教程,可以自己搭建,我相信只要你会复制粘贴、熟悉宝塔、typecho都能搞定
都关联了标题、分类和标签,从2019年元旦开始发布,每隔4小时就放出一套图,已经能够更新到2021年4月了
Java写的多线程采集、多线程下载、导入typecho、Beauty图片站、导入beauty都开源了
会Java你就看,需要配置的都写在.properties文件里了,别问怎么运行不了啥的,程序没问题,不会Java别折腾,珍爱生命别浪费大好时光
开源地址:https://dev.tencent.com/u/iht
—————-新手教程——————–
这里用的是宝塔linux面板,1.先安装网站;2.再导入数据到网站3.最后下载图片,把图片文件夹/developer/img移动到网站的根目录
————-搭建Typecho图片站教程:
按照正常流程装个typecho网站,这个都不会就别玩了,也别问我
然后到数据库中删除3张表:typecho_contents、typecho_metas、type_relationships
下载这个: http://drive.coding.ee/typecho-20190101-6-20210407.zip
解压后里边有3张表,导入到数据库之后网站的数据就OK了,刷新网站页面就能看到
————–搭建beauty图片站教程,不搭建beauty图片站的可以跳过这一段:
因为是用Java写的,需要安装tomcat服务器,这个简单,宝塔点点鼠标就行了
进入宝塔后台,左边【软件商店】、第二页找到tomcat服务器,点右边的安装,我安装的是tomcat7
按照正常流畅新建一个网站、配置好数据库信息
下载网站程序: http://drive.coding.ee/Beauty.war
解压到网站根目录,解压之后看到3个文件夹就对了
然后我们要修改数据库配置和图片链接:
进入 WEB-INF文件夹 –> classes文件夹:
1. 编辑jdbc.properties文件,修改成你的数据库地址、用户名和密码
2. 编辑my.properties文件,把IPDD改成你的图片链接的前缀
(如果你的图片链接是http://img-beauty.coding.ee/img/iajhldau/1.jpg,那么就编辑成http://img-beauty.coding.ee/img)
然后进入网站的数据库,导入解压后的4张数据库表(在这里下载: http://drive.coding.ee/beauty-20190101-6-20210407.zip )
最后在网站设置里,有个tomcat服务器选项,勾选上【启用tomcat】,这样就OK了,得等两分钟左右才能生效,打开浏览器输入地址就能看到图片站了
注意:修改配置文件后要重启服务器,tomcat服务器重启就到软件商店那儿找tomcat,设置里有重启的按钮
——————–下载图片————–
到这里我们的网站已经搭建好了,就差下载图片了,很简单,复制粘贴下边的命令就行,带宽小的话建议选择8线程的,100M以上可以试试16线程的
不要问怎么用,SSH链接上服务器,复制粘贴再回车,等就行了,一共4963套图,取消下载就Ctrl + C
【【如果你只搭建typecho而不搭建beauty的图片站】】,用这个命令就行,线程二选一:
8线程下载图片命令:
- yum -y install java-1.7.0-openjdk.x86_64 wget
- wget http://drive.coding.ee/linux8threads.jar
- java -jar linux8threads.jar
复制代码
16线程下载图片命令:
- yum -y install java-1.7.0-openjdk.x86_64 wget
- wget http://drive.coding.ee/linux16threads.jar
- java -jar linux16threads.jar
复制代码
【【如果你搭建beauty】】,用下边的命令:
8线程下载图片命令:
- yum -y install wget
- wget http://drive.coding.ee/linux8threads.jar
- java -jar linux8threads.jar
复制代码
16线程下载图片命令:
- yum -y install wget
- wget http://drive.coding.ee/linux16threads.jar
- java -jar linux16threads.jar
复制代码
我们的图片下载到/developer/img这个文件夹下了,复制SSH会话,cd /developer/img 就能看到,
下载完成后移动到typecho网站的根目录就都完成了,我的typecho网站的根目录是/www/wwwroot/typecho.coding.ee
所以我使用的是这个命令: mv /developer/img /www/wwwroot/typecho.coding.ee ,具体根据你自己的目录改
到这里就结束了,已经比较详细了,不会的自己多熟悉熟悉宝塔面板,导入数据啥的,不会就搜
———————————————————
特别感谢@我是一个大水怪 (提供了多线程的代码,perfect)
特别感谢@袁小松 (搞定了下载程序的打包问题,这才有在linux中一键下载全站图片的命令)
win下的下载教程就不放出来了,不做站下载下来干什么
江西网友:
上边的数据导入后,目前打开网站看到的图是比较老的,质量不咋样,
可以重新导入了几份数据,按需替换:
数据库里的typecho_contents表:
2019年1月1日开始发布,每天12套图:http://drive.coding.ee/20190101-12.zip
2018年8月8日开始发布,每天6套图:http://drive.coding.ee/20180808-6.zip
2017年7月15日开始发布,每天3套图:http://drive.coding.ee/20170715-3.zip
beauty数据库里的contents表:
2018年5月5日开始发布,每天6套图:http://drive.coding.ee/20180505-6.zip
搭建Beauty图片站最少要512M内存的服务器,最好是1GB内存或者更大的内存
有把typecho导入到wordpress的程序,有需要的自己去搜下typecho2wordpress
忘了说了,图片有17GB左右,看看自己的小鸡磁盘够不够吧
广东网友:
有爬完的大佬提供下载吗?
四川网友:火前刘明
新疆网友:留名+++1
辽宁网友:火前留名
江苏网友:真会玩
青海网友:大佬牛皮,马上就用我的超级大盘鸡去试试
江西网友:复制粘贴,回车即可
河南网友:赞,66666
河北网友:已经开始下载了,谢谢楼主
甘肃网友:已经开始下载了,谢谢楼主
香港网友:等着吃现成的
台湾网友:不用,我已经采集好了,晚点把数据放出来,你直接复制粘贴命令就行,最后一行就是运行采集程序了,你看看窗口
山西网友:自己挂小鸡采了一份
现在对大佬导入typecho的程序感兴趣
陕西网友:我之前开源过,不过那代码比较难看懂,晚点我放出来
黑龙江网友:大佬又来送福利了
山东网友:大佬厉害, 坐等喝汤
西藏网友:大佬,运行的时候报错,java.net.SocketTimeoutException: connect timed out
at java.net.PlainSocketImpl.socketConnect(Native Method)
at java.net.AbstractPlainSocketImpl.doConnect(AbstractPlainSocketImpl.java:339)
at java.net.AbstractPlainSocketImpl.connectToAddress(AbstractPlainSocketImpl.java:200)
at java.net.AbstractPlainSocketImpl.connect(AbstractPlainSocketImpl.java:182)
at java.net.SocksSocketImpl.connect(SocksSocketImpl.java:392)
at java.net.Socket.connect(Socket.java:580)
at sun.security.ssl.SSLSocketImpl.connect(SSLSocketImpl.java:628)
at sun.net.NetworkClient.doConnect(NetworkClient.java:175)
at sun.net.www.http.HttpClient.openServer(HttpClient.java:463)
at sun.net.www.http.HttpClient.openServer(HttpClient.java:558)
at sun.net.www.protocol.https.HttpsClient.<init>(HttpsClient.java:264)
at sun.net.www.protocol.https.HttpsClient.New(HttpsClient.java:367)
at sun.net.www.protocol.https.AbstractDelegateHttpsURLConnection.getNewHttpClient(AbstractDelegateHttpsURLConnection.java:191)
at sun.net.www.protocol.http.HttpURLConnection.plainConnect(HttpURLConnection.java:998)
at sun.net.www.protocol.https.AbstractDelegateHttpsURLConnection.connect(AbstractDelegateHttpsURLConnection.java:177)
at sun.net.www.protocol.http.HttpURLConnection.getInputStream(HttpURLConnection.java:1366)
at sun.net.www.protocol.https.HttpsURLConnectionImpl.getInputStream(HttpsURLConnectionImpl.java:263)
at ee.coding.download.util.DownloadUtil.download(DownloadUtil.java:21)
at ee.coding.download.Download.download(Download.java:46)
at ee.coding.download.Download.access$000(Download.java:12)
at ee.coding.download.Download$1.run(Download.java:29)
at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:473)
at java.util.concurrent.FutureTask.run(FutureTask.java:262)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1152)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:622)
at java.lang.Thread.run(Thread.java:748)
难不成是我小鸡IP被墙的缘故?
贵州网友:绝大部分都能下载吧,这是超时错误,我设置了500毫秒,没有相应就忽略,全都报错的话可能是ip被屏蔽
河北网友:好吧,可能是这样的。。
广东网友:好吧,可能是这样的。。
澳门网友:win的来一发大佬
广东网友:大佬。求个win的采集。谢谢
西藏网友:多线程不代表速度快效率高,网络资源多线程下载快的缘故是单条连接的速率限制,才用多线程 分段下载后整合才可以达到那个速度,你没有做分段,线程数匹配核心数就行,多了反而引起频繁上下文切换拉低系统效率
广东网友:win还得装JDK,配环境呢,你要的话我给打包一份代码
广西网友:笔记本双核4线程,实际情况是16线程就比8线程快很多
陕西网友:运行后一直提示
java.net.SocketTimeoutException: connect timed out
是失效了?
湖南网友:我设置了超时时间为500毫秒,小鸡是不是延迟太高了
湖北网友:hosthatch瑞典大盘鸡啊
山东网友:这网站似乎不赚钱了
广东网友:这网站似乎不赚钱了
台湾网友:这网站之前权重老高了,早就做了app收vip费用,app里也有广告
江苏网友:图是下好了,标题好像没了
四川网友:放心,我采集的怎么可能少了这些呢,标题,分类,标签这些都有的,待我放出导入typecho和beauty数据库的程序
内蒙古网友:14.9G下不动了
台湾网友:大佬牛逼
上海网友:大佬威武
贵州网友:啥时候下载的,如果网络延迟超过500毫秒默认忽略掉图片不下载的,但是你这下载了那么多不应该啊
内蒙古网友:今天上午下载的
天津网友:大佬有打包版下载么
山西网友:大佬有打包版下载么
北京网友:估计自己直接下载比打包下载要快,我没大盘鸡就不打包分享了
安徽网友:数据我放出来,重新看下帖子吧
安徽网友:img-typecho.coding.ee 用的是楼主的服务器嘛
黑龙江网友:马克
新疆网友:是的,hostdare,扔上去呗,也只用来富强
宁夏网友:我想用 老哥的 ty程序 +sql 做个玩玩 想把图片保存到我的服务器 图片能打包一份嘛
广西网友:厉害了大佬
云南网友:出个教程如何导入ty里面呢??
湖北网友:会Java的就会运行啊,不会Java的还不如我帮忙导入算了,两分钟的事
安徽网友:会Java的就会运行啊,不会Java的还不如我帮忙导入算了,两分钟的事
江西网友:谢谢楼主了 帮我搞好了。。。。现在已经可以正常访问拉!
黑龙江网友:这样啊,谢谢解释
上海网友:感谢大佬分享
四川网友:谢谢分享!!!
广西网友:按下 Shift + 鼠标右键,在此处打开Powercell窗口?
Powershell 窗口~
澳门网友: 没注意看,发音都差不多,不要在意这些细节
西藏网友:大佬问下用那个指定的WIN下载完了怎么导入TY
福建网友:
完全搞不懂应该怎么做,对java一窍不通。所以我用的py下载到了本地。但是问题是下载到本地是很简单,发布却是问题。我不知道要怎么发布。
香港网友:发布。。。你采集数据了吗就发布。我这个有采集、下载、导入typecho数据库3个主要功能。下载已经简化了,看我帖子跟着做就能下载了。下载完后可以找我帮忙导入typecho的数据库
贵州网友:发布。。。你采集数据了吗就发布。我这个有采集、下载、导入typecho数据库3个主要功能。下载已经简化了,看我帖子跟着做就能下载了。下载完后可以找我帮忙导入typecho的数据库
湖南网友:下载了16.5GB,我设置了超时时间为500毫秒,如果一套图的前两张图片都超时没下载到就忽略这套图不管了。所以如果服务器延迟太高就会下载不到图片
西藏网友:大佬你这个站,coding.ee这个用的什么cdn啊,非常快哦
辽宁网友:腾讯云,主要是typecho轻量,速度快
辽宁网友:再轻量图片也不轻的,国内访问还是不错
广西网友:图包在哪下载 没有看到
四川网友:再看看帖子,复制粘贴几行命令下载到你小鸡里,win就看置顶
河南网友: 坐等楼主typecho 整站数据包下载
陕西网友:不会java就找我导入typecho
澳门网友: 明天吧 先谢了
天津网友: 明天吧 先谢了
广西网友:sudo apt-get install openjdk-8-jre
浙江网友:java.io.FileNotFoundException: /developer/img/mm131/gfsitfkd/2.jpg (No such file or directory)
海南网友:战略性mark
江西网友:成功下载图片+1, URL:
成功下载图片+1, URL:
成功下载图片+1, URL:
感觉人家加了防盗链了
河北网友:你看看实际下载的啊,直接用浏览器打开肯定是这样的;防盗链都破不了还玩什么
内蒙古网友:
2019-06-12_225125.png (86.33 KB, 下载次数: 2)
下载附件
2019-6-12 22:53 上传
我看了一下服务器,,,,一张图都没有
不知道图放在哪里
山东网友:你有没有/developer/img/目录啊,有没有给写权限啊
广东网友:估计没有权限,,,但是硬盘一直在写入,数据在写入
我是在用户文件夹里面,用了sudo 一张图都没有看到
要不要关了,重新写
湖南网友:参照这个,给/developer/img/mm131/ 目录写权限
- mkdir -m 775 -p /developer/img/mm131/
- cd /developer
- yum -y install java-1.7.0-openjdk.x86_64 wget
- wget http://drive.coding.ee/mm131-16-thread.jar
- java -jar mm131-16-thread.jar
复制代码
新疆网友:参照这个,给/developer/img/mm131/ 目录写权限
- mkdir -m 775 -p /developer/img/mm131/
- cd /developer
- yum -y install java-1.7.0-openjdk.x86_64 wget
- wget http://drive.coding.ee/mm131-16-thread.jar
- java -jar mm131-16-thread.jar
复制代码
广东网友:会下载到 /developer/img/mm131/ 下边
广西网友:
6.jpg (15.17 KB, 下载次数: 0)
下载附件
2019-6-12 23:08 上传
来了….正在下载
湖南网友:没有水印就已经很不错了,在手机上看的话还行,做图片站不可能搞一张几M的,访客加载都好久谁会去看
云南网友:爬的好,谢谢
吉林网友:宝塔怎么部署
广东网友:不错哦
海南网友:城会玩
四川网友:重新看帖子就行
广西网友:大盘鸡可以试试了,下载超时设置成了2秒
山西网友:大盘鸡可以试试了,下载超时设置成了2秒
上海网友:超时时间设置成了2秒了,下载应该没问题了
西藏网友:已经更新了,看帖子就行
浙江网友:发布问题重新看帖子
北京网友:战略mark
Typecho 太难用了,还是wordpress好用
河北网友:重新看帖子,我已经导入一份了,哪来用就行
贵州网友:已经分享了,重新看下帖子
台湾网友:可以的楼主,typecho主题是什么
台湾网友:我那是自带的,需要什么主题换一个就行
宁夏网友:
装第一个成功了,在下载,http://mm.54mjj.com/
装第二个出现504
504 Gateway Time-out
http://mm131.54mjj.com/
beauty装这个,504
四川网友:
装第一个成功了,在下载,http://mm.54mjj.com/
装第二个出现504
504 Gateway Time-out
http://mm131.54mjj.com/
beauty装这个,504
浙江网友:重启下tomcat服务器试试
西藏网友:好的,我在下载,稍后重启下,对了,后期的采集更新有吗?
天津网友:程序已经写好了,随时可以采集,数据目前得全部替换,这个最简单;下载可以只下载新增的
宁夏网友:我记得你之前有一个主题
贵州网友:https://github.com/chakhsu/pinghsu
江西网友: java不会,宝塔搞了半天,按照教程来也网站也没法打开,不过图片已经在下载了
湖南网友:大佬,采集中断了,再运行是继续采集还是要重新采一次啊?
江苏网友:看到用Java写的就让了
北京网友:很棒!刚需!mark!
甘肃网友:很棒!刚需!mark!
贵州网友:那是下载图片吧,重新来一次呗,会覆盖掉之前下载的
江苏网友:这新手教程都看不懂的话建议别玩网站了
河北网友:typecho的话就替换掉3张数据库表就行,把原来的删除了,再导入新的
江苏网友:才看到 下载速度不错呀
内蒙古网友:源站上了CDN了,带宽够
内蒙古网友:好的,谢谢大佬,下次弄个screen吧,中途断网了
宁夏网友:什么是screen,下载的机器不断网就行
天津网友:远程会话,可以关闭窗口断网,上次都快下载完了,结果断了一下网,又要重下
浙江网友:yum install screen
screen -S xx
screen -r xx
内蒙古网友:yum install screen
screen -S xx
screen -r xx
广东网友:看看id4963套图就对了,我也就下了16.5G,差不多了
甘肃网友:但是看到jar还在跑
黑龙江网友:我也不知道哪里出了问题,程序逻辑应该是没问题的,一套图下载不了的话最多浪费4秒钟就忽略不管这套图了。16.35GB差不多了,也就少数图片没下载到吧
广东网友:收到,谢谢谢谢~
北京网友:好了。搭建完成,之前不知道哪里出了问题
海南网友:应该是没有问题 我看到4988了,应该还在出新图;另外能否做个持续下的,顺带直接进库免得定时rm,不是更好?
青海网友:4989就结束了,持续下载的话也行,数据库加个字段,比如下载成功就设为1,下次再下载没有下载过的。不知道你说的直接进库是啥,导入typecho的数据库的话需要配置好typecho数据库的信息的,这个会Java的看完的代码稍微改改就行。放出新手的新手教程步骤是比较简单的,不用再配置啥的
山西网友:标记一下
云南网友:没有露点。。差评
河南网友:没有露点。。差评
吉林网友:当然是utf-8,好像就你出现这问题了
黑龙江网友:用宝塔还原有问题 用phpmyadmin 没有问题了
青海网友:打开速度都不错
浙江网友:真不错,666 支持一个 没有大盘鸡啊
河南网友:楼主威武!
安徽网友:经常下载到3000左右套就卡住了,重复了好几次,那下载的图片是不是也重复了?
天津网友:会被覆盖掉
河北网友:终于搞完了,谢谢大佬
澳门网友:马克
西藏网友:马克
云南网友:大姐姐 大家来 顶一下
www点meimeitu点ml
湖南网友:大佬 运行完下载代码之后就坐等完成么?这样是不是就可以关闭了啊
江西网友:大佬弄个WordPress的啊
内蒙古网友:可以关啊,不要Ctrl +C 就行,然后看看对应文件夹下有没有图片,看你网络了
内蒙古网友:看过一眼wordpress的数据库,感觉比较复杂就没搞了,有从typecho迁移到wordpress的wordpress插件,你搜一下typecho2wordpress
湖北网友:一个小时过去了 文件夹都没创建…/developer/img: No such file or directory
北京网友:我先试试java版本的
新疆网友:截图中你回车没啊,回车然后看ssh窗口啊,有输出的
黑龙江网友:哦 谢谢
海南网友:哦 谢谢
贵州网友:现在好了,演示站删了,下载和采集的还可以用
台湾网友:能自动采集么
澳门网友:目前不能,暂时没有加定时采集功能的计划
河南网友:怎么开源地址没了
以上信息转载自Hostloc。