java实现
微信公众号源码
奇伢爬虫使用介绍
导航
一.简介
基于spring
boot
、
WebMagic
实现
微信公众号文章、新闻、csdn、info等网站文章
爬取,可以动态设置文章
爬取规则、清洗规则,基本实现了
爬取大部分网站的文章。
(奇伢爬虫技术讨论
群:365155351,大家可以加
群一起来讨论哦~)
二.运行项目
1.运行环境
项目开发环境:IntelliJ
IDEA
15
,
JDK
1.8
2.运行必备配置
2.1.数据库配置
先创建数据库,然后修改配置文件的如下属性:
spring.datasource.
url
=
jdbc:mysql://
数据库ip地址
:
数据库端口号/数据库名称?useUnicode=true&characterEncoding=UTF-8
spring.datasource.username
=
数据库用户名
spring.datasource.password
=
数据库密码
2.2.数据导入
我们提供了一些基础数据供大家测试,在新建的数据库中执行文件中的sql,就可以将一些必备的表及数据导入数据库了。
2.3.redis
配置