本屌研究了一整天

網(wǎng)上說 實現(xiàn)Pipeline接口中的 process是多線程的，所以注入后不是同一個對象，無所報空指針

貼出代碼

1.啟動類

@SpringBootApplication @EnableScheduling//開啟定時任務(wù) @MapperScan(basePackages = {"com.xianbaovip.project"}) public class ProjectApplication {public static void main(String[] args) {SpringApplication.run(ProjectApplication.class, args);} }

重點是@EnableScheduling注解，

2.WebMagic 的爬取 PageProcessor

@Component public class WebMagicSpider1 implements PageProcessor {private Site site = Site.me().setRetryTimes(3).setSleepTime(100);@Overridepublic Site getSite() {return site;}public void process(Page page) {this.saveMessage(page);}//WebMagic的入庫方法@Autowiredprivate GatherPipeline gatherPipeline; private void saveMessage(Page page){page.putField("Content", page.getHtml().xpath("//div[@class='comment-body']/div/p[1]").all());page.putField("Source", constant.reptileSource1);}//initialDelay 延遲多久執(zhí)行第一次任務(wù)//fixedDelay 相隔多久執(zhí)行上一次任務(wù)@Scheduled(initialDelay = 1000,fixedDelay = 100*1000)public void process() {Spider.create(new WebMagicSpider1()).addUrl("http://www.xianbaoi.vip").addPipeline(this.gatherPipeline).thread(1).run();} }

重點

1.@Component注解
2.@Scheduled定時任務(wù)

2.WebMagic 的爬取 Pipeline

@Component public class GatherPipeline implements Pipeline {//自己封裝的入庫方法@Autowiredprivate GatherMapper gatherMapper;@Overridepublic void process(ResultItems resultItems, Task task) {for (Map.Entry<String, Object> entry : resultItems.getAll().entrySet()) {if (entry.getKey().contains("Content")) {List<String> value = (List<String>)entry.getValue();//取值入庫for (String Content : value) {Gather gather = new Gather();gather.setGatherContent(Content);gather.setGatherSource(sourceString);gather.setGatherTitle("test");gather.setCreateTime(new Date());this.gatherMapper.insert(gather);}}}}}

重點

1.調(diào)用mapper的時候 使用this.

總結(jié)

以上是生活随笔為你收集整理的Spring Boot WebMagic 入库时 mapper注入提示空指针，以及正确的操作的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。