Python爬虫 爬虫数据去重方案

Python爬虫 爬虫数据去重方案
一.课程介绍
爬虫中的去重处理课程介绍.mp4
二.去重应用场景及其基本原理
2.爬虫中的去重应用场景.mp4
3.去重原理之判断依据.mp4
4.去重原理之去重容器.mp4
5.判断依据之原始数据与原始数据特征.mp4
6.去重容器类型介绍.mp4

三.基于信息摘要算法的去重
9.去重过滤器基类实现.mp4
8.信息摘要算法实现方案介绍.mp4
7.信息摘要算法介绍.mp4
14.优化基于mysq|实现的去重过滤器mp4
13.实现并测试基于mysql的去重过滤器mp4
12 .实现并测试基于redis中无序集合的去重过滤器.mp4
11.测试基于python中set的去重过滤器.mp4
10.实现基于python中set的去重过滤器.mp4

四.基于simhash算法的去重
15.simhash算法去重方案及其应用场景介绍.mp4
16.基于simhash算法的去重原理.mp4
17.simhash模块使用(- - ) .mp4
18.simhash模块使用(二).mp4

五.布隆过滤器原理与实现
19.布隆过滤器介绍.mp4
20.布隆过滤器实现原理.mp4
21.布隆过滤器实现原理补充.mp4
22.pybloom模块介绍.mp4
23.redis版布隆过滤器实现之计算多个hash值.mp4
24.redis版布隆过滤器实现之hash表的原理.mp4
25.redis版布隆过滤器实现之模块封装. mp4

六.总结