技术教程 wechat-spider 微信公众号数据采集工具mac本地体验(python + firefox) 数据采集又叫网络爬虫/蜘蛛,是一个自动提取网页的程序。搜索引擎之所以能保存那么多网页,就是不断地收录各种网页,并定时去采集最新信息。 常见的爬虫软件windows版本有八爪鱼、Octoparse、火车... 2018年5月6日 发表评论 阅读全文
技术教程 分布式发布订阅消息系统kafka入门-1.介绍+安装 Apache Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。 这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一... 2018年4月20日 发表评论 阅读全文
技术教程 ZooKeeper的安装与部署 ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功... 2018年4月20日 发表评论 阅读全文