技术圈开发者交流群:

利用Flask和ECharts进行数据可视化——我用scrapy写爬虫(四)

前几篇文章,我们对慕课网的课程进行了爬取,本文就对数据进行统计和可视化,让这些数据更直观的展现出来。

Flask 是基于Python的非常流行的框架之一,主要用于web开发,适合开发中小型项目,易于扩展。Flask的官方网站是 http://flask.pocoo.org/

Echartshttp://echarts.baidu.com/ )是百度出品的,基于Canvas的,纯Javascript 的图表库,提供直观,生动,可交互,可个性化定制的数据可视化图表。创新的拖拽重计算、数据视图、值域漫游等特性大大增强了用户体验,赋予了用户对数据进行挖掘、整合的能力。

python 2018年03月12日 67121

Virtualenv,Python虚拟环境,多版本共存

virtualenv 是创建独立Python环境的工具。

我们在同时开发多个应用的时候,老项目使用的是python2,新项目要求使用python3,或者有的项目使用python2.5,有的使用python2.6,那么如何让每个项目都在一个“隔离”的环境运行呢?

python 2018年02月23日 57317

scrapy爬取慕课网全部免费课程——我用scrapy写爬虫(三)

前两篇文章中,简单用scrapy写了一个小demo,本篇文章主要目标是完整用scrapy爬取,慕课网所有免费的课程、标题、图片、地址、学习人数、难度、方向、分类、时长、评分、评论数等。

其实,很简单,在上一次的代码中修改调整一下就好。

python 2017年11月29日 64918

Centos下安装Python3.6和Python2共存

centos6.8中默认自带的python版本为python2.6,那么这里需要将其改为python3

官方下载地址为 https://www.python.org/downloads/ ,这里已3.6.3为例。

# 下载
 wget https://www.python.org/ftp/python/3.6.3/Python-3.6.3.tgz
# 解压
tar -zxvf Python-3.6.3.tgz

cd Python-3.6.3
[root@localhost ~]# ./configure prefix=/usr/local/python3  --enable-optimizations

[root@localhost ~]# make && make install 
python 2017年11月23日 67865

快速上手——我用scrapy写爬虫(一)

用python写爬虫的人很多,python的爬虫框架也很多,诸如pyspider 和 scrapy,笔者还是笔记倾向于scrapy,本文就用python写一个小爬虫demo。 本文适用于有一定python基础的,并且对爬虫有一定了解的开发者。

检查环境,python的版本为3.6.2,pip为9.0.1

F:\techlee\python>python --version
Python 3.6.2

F:\techlee\python>pip --version
pip 9.0.1 from d:\program files\python\python36-32\lib\site-packages (python 3.6)
python 2017年10月17日 428252

排行

解决方案

网站建设

专业企业官网建设,塑造企业形象,传递企业价值

系统开发

系统软件开发,用心思考,用心设计,用心体验

技术支撑

打破技术瓶颈,让不堪重负的项目起死回生

业务中台

构建全渠道一体化运营能力,实现全链路数字化

文案策划

文案撰写、营销策划,专注品牌全案

新媒体运营

一站式解决企业互联网营销痛点和难题

以技术的力量,改变互联网

联系我们
鄂ICP备19028750号-1 @copyright 2023 tech1024.com