编辑redis配置文件，这里的配置为/etc/redis/6379.conf，根据自己的情况而定。

vim /etc/redis/6379.conf 

熟悉laravel的同学都知道，laravel的数据迁移和数据填充，能够随着源代码的改变而同步记录同步数据库结构的变化，也就是对数据库的版本控制。

但是，有的项目开发之初，数据库结构的变化会比较频繁，每个都手动创建migrate文件的，工作量会比较大，或者老项目已有数据库，如果手动为所有的已存在的表去创建迁移文件的会非常耗时，还容易出错。

如果你还没有安装Redis，请先参考 Centos下Redis的安装与配置 。

首先我们切换到解压后的Redis目录

cd redis-4.0.6

然后将utils/redis_init_script文件复制到/etc/init.d下命名为redisd

关于Supervisor的安装与配置，请参考 Supervisor，进程管理利器。 让程序后台运行！ 。

Supervisor设置开机启动有很多，这里以Centos为例，仅供参考！

Linux下如何让程序后台运行？

关掉终端继续让程序运行的方法？

Linux ssh状态下如何后台运行程序？

Redis，是个什么呢？

应一个朋友的邀请，接下来笔者将陆续推出Redis系列学习笔记，顺便巩固一下自己的redis知识。我相信，熟悉nosql的童鞋对Redis一定不陌生，也许你的项目中正在使用它，比如缓存、消息队列等。

Redis官网（https://redis.io ）是这样介绍的：

Redis is an open source (BSD licensed), in-memory data structure store, used as a database, cache and message broker.

Redis 没有官方的Windows版本，微软开源技术团队（Microsoft Open Tech group）开发和维护着 Win64 的版本，但并不建议用于生产环境。

这里主要介绍Centos下安装Redis，以及配置redis，后台运行以及自动启动等。

官方下载地址为：https://redis.io/download

大约从2010年以来，nosql的发展可谓是风生水起，非关系型、分布式的数据库发展迅猛，开始我们知道甲骨文的Oracle，Mysql，微软的sqlServer，后来我们又知道了mongodb、redis、memcached等，前者是关系型数据库，后者是非关系型数据库（NoSQL）。

NoSQL(NoSQL = Not Only SQL )，意即“不仅仅是SQL”，是 非关系型 数据库，是针对关系型数据库而言的。

前两篇文章中，简单用scrapy写了一个小demo，本篇文章主要目标是完整用scrapy爬取，慕课网所有免费的课程、标题、图片、地址、学习人数、难度、方向、分类、时长、评分、评论数等。

其实，很简单，在上一次的代码中修改调整一下就好。

# -*- coding: utf-8 -*-

import scrapy
import json
from urllib import parse as urlparse
from scrapyDemo.ImoocCourseItem import ImoocCourseItem

# 慕课网爬取
class ImoocSpider(scrapy.Spider):
    # spider的名字定义了Scrapy如何定位(并初始化)spider，所以其必须是唯一的
    name = "imooc"

    # URL列表
    start_urls = ['http://www.imooc.com/course/list']
    #  域名不在列表中的URL不会被爬取。
    allowed_domains = ['www.imooc.com']

    def parse(self, response):
        # 课程类型
        types = response.css('div.course-content .course-nav-row')[2].css(
            '.bd ul li a')
        for key in range(len(types)):
            if key == 0:
                continue
            course_type = types[key].css('::text').extract_first()
            # 类型的url
            type_url = types[key].css('::attr(href)').extract_first()
            # print (item)
            yield scrapy.Request(
                url=urlparse.urljoin(response.url, type_url),
                callback=self.parse_by_type,
                meta={
                    'course_type': course_type
                })

    # 按课程类型爬取
    def parse_by_type(self, response):
        itemBase = response.meta
        item = ImoocCourseItem()
        item['course_type'] = itemBase['course_type']
        # print(item)
        learn_nodes = response.css('a.course-card')
        # 遍历该页上所有课程列表
        for learn_node in learn_nodes:
            course_url = learn_node.css("::attr(href)").extract_first()
            # 拼接课程详情页地址
            course_url = urlparse.urljoin(response.url, course_url)
            # 课程地址
            item['course_url'] = course_url
            # 课程图片
            item['image'] = learn_node.css(
                "img.course-banner::attr(src)").extract_first()
            # 分类
            cate = learn_node.css("div.course-label label::text").extract()
            item['cate'] = ','.join(cate)
            # 进入课程详情页面
            yield scrapy.Request(
                url=course_url, callback=self.parse_learn, meta=item)

        # 下一页地址
        next_page_url = response.css(
            u'div.page a:contains("下一页")::attr(href)').extract_first()
        if next_page_url:
            yield scrapy.Request(
                url=urlparse.urljoin(response.url, next_page_url),
                callback=self.parse_by_type,
                meta={
                    'course_type': item['course_type']
                })

    # 课程详情
    def parse_learn(self, response):
        item = response.meta
        # 课程标题
        item['title'] = response.xpath(
            '//h2[@class="l"]/text()').extract_first()
        # 课程简介
        item['brief'] = response.xpath(
            '//div[@class="course-brief"]/p/text()').extract_first()

        staticItem = response.css(
            'div#main div.statics div.static-item span.meta-value::text'
        ).extract()
        # 难度级别
        item['difficulty_level'] = staticItem[0]
        # 课程时长
        item['duration'] = staticItem[1]
        # 综合评分
        item['overall_rating'] = staticItem[2]
        # 评论数
        item['evaluation_number'] = response.css(
            'a.person-num span.person-num::text').extract_first().replace(
                '人评价', '')
        # 教师id
        item['teacher_id'] = response.css(
            'div.teacher-info a img::attr(data-userid)').extract_first()
        # 学习人数
        ids = response.url.split('/')[-1]
        yield scrapy.Request(
            url=urlparse.urljoin(response.url,
                                 '/course/AjaxCourseMembers?ids=' + ids),
            callback=self.parse_learn_num,
            meta=item)

    # 爬取学习人数
    def parse_learn_num(self, response):
        item = response.meta
        data = json.loads(response.body_as_unicode())
        # 学习人数
        item['learn_num'] = data['data'][0]['numbers']
        # print (item)
        yield item

# -*- coding: utf-8 -*-

# Define here the models for your scraped items
#
# See documentation in:
# http://doc.scrapy.org/en/latest/topics/items.html

import scrapy

class ImoocCourseItem(scrapy.Item):
    # define the fields for your item here like:
    title = scrapy.Field()    
    image = scrapy.Field()    
    brief = scrapy.Field()
    cate = scrapy.Field()
    course_type = scrapy.Field()
    course_url = scrapy.Field()
    learn_num = scrapy.Field()
    difficulty_level = scrapy.Field()
    duration = scrapy.Field()
    overall_rating = scrapy.Field()
    evaluation_number = scrapy.Field()
    teacher_id = scrapy.Field()
    pass

centos6.8中默认自带的python版本为python2.6，那么这里需要将其改为python3

官方下载地址为 https://www.python.org/downloads/ ，这里已3.6.3为例。

# 下载
 wget https://www.python.org/ftp/python/3.6.3/Python-3.6.3.tgz
# 解压
tar -zxvf Python-3.6.3.tgz

cd Python-3.6.3

[root@localhost ~]# ./configure prefix=/usr/local/python3  --enable-optimizations

[root@localhost ~]# make && make install