大约从2010年以来，nosql的发展可谓是风生水起，非关系型、分布式的数据库发展迅猛，开始我们知道甲骨文的Oracle，Mysql，微软的sqlServer，后来我们又知道了mongodb、redis、memcached等，前者是关系型数据库，后者是非关系型数据库（NoSQL）。

NoSQL(NoSQL = Not Only SQL )，意即“不仅仅是SQL”，是 非关系型 数据库，是针对关系型数据库而言的。

• 键值(Key-Value)存储数据库 ，最典型就是Redis。

• 列存储数据库，例如apache的HBase，Facebook 用的就是它。

• 文档型数据库，这个更不用说啦，大名鼎鼎的MongoDb。

• 图形(Graph)数据库，望文生义吧，就是用图像表示实体与实体的关系

• 高扩展性

• 高性能

• 分布式

• 灵活的数据模型

• 低成本

前两篇文章中，简单用scrapy写了一个小demo，本篇文章主要目标是完整用scrapy爬取，慕课网所有免费的课程、标题、图片、地址、学习人数、难度、方向、分类、时长、评分、评论数等。

其实，很简单，在上一次的代码中修改调整一下就好。

centos6.8中默认自带的python版本为python2.6，那么这里需要将其改为python3

官方下载地址为 https://www.python.org/downloads/ ，这里已3.6.3为例。

Elasticsearch（以下简称es）是一个实时的分布式搜索和分析引擎。

在搜索引擎方面，不仅仅有Elasticsearch，像另一篇提到的Algolia，还有sphinx、Solr等等，这里不做评价和比较，本篇主要介绍laravel中如何使用Elasticsearch。

首选必须安装有Elasticsearch，请参考 https://www.tech1024.cn/original/2962.html 。

这里使用yum方式安装，前提是必须有网络

yum install java-1.8.0-openjdk

安装完成，查看java版本

你是否在检索千百万级数据时为性能和速度而担忧呢，即使优化了sql，创建了数据库索引，还是不尽如人意呢？ 下面就主要介绍laravel如何集成Algolia

Algolia是法国初创公司为你提供毫秒级的数据库实时搜索服务，天下武功无坚不摧，唯快不破。记住哦，是毫秒级。

经常我们做项目都团队协作开发，每个人都在自己本地的数据库，如果你曾经出现过让同事手动在数据库结构中添加字段的情况，数据库迁移可以解决你这个问题。

不仅如此，在线上部署的时候，也避免了手动导入数据库或手动修改数据结构的麻烦，数据迁移帮你方便的维护着数据结构。

数据填充，让我们测试的时候需要大量的假数据不再一条一条的去造数据，可以轻松的批量填充大量数据。

本文基于Laravel5.5，其他版本大同小异。

上一篇（https://www.tech1024.cn/original/2951.html ）说了如何创建项目，并爬去网站内容，下面我们说一下如何保存爬去到的数据

创建Spider，上一篇我们已经创建了ImoocSpider，我们做一下修改，可以连续下一页爬取。

经常在朋友圈，QQ空间、微博上看到动态的发布时间、评论时间，都显示，昨天，前天，几天前，比起直接显示几月几日几分几秒要优雅的多。

于是自己的项目也想采用这种优雅直观的方式，网上找了各种计算相差几天的的例子，都是直接将时间戳相见除以86400，比如现在是17:08，动态更新的时间为前天22:00，这种方式计算的相差天数为1，而不是两天前。

实际情况应该是，昨天任何时间都算一天前，前天任意时间都算2天前，所以自己琢磨了一番，去动态更新时间与今天23:59:59相差的时间秒数与86400（24 x 3600）相除后，向下取整，这样就得到了相差的天数，比如昨天00:00~昨天23:59:59的任何时间与今天的23:59:59，都相差 86400~（86400 x 2） 天，也就是2天。

经常我们在做项目的时候，会有按首字母排序的需求 比如： 美团的城市选择 http://www.meituan.com/index/changecity/initiative app中按字母搜索

网上找了各种，不尽人意，于是，自己就写了一个，分享给大家。