为什么叫简易数据分析?
第 1 个原因是本教程面向纯小白用户,不写代码不写公式,迈出数据分析的第一步。
第 2 个原因是生活中很多的数据分析场合,都是很轻量的,不需要上 Python 爬虫、高并发架构,机器学习等重武器,一个浏览器再加一个 Excel 就足够了:
比如说某门课程论文交稿只有几天了,急需快速爬取数据进行数据分析,这时候临阵磨枪学习 Python 爬虫知识时间完全不够;
做一些市场调研和运营工作需要对数据进行采集,让技术部门支持的话,走流程的周期过长,不如自己做;
工作跳槽,想知道市场上的技能要求和薪资分布,需要采集数据并分析市场需求;
…...
这些都是生活中会遇到的问题,面对这些数据量不大(100?10000)的分析需求,非互联网技术人士去学习一些编程知识其实性价比并不高。我们不如利用手头最常见的工具——Excel 和 浏览器,去分析去梳理数据,辅助进行思考和更好的决策。
这也算本门教程的目的——用 20% 的精力解决 80% 的数据分析需求,解放个人的生产力。
本教程主要会从三个方向上进行延伸:数据采集,数据清洗和数据可视化。
数据采集,就是利用爬虫软件从互联网上爬取想要数据,然后存储到本地;
数据清洗,就是对收集到的数据做一些格式化的处理,利于后续分析;
数据可视化,就是采用各种各样分析手法,对数据进行不同维度的解读,并以图表这种直观的形式表现出来,更好的辅助我们决策;
从下一篇文章开始,我们学习如何从互联网上采集数据。
这是简易数据分析系列的第 2 篇文章。
上篇说了数据分析在生活中的重要性,从这篇开始,我们就要进入分析的实战内容了。数据分析数据分析,没有数据怎么分析?所以我们首先要学会采集数据。
我调研了很多采集数据的软件,综合评定下来发现最好用的还是 Web Scraper,这是一款 Chrome 浏览器插件。
推荐的理由有这几个:
1.门槛足够低,只要你电脑上安装了 Chrome 浏览器就可以用
2.永久免费,无付费功能,无需注册
3.操作简单,点几次鼠标就能爬取网页,真正意义上的 0 行代码写爬虫
既然这么棒,当然是立马安装啦。
因为 Web Scraper 是 Chrome 浏览器插件,我当然是首推使用 Chrome。
但是限于国内的网络环境,可能访问 Chrome 插件应用商店不是很方便,如果第一条路走不通,我们可以尝试第二条路,用 QQ 浏览器曲线救国(360 浏览器暂时不提供 Web Scraper 插件)。
这两个浏览器内核都是一样的,只是界面不一样。我后续的教程都将以 Chrome 浏览器为主力,QQ 浏览器可能会稍有一点点的不同,如果有不一样的地方,还需读者自行分辨差异。
1. 在 Chrome 浏览器上安装 Web Scraper 插件
1.1 安装 Chrome 浏览器
这个没啥好说的,Windows 电脑的各大应用商店都有最新版的 Chrome 浏览器,或者百度一下,首页一般都会有安装包地址,下载安装就好;
(为了减少兼容性问题,最好安装最新版本的 Chrome 浏览器)
1.2 安装 Web Scraper 插件
可以访问外网的同学,直接访问&34;Chrome 网上应用店&34;,搜索 Web Scraper 下载安装即可:
暂时无条件访问外网,我们可以手动安装插件曲线救国一下,当然和上面比会稍微麻烦一些:
首先,我们访问 www.gugeapps.net 这个国内浏览器插件网站,搜索 Web Scraper,下载插件,注意这时候插件不是直接安装到浏览器上的,而是下载到了本地:
然后,我们在浏览器的的网址输入框里输入 chrome://extensions/ ,这样我们就可以打开浏览器的插件管理后台:
接下来就是解压安装刚刚下载的插件了。
如果你是 Mac 用户,首先要把这个安装包的后缀名 .crx 改为 .zip。
再切到浏览器的插件管理后台,打开右上角的开发者模式,把 Web Scraper.zip 这个文件拖进去,这样就安装好了。
一般这样安装会有一个红色的错误按钮,我们不用管它,直接忽略就行。
如果你是 windows 用户,你需要这样做:
1.把后缀为 .crx 的插件改为 .rar,然后解压缩
2.进入 chrome://extensions/ 这个页面,开启开发者模式
3.点击&34;加载已解压的扩展程序&34;,选择第一步中解压的文件夹,正常情况下就安装成功了。
到这里我们的 Chrome 浏览器就成功安装好 Web Scraper 插件了。
2.在 QQ 浏览器上安装 Web Scraper 插件
2.1 安装 QQ 浏览器
去各大应用商店或者访问 QQ 浏览器官网下载安装就可。
QQ 浏览器 PC 版官网下载地址:http://browser.qq.com/origin/
QQ 浏览器 Mac 版官网下载地址:http://browser.qq.com/origin/mac/
2.2 安装 Web Scraper 插件
Mac 用户直接访问浏览器左上角的&34;应用中心&34;,点击进入并搜索 Web Scraper 安装即可。
Windows 用户要先点击浏览器左上角的 ≡ 菜单栏,在弹出的菜单栏里选择&34;应用中心&34;,点击进入并搜索 Web Scraper 安装即可。
到这里我们的 Web Scraper 插件就安装成功啦,下一篇我们要探索一些浏览器的骚操作,为我们的后续学习打个好的基础。
这是简易数据分析系列的第 3 篇文章。
上文我们安装了 Web Scraper 插件,我相信对于大部分人来说还是很简单的,这篇文章我们说些不一样的内容,讲讲浏览器里那些不被大多数人所知的骚操作。
作为普通的使用者,大家用浏览器就是查阅信息,浏览网页。但在开发者的眼里,Chrome 浏览器提供了非常强大的开发能力。
通过这篇文章的学习,大家可以掌握一些浏览器开发的小知识(相信我,一点儿都不难),方便我们 Web Scraper 插件的后续学习。
下面开始正文。
1 开启开发者后台
这个功能我其实在旧文《造谣成本有多低?一行代码就可以截图造假》中提到过,想从普通浏览模式切换到开发者模式,只要按 F12 就可以实现(QQ 浏览器 F12 被禁掉了)。
Mac 电脑也可以用 option + command + I 打开,Win 电脑可以用 Ctrl + Shift + I 打开。
2 一行代码自由伪造截图
这个也是旧文《造谣成本有多低?一行代码就可以截图造假》的内容,已经有很多小伙伴表示他们操作成功了,感兴趣的同学可以了解一下。
3 切换开发者后台的位置
控制台打开后,一般会在网页的下方显示,我们其实也可以切到网页的右边显示,具体的操作是点击后台面板右侧的 ? 按钮,然后修改显示位置,具体操作如下动图。
4 用电脑浏览器模拟手机浏览器
用电脑浏览器模拟手机浏览器是一个很实用的功能。因为现在是移动互联网的时代了,大部分公司的网页都是优先支持移动端,而且手机浏览器的数据结构更清晰,更利于我们抓取数据。
开启模拟手机也很简单,只要点击一下开启开发者后台左侧的手机切换图标,然后刷新就好了。
我们可以拿豆瓣这个网站演示一下。
当然,我们还可以利用这个功能做些别的事情,比如说上班时开个小屏幕偷偷摸鱼刷微博。被老板抓住时别说是我教的。
好了,今天的准备内容就到这里了,下一期我们学习如何使用 Web Scraper 抓取网页数据。