Ruby 数据抓取写入 xls（unirest, nokogiri, spreadsheet）

(Updated: )
Ruby

安装 unirest

使用 python 进行数据请求，我们可以使用 opne-uri，但是进行各种类型的请求时，显得不是特别的方便快捷，所以我们使用unirest来进行网络数据请求。

1
gem install unirest // 安装 unirest

unirest 的用法

uinirest最低支持 Ruby2.0版本，使用起来十分的简单，常用的方法有下面几个 (具体的使用方法可以看unirest.io)

创建请求

1
2
3
4
5
6
7
8
response = Unirest.post "http://httpbin.org/post", 
                        headers:{ "Accept" => "application/json" }, 
                        parameters:{ :age => 23, :foo => "bar" }

response.code # Status code
response.headers # Response headers
response.body # Parsed body
response.raw_body # Unparsed body

异步请求

1
2
3
4
5
6
7
8
response = Unirest.post "http://httpbin.org/post", 
                        headers:{ "Accept" => "application/json" }, 
                        parameters:{ :age => 23, :foo => "bar" } {|response|
    response.code # Status code
    response.headers # Response headers
    response.body # Parsed body
    response.raw_body # Unparsed body
}

基本 get 请求

1
response = Unirest.get "http://httpbin.org/get", auth:{:user=>"username", :password=>"password"}

安装 nokogiri

当我们爬取到数据后，我们需要对数据进行分析，如果是简单的数据结构我们可以直接使用正则表达式，如果数据的结构比较复杂，我们就需要使用 nokogiri 对 html 的 dom 进行操作，如果对 dom 结果不了解可以先查看相关的内容(html dom教程)[http://www.runoob.com/htmldom/htmldom-tutorial.html]

1
gem install nokogiri

nokogiri 使用

导入包

1
2
3
require 'rubygems'
require 'nonogiri'

打开一个 html 文档

1
2
3
4
5
6
page = Nokogiri::HTML(open("index.html))
puts page.class # => Nokogiri::HTML::Document

# 你也可以直接使用 unirest 请求下来的数据 response.body 来进行解析
response = Unirest.get "http://httpbin.org/get"
page = Nokogiri::HTML(response.body)

通过 open-uri 直接解析 url

通过 http 请求直接获取到 document

1
2
3
4
5
6
require 'rubygems'
require 'nokogiri'
require 'open-uri'
   
page = Nokogiri::HTML(open("http://en.wikipedia.org/"))   
puts page.class   # => Nokogiri::HTML::Document

CSS 选择器

对 Document 对象进行节点分析

1
2
3
4
5
6
page.css('title') # 查找 page 下所有的 `title` 标签, 返回的是一个数组
page.css('li')[0].text # 获取 page 下第一个 `li` 标签中的内容
page.css('li')[0]['href'] # 获取第一 `li` 标签中属性 `href` 的值
page.css("li[data-category='news']") #获取属性有 `data-category='news'` 的 `li` 标签
page.css('div#funstuff')[0] #获取标签 `id='funstuff'` 的节点
page.css('div#reference a') # 获取标签 `id='reference'` 下所有的 `a` 节点

更多的关于 nokogiri 的信息可以通过Parsing HTML with Nokogiri进行了解

安装 spreadsheet

Spreadsheet是一个Ruby实现的gem，它可以使我们很方便的使用它对excel进行操作，我们需要将获取到的数据存入本地，方便数据的记录和后续处理。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
# 引入spreadsheet插件
require "spreadsheet"

# 声明Spreadsheet处理Excel文件组时的编码
Spreadsheet.client_encoding = "UTF-8"

# 创建一个Spreadsheet对象，它相当于Excel文件
book = Spreadsheet::Workbook.new
# 创建Excel文件中的一个表格，并命名为 "Test Excel"
sheet1 = book.create_worksheet :name => "Test Excel"

# 设置一个Excel文件的格式
default_format = Spreadsheet::Format.new(:weight => :bold,#字体加粗
                             :size => 14, 
                             :horizontal_align: => :merge, #表格合并
                             :color=>"red", 
                             :border=>1, 
                             :border_color=>"black",
                             :pattern => 1 ,
                             :pattern_fg_color => "yellow" )#这里需要注意，如果pattern不手动处理，会导致pattern_fg_color无实际效果

# 指定一个在表格中的第一行对象
test_row = sheet1.row(0)
test_row.set_format(i, default_format)

# 为第一行的第一列指定值
test_row[0] = "row 1 col 1"
# 为第一行的第二列指定值
test_rwo[1] = "row 1 col 2" 

# 将创建的Spreadsheet对象写入文件，形成电子表格
book.write 'book2.xls'

爬虫

爬取 RUNOOB.COM(http://www.runoob.com/) 的教程列表和地址数据
其实这都算不上是一个爬虫，但是作为利用 ruby 的各种 gem 来实现异步数据请求，数据筛选及存储。是实现一个更加复杂的爬虫的必备工具。熟练的使用各种各样的 gem 可以体现 ruby 的简洁

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
#!/usr/bin/ruby
require 'unirest'
require 'nokogiri'
require 'open-uri'
require 'spreadsheet'

# 获取网页的信息
response = Unirest.get "http://www.runoob.com/"
page = Nokogiri::HTML(response.body)

# 获取大分类的列表
datas = page.css('div.codelist')
puts datas.count

# 创建一个表格
Spreadsheet.client_encoding = 'UTF-8'
book = Spreadsheet::Workbook.new

# 创建一个 sheet
sheet = book.create_worksheet :name => "my excel"

index = 0
datas.each do |category|
	puts category.css('h2').text # 获取大分类的名字
	items = category.css('a.item-top') 
	items.each do |item|		
		sheet.row(index)[0] = item.css('h4').text # 写入教程的名字
		sheet.row(index)[1] = item['href'] # 写入教程的链接
		index += 1
	end
end

book.write '/users/ssbun/desktop/runoob.xls' # 写入本地文件 （**注意你的路径**）

随后你就可以看见在你的桌面上有一个 xls 文件，打开它就能看到里面的数据了。