不写R包的分析师不是好全栈

Kindle榜小爬虫

    R


好久没更新博客了,今天更新一下前段时间做的一个小爬虫:获取Kindle的图书排行榜.


话说单反穷三代,kindle富一生,这样目测我依旧前途未卜啊.本程序抓取在linux和Mac上是没什么问题的,不过windows会遇到编码问题,暂时没有心情来处理这个bug,就是这么任性~


目标在这里:

获取Amazon Kindle的排行榜网址

library(XML)
URL = paste0("http://www.amazon.cn/gp/bestsellers/digital-text/116169071/ref=sa_menu_kindle_l3_116169071#",1:5)

试着抓取第一个URL,也就是排名在1~20的图书….

## 我不是机器人,Amazon别封我IP~
Sys.sleep(runif(1,1,2))
doc<-htmlParse(URL[1],encoding="UTF-8")
rootNode<-xmlRoot(doc)

可以看到已经过把网页内的信息抓下了,不过书籍的信息不是类似表格的形式,(如果是表格,应该具有类似<table>的标签,可以直接用readHTMLTable来读取) 在这里我使用xpathSApply来读取标签内的信息:

先看下一个书籍的html源码:

<div class="zg_itemRow">
<div class="zg_item_compact">
<div class="zg_image zg_itemLeftDiv_compact">
<div class="zg_itemImage_compact">
<a href="http://www.amazon.cn/%E8%A7%A3%E5%BF%A7%E6%9D%82%E8%B4%A7%E5%BA%97-%E4%B8%9C%E9%87%8E%E5%9C%AD%E5%90%BE/dp/B00NOQNHP2/ref=zg_bs_116169071_1
">
<img src="http://ec4.images-amazon.com/images/I/51F6FK4cLGL._SL160_SL135_.jpg" alt="解忧杂货店" title="解忧杂货店" onload="if (typeof uet == ‘function’) { uet(‘af’); }"/></a>
</div>
</div>
<div class="zg_itemRightDiv_compact">
<div class="zg_rankLine">
<span class="zg_rankNumber">1.</span>
<span class="zg_rankMeta"></span>
</div>
<div class="zg_title">
<a href="http://www.amazon.cn/%E8%A7%A3%E5%BF%A7%E6%9D%82%E8%B4%A7%E5%BA%97-%E4%B8%9C%E9%87%8E%E5%9C%AD%E5%90%BE/dp/B00NOQNHP2/ref=zg_bs_116169071_1">解忧杂货店</a>
</div>
<div class="zg_byline">~ 东野圭吾 (作者), 李盈春 (译者)</div>
<div class="zg_reviews">
(<a href="http://www.amazon.cn/product-reviews/B00NOQNHP2/ref=zg_bs_116169071_cm_cr_acr_txt?ie=UTF8&showViewpoints=1" >3,360</a>)</span…

看起来很乱是不是,我们主要需要从这里面找到我们需要的数据,并用一个Xpath来解读它,什么,不懂Xpath?其实没多大关系,给一个最简单的Xpath,然后照着修改就好:


给我个价格


比如我们想要里面的价格数据,先找到对应的标签:


<strong class="price">¥ 5.93</strong>

strong是代表该部分粗体,class是price,这个DOM标签对应的是"//strong[@class=’price’]"意思就是寻找strong的类,strong的class是price,在R里面获取下Price的数据:


givePrice = function(rootNode){
price<-xpathSApply(rootNode,"//strong[@class=’price’]",xmlValue)
price
## 收费付费混排,我只要付费的价格(循环补齐式选择)
(price = price[c(T,F)])
## 喂,你给我认真处理下数据,把¥去掉,再转数字
strsplit(price," ") -> price.c
unlist(price.c)[c(F,T)] -> price.c
as.numeric(price.c)[1:20] -> price
price
}
givePrice(rootNode)

##  [1] 12.00  0.79  9.99  2.99  0.99  2.99  2.00  2.00  0.10  3.99 16.99
## [12] 18.00 1.99 8.99 0.99 0.99 3.99 2.00 1.99 1.99



给我个评价


要抓取的内容为:


<a style="text-decoration:none" href="http://www.amazon.cn/product-reviews/B00NOQNHP2/ref=zg_bs_116169071_cm_cr_acr_img?ie=UTF8&showViewpoints=1" name="reviewHistoPop_B00NOQNHP2_5288_star__" ><span class="swSprite s_star_4_5 " title="平均4.7 星" ><span>平均4.7 星</span></span>&nbsp;</a>

Xpath为:"//a[@style=’text-decoration:none’]/span"


giveRate = function(rootNode){
rate<-xpathSApply(rootNode,"//a[@style=’text-decoration:none’]/span",xmlValue)
rate[c(T,F,F,F)] -> rate
strsplit(rate,"平均") -> rate.c
unlist(rate.c)[c(F,T)] -> rate.c
strsplit(rate.c," 星") -> rate.c
unlist(rate.c) -> rate.c
as.numeric(rate.c) -> rate
rate
}
giveRate(rootNode)

##  [1] 4.2 4.4 4.3 4.4 4.3 4.5 4.4 4.3 4.5 4.2 4.5 4.2 4.6 4.6 4.4 4.6 4.4
## [18] 4.6 4.7 4.5

为什么要认真处理数据呢,因为评价在后期说不定需要进行比较并找到最高评分的书籍,所以在前期要做好数据的清理.




给我评价数


我在刷Amazon的时候,发现有书竟然能到5.0的评分(竟然是满分!)细看一下只有4个评分.所以获得评价数量应当也是其中的一环(哪怕最终用不到这个数据)


Xpath为:"//a[@style=’text-decoration:none’]/span"


giveNumber = function(rootNode){
number<-xpathSApply(rootNode,"//span[@class=’crAvgStars’]/a",xmlValue)
number[c(T,F)] -> number.c
sub(",","",number.c) ->number.c
as.numeric(number.c)
}
giveNumber(rootNode)

##  [1]   79  466 2137  706  540  533  141 1734  528  184   63  406  256  380
## [15] 326 547 257 464 218 311



给我书名


刷出书名:


giveNames = function(rootNode){
names <- xpathSApply(rootNode,"//div[@class=’zg_title’]/a",xmlValue)
names[c(T,F)]
}
giveNames(rootNode)

##  [1] "斯坦福极简经济学"
## [2] "话语操纵术2:不可思议的催眠式说服技巧 (话语操纵术系列)"
## [3] "解忧杂货店"
## [4] "最璀璨的银河——刘慈欣经典作品集"
## [5] "春日便当"
## [6] "你一定爱读的极简欧洲史(简约不简单的“最短”欧洲史,任志强、钱理群、钱文忠、公孙策联合推荐!)"
## [7] "狼图腾 (九头鸟长篇小说文库)"
## [8] "乖,摸摸头"
## [9] "浮生六记"
## [10] "张鸣说历史:重说中国国民性"
## [11] "血腥的盛唐大全集(珍藏版)(套装全7册)"
## [12] "从0到1:开启商业与未来的秘密(图文精编版) (奇点系列)"
## [13] "经典短篇小说101篇(英文原版) (西方经典英文读物) (English Edition)"
## [14] "白夜行"
## [15] "何以笙箫默"
## [16] "理想实习生"
## [17] "第一夜"
## [18] "从你的全世界路过"
## [19] "人生的智慧 (叔本华系列)"
## [20] "从零开始学炒股:新手入门、大智慧详解、买卖之道"



给我作者


再刷出作者:


giveAuthors = function(rootNode){
authors <- xpathSApply(rootNode,"//div[@class=’zg_byline’]",xmlValue)
authors[c(T,F)] -> authors
sub("\n\n\n\n\n\n\n~ ","",authors)
}
giveAuthors(rootNode)

##  [1] "(美)泰勒 (作者), 林隆全 (译者)"
## [2] "大卫•拜伦 (作者), 刘祥亚 (译者)"
## [3] "东野圭吾 (作者), 李盈春 (译者)"
## [4] "刘慈欣 (作者)"
## [5] "〔日〕吉井忍 (作者)"
## [6] "约翰•赫斯特 (作者), 席玉苹 (译者)"
## [7] "姜戎 (作者)"
## [8] "大冰 (作者)"
## [9] "(清)沈复著;朱奇志 校译 (作者)"
## [10] "张鸣 (作者)"
## [11] "王觉仁 (作者)"
## [12] "彼得·蒂尔 (作者), 布莱克·马斯特斯 (作者), 高玉芳 (译者)"
## [13] "(美)欧•亨利等 (作者)"
## [14] "东野圭吾 (Higashino Keigo) (作者), 刘姿君 (译者)"
## [15] "顾漫 (作者)"
## [16] "肖桐 (作者)"
## [17] "M.) (法) 李维 (Levy (作者), 李月敏 (译者)"
## [18] "张嘉佳 (作者)"
## [19] "叔本华(Arthur Schopenhauer) (作者), 韦启昌 (译者)"
## [20] "杨金 (作者)"



祭出主程序


我们之前刷出来了这几个函数:



  • givePrice

  • 求价格

  • giveRate

  • 求评价

  • giveNumber

  • 求评价数

  • giveNames

  • 求书名

  • giveAuthors

  • 求作者


组合到一起,合成获取某一个URL的主函数:


getAmazonBy1 = function(URL){
Sys.sleep(runif(1,1,2))
doc<-htmlParse(URL[1],encoding="UTF-8")
rootNode<-xmlRoot(doc)
data.frame(
Price = givePrice(rootNode),
# 求价格
Rate = giveRate(rootNode),
# 求评价
Number = giveNumber(rootNode),
# 求评价数
Name = giveNames(rootNode),
# 求书名
Author = giveAuthors(rootNode)
# 求作者
)
}

不过要注意的是,在win下刷出来的是UTF-8码,噗哈哈,我去用linux跑该脚本啦~




最后一步


多个网址,刷出各个排名并组合到一起:


URL = paste0("http://www.amazon.cn/gp/bestsellers/digital-text/116169071/ref=sa_menu_kindle_l3_116169071#",1:5)

mainfunction = function(URL){
data = rbind(
getAmazonBy1(URL[1]),
getAmazonBy1(URL[2]),
getAmazonBy1(URL[3]),
getAmazonBy1(URL[4]),
getAmazonBy1(URL[5]))
data = cbind(data,1:100)

}

mainfunction(URL)

保存好今天的数据,明天再来一次,就可以看看每天上升最快的本书了,然后呢,买来看啊….amazon数据是每小时更新的,我做此文的时候也刷了一次数据.




获取日上升最快的书籍


library(dplyr)

##
## Attaching package: ‘dplyr’
##
## The following object is masked from ‘package:stats’:
##
## filter
##
## The following objects are masked from ‘package:base’:
##
## intersect, setdiff, setequal, union

getImprove = function(t=0){
today = read.csv(paste0(Sys.Date()-t,".csv"))
yesterday = read.csv(paste0(Sys.Date()-1-t,".csv"))
yesterday = select(yesterday,Name,yes = X1.100)
final = left_join(today, yesterday, by = "Name") %>%
mutate(.,yes = ifelse(is.na(yes),100,yes)) %>%
mutate(.,improve = yes-X1.100) %>%
arrange(.,desc(improve))
head(final)
}

getImprove(t = 20)

##                                    Name  X Price Rate Number
## 1 世界上的另一个你 (最佳译文:53) 37 1.99 4.6 5
## 2 哈默手稿 29 3.99 4.3 170
## 3 说不尽的外交 51 6.99 4.5 114
## 4 神似祖先 (视点文丛) 45 3.99 4.5 55
## 5 孤独的人都要吃饱 49 2.99 4.2 17
## 6 潮汕味道 (潮汕文化丛书•岭南文化书系) 59 4.99 4.5 28
## Author
## 1 R.) , ( 美) 摩尔 (Moore,D.) ( 美) 霍尔 (Hall (作者), 李佳纯 (译者)
## 2 列奥纳多•达•芬奇 (Leonardo da Vinci) (作者), 李秦川 (译者)
## 3 李肇星 (作者)
## 4 郑也夫 (作者)
## 5 张佳玮 (作者)
## 6 张新民 (作者)
## X1.100 yes improve
## 1 37 100 63
## 2 29 78 49
## 3 51 100 49
## 4 45 89 44
## 5 49 93 44
## 6 59 100 41

最后程序:


library(XML)

givePrice = function(rootNode){
price<-xpathSApply(rootNode,"//strong[@class=’price’]",xmlValue)
price
## 收费付费混排,我只要付费的价格(循环补齐式选择)
(price = price[c(T,F)])
## 喂,你给我认真处理下数据,把¥去掉,再转数字
strsplit(price," ") -> price.c
unlist(price.c)[c(F,T)] -> price.c
as.numeric(price.c)[1:20] -> price
price
}

giveRate = function(rootNode){
rate<-xpathSApply(rootNode,"//a[@style=’text-decoration:none’]/span",xmlValue)
rate[c(T,F,F,F)] -> rate
strsplit(rate,"平均") -> rate.c
unlist(rate.c)[c(F,T)] -> rate.c
strsplit(rate.c," 星") -> rate.c
unlist(rate.c) -> rate.c
as.numeric(rate.c) -> rate
rate
}

giveNumber = function(rootNode){
number<-xpathSApply(rootNode,"//span[@class=’crAvgStars’]/a",xmlValue)
number[c(T,F)] -> number.c
sub(",","",number.c) ->number.c
as.numeric(number.c)
}

giveNames = function(rootNode){
names <- xpathSApply(rootNode,"//div[@class=’zg_title’]/a",xmlValue)
names[c(T,F)]
}

giveAuthors = function(rootNode){
authors <- xpathSApply(rootNode,"//div[@class=’zg_byline’]",xmlValue)
authors[c(T,F)] -> authors
sub("\n\n\n\n\n\n\n~ ","",authors)
}

getAmazonBy1 = function(URL){
Sys.sleep(runif(1,1,2))
doc<-htmlParse(URL[1],encoding="UTF-8")
rootNode<-xmlRoot(doc)
data.frame(
Price = givePrice(rootNode),
# 求价格
Rate = giveRate(rootNode),
# 求评价
Number = giveNumber(rootNode),
# 求评价数
Name = giveNames(rootNode),
# 求书名
Author = giveAuthors(rootNode)
# 求作者
)
}

#################主程序部分############################3

mainfunction = function(URL){
data = rbind(
getAmazonBy1(URL[1]),
getAmazonBy1(URL[2]),
getAmazonBy1(URL[3]),
getAmazonBy1(URL[4]),
getAmazonBy1(URL[5]))
data = cbind(data,1:100)

}

################运行部分###############################3
URL = paste0("http://www.amazon.cn/gp/bestsellers/digital-text/116169071/ref=zg_bs_116169071_pg_1?ie=UTF8&pg=",1:5)

data = mainfunction(URL)
write.csv(data, file = paste0(Sys.Date(),".csv"))

page PV:  ・  site PV:  ・  site UV: