P298半结构化文档解析信息

[shangdawen]

url<-"https://www.wcc.nrcs.usda.gov/ftpref/data/climate/table/temperature/history/california/"
###下载文件

doc <- htmlParse(url,encoding='UTF-8')
Warning message:
XML content does not seem to be XML: 'https://www.wcc.nrcs.usda.gov/ftpref/data/climate/table/temperature/history/california/' 
hrefs<-xpathSApply(rootNode,"//a/@href") 
names<-xpathSApply(rootNode,"//tbody/tr/td",xmlValue)     # /td:td层的内容xmlValue 

这个到底怎么解呀？

[shangdawen]

url<-"https://www.wcc.nrcs.usda.gov/ftpref/data/climate/table/temperature/history/california/"
###下载文件
tmp<-getURL(url)
Error in function (type, msg, asError = TRUE) :
error:1407742E:SSL routines:SSL23_GET_SERVER_HELLO:tlsv1 alert protocol version

[shangdawen]

###下载文件的替换方法
z<-c('19l03','19l05','19l06','19l07','19l08','19l13','19l17','19l19','19l24','19l38','19l39','19l40',
     '19l41','19l42','19l43','19l44','19l45','20h02','20h06','20h12','20h13','20k03','20k04','20k05',
     '20k13','20k25','20k27','20k30','20k31','20l02','20l06','20l10')
for(i in 1:length(z)){
dizhi<-paste('https://www.wcc.nrcs.usda.gov/ftpref/data/climate/table/temperature/history/california/',z[i],'s_tavg.txt',sep="")
x<-basename(dizhi)
download.file(dizhi,paste("C:\\Users\\kongwen\\Downloads\\Wiley-ADCR-master\\ch-13-parsing-tables\\Data",x,".txt"))
}

[coderLMN]

P298 给出的是用 ftp 协议下载文件，你的代码是自己写的吗？

url<-"https://www.wcc.nrcs.usda.gov/ftpref/data/climate/table/temperature/history/california/"
###下载文件

doc <- htmlParse(url,encoding='UTF-8')
Warning message:
XML content does not seem to be XML: 

这个是按照 html 网页解析的方式。

而原书的代码是

ftp <- "ftp://ftp.wcc.nrcs.usda.gov/ftpref/data/climate/table/temperature/history/california/"
filelist <- getURL(ftp, dirlistonly = TRUE)

[shangdawen]

代码是自己写的，不过这个网页不是ftp格式了，是https格式

[coderLMN]

如果网页格式变成了 https，那么你的第二块代码应该是可以的：

url<-"https://www.wcc.nrcs.usda.gov/ftpref/data/climate/table/temperature/history/california/"
###下载文件
tmp<-getURL(url)

我这里是正常的，如果你那里有上面那个报错，可以试试在 getURL(url）后面加上参数 ,ssl.verifypeer = FALSE：

url<-"https://www.wcc.nrcs.usda.gov/ftpref/data/climate/table/temperature/history/california/"
###下载文件
tmp<-getURL(url,ssl.verifypeer = FALSE)

[shangdawen]

 url<-"https://www.wcc.nrcs.usda.gov/ftpref/data/climate/table/temperature/history/california/"
 getURL(url,ssl.verifypeer=FALSE)

Error in function (type, msg, asError = TRUE)  : 
  error:1407742E:SSL routines:SSL23_GET_SERVER_HELLO:tlsv1 alert protocol version

依旧报错

[coderLMN]

我用了 XML 和 RCurl 两个 library，不知道你用的是什么。如果实在不行，就用书里访问 https 网页的方法试试看。

[shangdawen]

楼主，R中用什么语句发现判断XPath是否存在呢？我用一个循环提取XPath中的数值，但是有一些网页的XPath并不存在，所以每次都报错，不能运行成功。我想找一个判断XPath是否存在的函数，不知道有没有？

xpathSApply(lianjie3,'/html/body/div[2]/div[2]/div[2]/div[1]/div[2]/div[2]/div/div[1]/div[1]/div/span[@class="tag tag1"]',xmlValue)

[coderLMN]

静态页面的结构如果存在一定规律的话， XPath 总是会有的，报错可能是因为你写的 XPath 不对。你可以一层一层地写，比如先把最外层的 '/html/body/div[2]' 写出来试试，看看取到的那个 div 是否是你要的，然后再加上下一层 div ，一步一步地缩小范围。

[shangdawen]

你好，我想爬网贷之家问题平台的数据，网址如下：https://shuju.wdzj.com/problem-1.html
我的代码如下：

library("XML", lib.loc="~/R/win-library/3.4")
library("stringr", lib.loc="~/R/win-library/3.4")
library("RCurl", lib.loc="~/R/win-library/3.4")


#设置报头
header<-c("User-Agent"="Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.1.6) ",
          "Accept"="text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8",
          "Accept-Language"="en-us",
          "Connection"="keep-alive",
          "Accept-Charset"="GB2312,UTF-8;q=0.7,*;q=0.7")
wenti<-'https://shuju.wdzj.com/problem-1.html'
wenti_url<-getURL(wenti,.encoding = 'UTF-8')
wenti_parse<-htmlParse(wenti_url,encoding = 'UTF-8')
lianjie<-xpathSApply(wenti_parse,'//*[@id="sortTable"]//td[2]/div/a',xmlGetAttr,"href")#提取链接

但是只能提取到登录前的20个平台，怎么设置可以在R里面登录网贷之家，然后提取所有问题平台的链接呢？

[coderLMN]

需要登陆网站的话，可以用 selenium 来解决，具体做法可以参考书中9.1.9节，不过书中推荐的组件 Rwebdriver 并不好用，我推荐用 RSelenium。你还可以参考这个讨论：#8 (comment)

[shangdawen]

请问有哪些使用R做爬虫的书籍推荐吗？目前就买了《基于R语言的自动数据收集》这本书，但感觉还需要多学点，管道操作符和正则表达式都不会用，一些复杂的爬虫也不会编，想多看看书。

[coderLMN]

这本书已经比较全面了，ajax、xpath、正则表达式，还有就是对网页结构的理解，这些内容如果都掌握好了，复杂的爬虫也没问题。其他的书我不太了解，即使有，也不外乎是这些内容。对于学习技术来说，我觉得精读一本书比泛读很多本更有效。

[coderLMN]

RSelenium 文档里 findElement 的调用和你这里的不一样，例如：

webElem <- remDr$findElement(using = 'css', "input[name='q']")    

webElem <- remDr$findElement(using = 'css', "[name='q']")

webElem <- remDr$findElement('css', "[class = 'gsfi lst-d-f']")      # CSS 的方法 

webElem <- remDr$findElement('xpath', "//input[@id = 'lst-ib']")    # XPath 的方法

webElem$sendKeysToElement(list("R Cran", "\uE007"))

你给出的 '//[@id="logusername"]' 是个 XPath，但前面声明的是 CSS，而且参数值貌似也和文档不一致。所以我怀疑是因为你前面的 'css selector' 不对，导致 findElement 的结果为 null，你可以试试把 'css selector' 改成 'xpath' 。

另外我还注意到你两个 XPath 开始的反斜杠 // 不一样，莫非有一个是中文状态下输入的？这有可能也需要检查一下。

[we0530]

url<-"https://www.wcc.nrcs.usda.gov/ftpref/data/climate/table/temperature/history/california/"
###下载文件
filelist<-getURL(url,ssl.verifypeer = FALSE)
if(!file.exists("Data")) dir.create("Data")

# get list of files from ftp
filelist <- getURL(url, dirlistonly = TRUE )
filelist <- unlist(str_split(filelist,"\r\n"))
filelist <- filelist[!filelist==""]
filelist

谁能帮忙找一个可以替代上面的网址的网址，也是有关气象数据的，可以下载txt文件，我下周要交这一章的作业，还要做PPT，求大神帮忙。
请求支援，急用！谢谢