Pasted

# instalar el paquete rvest
 
install.packages('rvest')
 
# cargar el paquete rvest
library('rvest')
 
# especificar la url del website para ser scrapeada
url <- 'http://www.imdb.com/search/title?count=100&release_date=2016,2016&title_type=feature'
 
# leer el código HTML del website
webpage <- read_html(url)
 
# utilizar selectores CSS para scrapear la sección de rankings
rank_data_html <- html_nodes(webpage,'.text-primary')
 
# convertir los datos del ranking en texto
rank_data <- html_text(rank_data_html)
 
# imprimir los primeros valores de ranking
head(rank_data)
 
# convertir los datos de ranking a números
rank_data<-as.numeric(rank_data)
 
# imprimir los primeros valores de ranking
head(rank_data)
 
# utilizar selectores CSS para scrapear la sección de títulos
title_data_html <- html_nodes(webpage,'.lister-item-header a')
 
# convertir los datos de título a texto
title_data <- html_text(title_data_html)
 
# imprimir los primeros datos de título
head(title_data)
 
# utilizar selectores CSS para scrapear la sección de descripción
description_data_html <- html_nodes(webpage,'.ratings-bar+ .text-muted')
 
# convertir los datos de descripción a texto
description_data <- html_text(description_data_html)
 
# imprimir los datos de descripción
head(description_data)
 
# remover '\n'
description_data<-gsub("\n","",description_data)
 
# imprimir los datos de descripción
head(description_data)
 
# utilizar selectores CSS para scrapear la sección de duración
runtime_data_html <- html_nodes(webpage,'.text-muted .runtime')
 
# convertir la duración a texto
runtime_data <- html_text(runtime_data_html)
 
# imprimir las duraciones
head(runtime_data)
 
# remover 'mins' y convertir a numérico
 
runtime_data<-gsub(" min","",runtime_data)
runtime_data<-as.numeric(runtime_data)
 
# imprimir las duraciones
head(runtime_data)
 
# utilizar selectores para scrapear los géneros
genre_data_html <- html_nodes(webpage,'.genre')
 
# convertir los géneros a texto
genre_data <- html_text(genre_data_html)
 
# imprimir los géneros
head(genre_data)
 
# remover '\n'
genre_data<-gsub("\n","",genre_data)
 
# removes espacios
genre_data<-gsub(" ","",genre_data)
 
# tomar sólo el primer género
genre_data<-gsub(",.*","",genre_data)
 
# convertir los géneros a factor
genre_data<-as.factor(genre_data)
 
# imprimir los géneros
head(genre_data)
 
# utilizar selectores para scrapear los ratings
rating_data_html <- html_nodes(webpage,'.ratings-imdb-rating strong')
 
# convertir los ratings a texto
rating_data <- html_text(rating_data_html)
 
# imprimir los ratings
head(rating_data)
 
# convertir los ratings a número
rating_data<-as.numeric(rating_data)
 
# imprimir los ratings
head(rating_data)
 
# utilizar selectores para scrapear los votos
votes_data_html <- html_nodes(webpage,'.sort-num_votes-visible span:nth-child(2)')
 
# convertir los votos a texto
votes_data <- html_text(votes_data_html)
 
# imprimir los votos
head(votes_data)
 
# remover las comas
votes_data<-gsub(",","",votes_data)
 
# convertir los votos a número
votes_data<-as.numeric(votes_data)
 
# imprimir los votos
head(votes_data)
 
# utilizar selectores para scrapear los directores
directors_data_html <- html_nodes(webpage,'.text-muted+ p a:nth-child(1)')
 
# convertir los directores a texto
directors_data <- html_text(directors_data_html)
 
# imprimir los directores
head(directors_data)
 
# convertir los directores a factor
directors_data<-as.factor(directors_data)
 
# utilizar selectores para scrapear los autores
actors_data_html <- html_nodes(webpage,'.lister-item-content .ghost+ a')
 
# convertir los autores a texto
actors_data <- html_text(actors_data_html)
 
# imprimir los actores
head(actors_data)
 
# convertir los actores a factor
actors_data<-as.factor(actors_data)
 
# imprimir el factor de autores
actors_data
 
# utilizar selectores para scrapear los metascore
metascore_data_html <- html_nodes(webpage,'.metascore')
 
# convertir los metascore a texto
metascore_data <- html_text(metascore_data_html)
 
# imprimir los metascore
head(metascore_data)
 
# remover los espacios
metascore_data<-gsub(" ","",metascore_data)
 
# imprimir la longitud de los metascore
length(metascore_data)
 
# rellenar los missings con NA's
 
for (i in c(39,73,80,89)){
  
  a<-metascore_data[1:(i-1)]
  
  b<-metascore_data[i:length(metascore_data)]
  
  metascore_data<-append(a,list("NA"))
  
  metascore_data<-append(metascore_data,b)
  
}
 
# convertir metascores a numérico
metascore_data<-as.numeric(metascore_data)
 
# imprimir longitud de metascores
 
length(metascore_data)
 
# imprimir el resumen estadístico
summary(metascore_data)
 
# utilizar selectores para scrapear las ganancias
gross_data_html <- html_nodes(webpage,'.ghost~ .text-muted+ span')
 
# convertir las ganancias a texto
gross_data <- html_text(gross_data_html)
 
# imprimir las ganancias
head(gross_data)
 
# remover las M's
gross_data<-gsub("M","",gross_data)
 
# removes las $
 
gross_data<-substring(gross_data,2,6)
 
# imprimir la longitud de las ganancias
length(gross_data)
 
# rellenar los missings con NA
 
for (i in c(17,39,49,52,57,64,66,73,76,77,80,87,88,89)){
  
  a<-gross_data[1:(i-1)]
  
  b<-gross_data[i:length(gross_data)]
  
  gross_data<-append(a,list("NA"))
  
  gross_data<-append(gross_data,b)
  
}
 
# convertir las ganancias a numérico
gross_data<-as.numeric(gross_data)
 
# imprimir la longitud de las ganancias
length(gross_data)
 
# imprimir el resumen estadístico de las ganancias
summary(gross_data)
 
# combinar todas las listas en un data frame
movies_df<-data.frame(Rank = rank_data, Title = title_data,
                      
                      Description = description_data, Runtime = runtime_data,
                      
                      Genre = genre_data, Rating = rating_data,
                      
                      Metascore = metascore_data, Votes = votes_data,                                                             Gross_Earning_in_Mil = gross_data,
                      
                      Director = directors_data, Actor = actors_data)
 
# imprimir la estructura del data frame
 
str(movies_df)
 
# cargar ggplot2
 
library('ggplot2')
 
# crear un histograma
 
qplot(data = movies_df,Runtime,fill = Genre,bins = 30)
 
# crear scatters
 
ggplot(movies_df,aes(x=Runtime,y=Rating))+
  geom_point(aes(size=Votes,col=Genre))
 
ggplot(movies_df,aes(x=Runtime,y=Gross_Earning_in_Mil))+
  geom_point(aes(size=Rating,col=Genre))