歡迎來到魔據教育大數據學院,專注大數據工程師培養!
當前位置:首頁 > 學習資料 > 講師博文 > sparkR安裝文檔

sparkR安裝文檔

時間:2017-08-16 09:11:45作者:[!--zuozhe--]

 

sparkR安裝文檔
R是用于統計分析、繪圖的語言和操作環境。R屬于GNU系統的一個自由、免費、源代碼開放的軟件,它是一個廣泛應用于統計計算和統計制圖的優秀編程語言,但是其交互式使用通常局限于一臺機器。為了能夠使用R語言分析大規模分布式的數據,spark1.4開始推出sparkR,sparkR就是用R語言進行編程建模,計算分析依賴于Spark等大數據平臺。它可以允許數據科學家分析大規模的數據集,并通過R shell交互式的在sparkR上運行作業。
具體安裝整合操作如下:
安裝環境準備:
CentOs6.5及以上版本
JDK    1.7/1.8
HDP    2.6(社區版)
R      3.3.3  
1.先安裝spark,我們使用的是社區版HDP2.6,具體安裝過程參考https://jinshuju.net/f/Ebi2Au,安裝過程中注意勾選livy server(后面連接spark時會使用到)服務,界面如下:

2.安裝R語言環境,執行以下命令安裝
su root
yum -y install epel-release
yum -y update
yum -y install curl curl-devel
yum -y install libxml2 libxml2-devel openssl-devel.x86_64
yum -y install gcc glibc-headers gcc-c++ gcc-gfortran readline-devel
libXt-devel
yum install gnutls-devel.x86_64
yum -y install libcurl libcurl-devel
yum -y install R
ü 安裝截圖如下:

ü 安裝完成,輸入R命令進入shell操作界面,如下圖:

ü 安裝完成R語言,要在R語言中添加sparkR的包,在R腳本執行以下命令:
install.packages("sparklyr")
安裝過程中會出現源選擇,建議選擇China(beijing)
ü 安裝完成即可通過library(sparklyr)加載sparkR的包即可使用。
ü  

更多大數據相關資訊敬請關注魔據教育,為您分享最及時的大數據資訊。
學習大數據敬請關注魔據教育微信二維碼。
魔據教育微信二維碼

【版權與免責聲明】如發現內容存在版權問題,煩請提供相關信息發郵件至[email protected],我們將及時溝通與處理。本站內容除非來源注明魔據教育,否則均為網友轉載,涉及言論、版權與本站無關。

全國咨詢熱線:18501996998,值班手機:18501996998(7*24小時)

在線咨詢:張老師QQ 320169340

企業合作服務專線:010-82340234-821, 院校合作洽談專線:010-82340234

Copyright 2001-2019 魔據教育 - 北京華育興業科技有限公司 版權所有,京ICP備17018991號-2

免費在線咨詢立即咨詢

免費索取技術資料立即索取

大數據技術交流QQ:226594285

電話咨詢010-82340234

六合图库118万众图库