标签: Spark


  1. 跨内外网远程操作Spark

    问题我们知道通过反向ssh可以借助有固定IP的外网服务器登陆没有外网IP的内网主机,但是我们在真正使用的时候可能不仅仅需要远程登陆,可能还会需要内网机器中其他端口提供的服务。比如现在我需要在远处利用Spark程序去操作内网机器里的分布式系统进行工作,这就至少需要调用内网机器的7077端口(默认的Spark调用端口)和9000端口(默认的hdfs端口)。那么这时候我们应当怎么处理呢? 解决思路最容易想到的解决方案就是同样利用反向ssh,将内网的9000端口映射到服务器的9000端口上。这一点显然是…

    Java, Linux, Spark, Rinetd, SSH阅读全文

  2. Eclipse下Spark+ScalaIDE开发环境部署

    刚开始学Spark,之前一直都是在服务器里用Spark-shell进行简单学习的,后来觉得这样实在是很不方便,于是就决定利用Eclipse ide来进行开发,不过这当中遇到了很多问题,搞了半天总算搞得差不多了,下面就记录下环境搭建的步骤方便重新配置。 当前环境在配置eclipse的开发环境前,我已经在服务器中配置好了hadoop+scala+spark的环境: hadoop 2.7.2spark 1.6.2scala 2.10.4jdk1.7Linux系统 由于服务器本身性能强劲,我采用Stan…

    Java, Linux, Spark阅读全文