-
跨内外网远程操作Spark
问题 我们知道通过反向ssh可以借助有固定IP的外网服务器登陆没有外网IP的内网主机，但是我们在真正使用的时候可能不仅仅需要远程登陆，可能还会需要内网机器中其他端口提供的服务。比如现在我需要在远处利用Spark程序去操作内网机器里的分布式系统进行工作，这就至少需要调用内网机器的7077端口(默认的Spark调用端口)和9000端口(默认的hdfs端口)。那么这时候我们应当怎么处理呢？ 解决思路 最容易想到的解决方案就是同样利用反向ssh，将内网的9000端口映射到服务器的9000端口上。…
-
Eclipse下Spark+ScalaIDE开发环境部署
刚开始学Spark，之前一直都是在服务器里用Spark-shell进行简单学习的，后来觉得这样实在是很不方便，于是就决定利用Eclipse ide来进行开发，不过这当中遇到了很多问题，搞了半天总算搞得差不多了，下面就记录下环境搭建的步骤方便重新配置。 当前环境 在配置eclipse的开发环境前，我已经在服务器中配置好了hadoop+scala+spark的环境： * hadoop 2.7.2 * spark 1.6.2 * scala 2.10.4 * jdk1.7 * Lin…