-
Linux的环境变量配置详解
简介 在平时使用Linux的时候，经常需要配置一些环境变量，这时候一般都是网上随便搜搜就有人介绍经验的。不过问题在于他们的方法各不相同，有人说配置在/etc/profile里，有人说配置在/etc/environment，有人说配置在~/.bash_profile里，有人说配置在~/.bashrc里，有人说配置在~/.bash_login里，还有人说配置在~/.profile里。。。这真是公说公有理。。。那么问题来了，Linux到底是怎么读取配置文件的呢，依据又是什么呢？ 文档 我一向讨…
-
利用CSF防火墙屏蔽恶意请求
问题 最近不知道为什么，恶意代理的请求数越来越多，明明我返回的都是403Forbidden，但是由于数量实在庞大，还是消耗了我大量的带宽和资源。之前的方法已经没有用了，想了半天还是研究研究防火墙吧，虽然仅仅靠Apache也能对某些IP进行黑名单设置，但是感觉还是有点麻烦的。比如最常见的用iptables，或者是ufw，虽然都能很好的做到管理，但是他们基本都需要一条一条的加，十分麻烦。 网上搜索了下，找到了一个挺方便的小工具--CSF（ConfigServer & Security Fi…
-
记一次对抗恶意代理攻击的经历
事情的起因 这是一个悲伤的故事。2017年3月15号，当我开开心心的起床吃中饭的时候，突然发现收到了阿里云的一条邮件： 我就纳闷了，阿里每个月都会送10块钱的流量代金券，1G流量也就8毛钱，为啥才月半就全没了，我的小网站有这么受欢迎？本来想缓缓搞得，不过果然没过多久，服务器就强行被关停了，不得已冲了2块钱，上去研究研究到底是什么鬼。打开阿里云的流量监控器，一脸蒙ｂ： 最左边是前几天正常情况下的流量，3月12号到13号那会的流量基本是0-10kbps的上下行，到了15号12点居然达到了3Mb…
-
UbuntuServer配置中文显示
问题 最近直接在Server上编辑文件的时候才发现，原来我们的Ubuntu Server竟然没有自带中文，输进去的中文都成了乱码，煞是难看。研究了一会配置中文显示的方法，稍微花了点时间，这里姑且记一下方便以后查找。 解决思路 要解决这个问题，首先我们需要了解我们当前系统支持什么语言，一番搜索发现了如下命令： root@server:/#locale locale: Cannot set LC_ALL to default locale: No such file or director…
-
跨内外网远程操作Spark
问题 我们知道通过反向ssh可以借助有固定IP的外网服务器登陆没有外网IP的内网主机，但是我们在真正使用的时候可能不仅仅需要远程登陆，可能还会需要内网机器中其他端口提供的服务。比如现在我需要在远处利用Spark程序去操作内网机器里的分布式系统进行工作，这就至少需要调用内网机器的7077端口(默认的Spark调用端口)和9000端口(默认的hdfs端口)。那么这时候我们应当怎么处理呢？ 解决思路 最容易想到的解决方案就是同样利用反向ssh，将内网的9000端口映射到服务器的9000端口上。…
-
Eclipse下Spark+ScalaIDE开发环境部署
刚开始学Spark，之前一直都是在服务器里用Spark-shell进行简单学习的，后来觉得这样实在是很不方便，于是就决定利用Eclipse ide来进行开发，不过这当中遇到了很多问题，搞了半天总算搞得差不多了，下面就记录下环境搭建的步骤方便重新配置。 当前环境 在配置eclipse的开发环境前，我已经在服务器中配置好了hadoop+scala+spark的环境： * hadoop 2.7.2 * spark 1.6.2 * scala 2.10.4 * jdk1.7 * Lin…
-
利用反向ssh从外网访问内网主机
前言 最近遇到一个问题，就是过几天我需要离开学校，而且到时候仍然想登陆校园网里的一台服务器进行工作；但是我又没有校园网网关的操作权限，不能做端口映射，也不能搞到校园网内部主机的外网ip，而且学校自己提供的vpn又根本没法用。研究了半天，总算找到了一个比较不错的利用反向ssh(reverse ssh tunnel)进行内网登陆的解决方案。 工作原理 之所以很多转发的方法无法应用在这里，就是因为内网主机对外网其实是不可见的，也就是说外部主机不能用一般的方法访问到内部主机。那么我们就想了，能不…
-
大文件分割与重组技巧
简述 由于各种不同的问题，我们经常会遇到需要将一个大文件分割存储的问题。比如github里单个文件大小一般不能超过100M、比如FAT32文件系统里单个文件大小不能超过4G，比如我们想把某一个数据文件分割存储和查看，比如对日志文件进行分割保存等等。 在ubuntu下，这个工作其实相当简单，只需要牵涉到两个命令:split、cat. 文件分割--split split命令用来将一个大文件分割成多个小文件，可以固定大小分割(常用于分割二进制文件)，还可以固定行数分割(常用于分割文本文件)。…
-
Swf转mp4+mp4转gif等格式的方法
前言 我们都知道swf文件（ShockwaveFlash的简称，读作swiff）在前几年是非常火的，由于他是基于矢量绘图的flash动画文件，他的图像效果，交互效果等都非常出色，而且文件本身还很小巧，尤其适合在网页端进行显示，以至于很多的演示视频，甚至小游戏都是用swf文件来保存的。不过近几年随着Html5的发展，他在移动端的优点渐渐消失，甚至很多浏览器也开始不支持flash插件。而且如果在电脑上运行还得额外安装flash player，很是麻烦。比如很多情况下，我们还是需要在网页中播放swf…
-
Linux中shadow文件详解
加密密码的文件，听上去似乎可以做点什么，然而实际上啥都做不了，一个鸡肋啊。 文件样例 myths@myths-X450LD:/home$ sudo cat /etc/shadow root:!:16618:0:99999:7::: daemon:*:16484:0:99999:7::: bin:*:16484:0:99999:7::: sys:*:16484:0:99999:7::: sync:*:16484:0:99999:7::: games:*:16484:0:99999:7:::…