近日,国外媒体报道全球Hadoop服务器因配置不安全导致海量数据泄露,涉及使用Hadoop分布式文件系统(HDFS)的近4500台服务器,数据量高达5120 TB (5.12 PB),经分析,这批数据泄露的近4500台HDFS服务器中以美国和中国为主。
事件原因:
- 互联网上暴露的Hadoop服务器如果没有配置访问认证均可能受影响,攻击者针对HDFS的攻击删除了大多数目录,并会添加一个名为“NODATA 4U_SECUREYOURSHIT”的新目录和“PLEASE_README”的目录,攻击者可能备份业务数据后在服务器上删除这部分数据,然后直接发送勒索邮件并索要勒索赎金。
风险等级:高危
漏洞原因:
- 该问题产生是由于管理员在配置失误所致,由于直接在云上开放了Hadoop机器HDFS的50070web端口及部分默认服务端口,黑客可以通过命令行操作多个目录下的数据,如进行删除操作,安全风险高。
检测方式:
- 手工检查Hadoop 50070/50075端口是否开放到了公网,例如:http://ip:50070或http://ip:50075
修复措施:
强烈建议您安装完Hadoop集群后,进行安全加固:
- 建议按照安全最小化原则,禁止公网对这部分端口访问,如果因业务需要必须对外开放,请使用ECS提供的安全组策略指定访问源IP访问端口业务,如无必要,关闭Hadoop Web管理页面;
- 开启服务级别身份验证,如Kerberos认证;
- 部署Knox、Nginx之类的反向代理系统,防止未经授权用户访问;
- 使用交换机或防火墙策略配置访问控制策略(ACL),将Hadoop默认开放的多个端口对公网全部禁止或限制可信任的IP地址才能访问包括50070以及WebUI等相关端口。
参考资料:
网上找了一篇加固文档,供参考,Hadoop加固文档:https://help.aliyun.com/knowledge_detail/50128.html
转自 https://www.oschina.net/news/85853/hadoop-data-leaked