Spark性能调优 Spark

Spark性能调优

从集群上的Spark Streaming应用程序中获得最佳性能需要进行一些调整。在高层次上,需要考虑两件事:1.通过有效使用群集资源减少每批数据的处理时间。2.设置正确的批量大小,以便可以像接收到的那样快速处理批量数据(即,数据处理与数据摄取保持同步)。
阅读全文
Docker架构相关概念 Docker

Docker架构相关概念

通常来说,如果容器组被创建了就不会自动销毁,除非被某种行为出发,而触发此种情况可能是人为,或 者复制控制器所为。唯一例外的是容器组由 succeeded状态成功退出,或者在一定时间内重试多次依然失 败。
阅读全文
【项目】Lewis社区 博客/论坛

【项目】Lewis社区

Lewis是我二次开发的一个社区,目前还有登录注册模块还未做好,点击注册之后直接就写入数据库了表示激活(现在我给的直接是state为1),如何还有视频播放的模块还存在一点问题,可能会有视频无法播放的情况,暑假开始着手,现在差不多了,有时间再继续做吧,最近越来越忙了,这个项目就暂时先缓一缓。
阅读全文
Linux 系统结构详解 Linux

Linux 系统结构详解

Linux系统一般有4个主要部分:内核、shell、文件系统和应用程序。内核、shell和文件系统一起形成了基本的操作系统结构,它们使得用户可以运行程序、管理文件并使用系统。
阅读全文
centos7 ambari2.6.1.5+hdp2.6.4.0 大数据集群安装部署 Hadoop

centos7 ambari2.6.1.5+hdp2.6.4.0 大数据集群安装部署

本文是讲如何在centos7(64位) 安装ambari+hdp,如果在装有原生hadoop等集群的机器上安装,需要先将集群服务停掉,然后将不需要的环境变量注释掉即可,如果不注释掉,后面虽然可以安装成功,但是在启动某些服务的时候可能会有异常,比如最后提到的hive启动异常。本文适合系统: RedHat7、CentOS7、Oracle Linux7(都是64位) 注意:centos7中文系统有bug(python脚本中文识别问题),需要使用英文系统。
阅读全文
那些话,你还记得吗? 生活随笔

那些话,你还记得吗?

其实,时间真的很好,让痛的不再痛了,让放不下的放下了。一切我都看清了。只是偶尔还是会不小心发呆,不小心想起,不小心泪流满面。但我已经能接受这个事实,你已经和时间一起都过去了。
阅读全文
Loading...