Spark性能调优 Spark

Spark性能调优

从集群上的Spark Streaming应用程序中获得最佳性能需要进行一些调整。在高层次上,需要考虑两件事:1.通过有效使用群集资源减少每批数据的处理时间。2.设置正确的批量大小,以便可以像接收到的那样快速处理批量数据(即,数据处理与数据摄取保持同步)。
阅读全文
Loading...