PySpark - 序列化器

---

序列化用于 Apache Spark 上的性能调整。所有通过网络发送、写入磁盘或保留在内存中的数据都应该被序列化。序列化在成本高昂的操作中发挥着重要作用。

PySpark 支持自定义序列化器以进行性能调整。PySpark 支持以下两个序列化器 -

MarshalSerializer

使用 Python 的 Marshal Serializer 序列化对象。此序列化器比 PickleSerializer 更快，但支持的数据类型较少。

class pyspark.MarshalSerializer

Pickle序列化器

使用 Python 的 Pickle Serializer 序列化对象。该序列化器几乎支持任何 Python 对象，但可能不如更专业的序列化器那么快。

class pyspark.PickleSerializer

让我们看一个 PySpark 序列化的示例。在这里，我们使用 MarshalSerializer 序列化数据。

--------------------------------------serializing.py-------------------------------------
from pyspark.context import SparkContext
from pyspark.serializers import MarshalSerializer
sc = SparkContext("local", "serialization app", serializer = MarshalSerializer())
print(sc.parallelize(list(range(1000))).map(lambda x: 2 * x).take(10))
sc.stop()
--------------------------------------serializing.py-------------------------------------

命令- 命令如下 -

$SPARK_HOME/bin/spark-submit serializing.py

输出- 上述命令的输出是 -

[0, 2, 4, 6, 8, 10, 12, 14, 16, 18]