PySpark 升級遷移指南從 1.x 到 4.3 的行為變更、棄用與兼容性選項全解析【免費下載鏈接】sparkApache Spark - A unified analytics engine for large-scale data processing項目地址: https://gitcode.com/gh_mirrors/sp/sparkPySpark 每次大版本升級都伴隨著 Python 依賴版本門檻的提升、Arrow 列式優(yōu)化的逐步默認化以及 pandas API on Spark 與 Spark Connect 客戶端的一系列行為變更。本文以倉庫內 pyspark_upgrade.rst 為骨架逐版本梳理從 4.2→4.3 直至 1.3 的官方遷移要點并結合 SQLConf.scala 等源碼中的配置定義、錯誤條件定義與測試用例說明每個變更背后的實現(xiàn)細節(jié)、恢復舊行為的開關幫助你在升級前完成兼容性評估與回歸測試。一、升級總覽讀懂這篇指南的方式PySpark 的升級文檔按“從版本 X 升級到版本 Y”的粒度組織每一條變更通常屬于以下四類之一運行時依賴門檻變化Python、Pandas、PyArrow、NumPy 的最低支持版本被提高甚至某些解釋器如 PyPy不再被官方支持默認行為切換某個功能從默認關閉變?yōu)槟J開啟典型代表是 Arrow 列式數(shù)據(jù)交換與 Arrow 優(yōu)化的 UDF/UDTF同時保留顯式關閉的配置項API 移除或參數(shù)棄用pandas API on Spark 中大量對齊 pandas 新版本的 API 被移除或更名語義修正錯誤類型、類型映射、schema 推斷、空值處理等行為向 pandas/Arrow 標準靠攏需要業(yè)務代碼相應調整。絕大多數(shù)行為變更都提供了“恢復舊行為”的開關——要么是spark.*SQL 配置項要么是PYSPARK_*環(huán)境變量。這是升級時最重要的逃生通道。二、升級到 PySpark 4.3自 4.2本版本最直接的變更是運行時環(huán)境的收緊Python 3.10 支持被移除。PySpark 4.3 不再支持 Python 3.10請確保運行環(huán)境驅動與執(zhí)行器兩側的 Python 版本一致使用受支持的 Python 版本3.11 及以上具體以當前版本發(fā)布說明為準。這是 4.2 移除 Python 3.9、4.0 移除 Python 3.8 之后PySpark 持續(xù)清理老舊 Python 版本策略的延續(xù)。三、升級到 PySpark 4.2自 4.1Spark 4.2 是行為變更非常密集的一個版本核心關鍵詞是Arrow 全面默認化與Spark Connect 行為對齊。3.1 依賴門檻與平臺支持PyArrow 最低版本從 15.0.0 提升到 18.0.0PyPy 不再被官方支持。官方建議在 CPython 上運行 PySpark繼續(xù)使用 PyPy 可能遇到未經(jīng)驗證的問題。3.2 列式數(shù)據(jù)交換與 Arrow 優(yōu)化默認開啟PySpark 與 JVM 之間的列式數(shù)據(jù)交換默認使用 Apache Arrowspark.sql.execution.arrow.pyspark.enabled默認值變?yōu)閠rue。要恢復舊的非 Arrow行式數(shù)據(jù)交換將該配置設為false。該配置在源碼中定義于 SQLConf.scala其文檔明確指出該優(yōu)化作用于兩處pyspark.sql.DataFrame.toPandas以及輸入為 Pandas DataFrame 或 NumPyndarray時的SparkSession.createDataFrame同時標出不支持的數(shù)據(jù)類型為ArrayTypeofTimestampType。它還有一個 3.0 起已棄用的前身spark.sql.execution.arrow.enabled通過fallbackConf繼承其默認值true見同文件 L5081-L5086。在啟用 Arrow 時如需進一步降低內存占用可配合實驗性配置spark.sql.execution.arrow.pyspark.selfDestruct.enabledL5100-L5109使用 Arrow 的 self-destruct 與 split-blocks 選項以 CPU 時間換取內存。普通 Python UDF 默認使用 Arrow 優(yōu)化spark.sql.execution.pythonUDF.arrow.enabled默認值變?yōu)閠rue?；謴团f行為需顯式設為false。該配置定義于 SQLConf.scala自 3.4.0 引入說明中特別注明“僅當函數(shù)接收至少一個參數(shù)時該優(yōu)化才能啟用”。普通 Python UDTF 默認使用 Arrow 優(yōu)化spark.sql.execution.pythonUDTF.arrow.enabled默認值變?yōu)閠rue自 3.5.0 引入定義見 SQLConf.scala。3.3 Spark Connect 客戶端行為對齊DataFrame.__getattr__不再急切校驗列名。在 Spark Connect Python 客戶端中訪問不存在的列不再在取屬性時立即拋錯。如需恢復舊行為設置環(huán)境變量PYSPARK_VALIDATE_COLUMN_NAME_LEGACY1。該環(huán)境變量在 python/pyspark/sql/connect/dataframe.py 中被讀取當PYSPARK_VALIDATE_COLUMN_NAME_LEGACY為1或列名以__開頭時才執(zhí)行原校驗邏輯。DataFrame[Stream]Reader/Writer.option與.options過濾None值None現(xiàn)在被當作“未設置”處理不再像以前那樣把 Javanull轉發(fā)到 JVM從而與 Spark Connect Python 客戶端SPARK-49263及OptionUtils._set_opts行為一致。實操要點想把選項設為默認值直接省略或傳None想顯式設為空字符串則必須傳。pandas UDF 接收可空整型列時使用擴展 dtype當 pandas UDF 的輸入批次包含空值時可空整型列會以 pandas 可空整型擴展 dtypeInt8/Int16/Int32/Int64交付而不再是float64。依賴float64輸入假設的 UDF 代碼需要更新。相關配置spark.sql.execution.pythonUDF.pandas.preferIntExtensionDtype默認false見 SQLConf.scala可影響整型在 Pandas UDF 執(zhí)行時的 dtype 選擇。3.4 數(shù)據(jù)源與流式讀取的嚴格化校驗Python Data Source 返回的 Arrow 數(shù)據(jù)與聲明 schema 類型不匹配時報DATA_SOURCE_RETURN_SCHEMA_MISMATCH。此前只有列數(shù)與列名不匹配會報該錯4.2 起列類型不匹配同樣觸發(fā)。該錯誤條件登記在 python/pyspark/errors/error-conditions.json并由 python/pyspark/sql/worker/plan_data_source_read.py 在 worker 側校驗觸發(fā)對應測試見 python/pyspark/sql/tests/test_python_datasource.py。修復方式讓數(shù)據(jù)源返回的數(shù)據(jù)類型與聲明 schema 嚴格一致。SimpleDataSourceStreamReader.read()返回非空批次但 end offset 未推進時報SIMPLE_STREAM_READER_OFFSET_DID_NOT_ADVANCE不再無限重放同一批次并膨脹預取緩存。錯誤條件同樣登記在 error-conditions.json測試用例見 python/pyspark/sql/tests/test_python_streaming_datasource.py。修復方式確保返回的 end offset 至少推進到超過最后一條記錄。3.5 其他行為變更SparkSession.createDataFrame從 NumPyndarray創(chuàng)建時要求 PyArrow而非 pandas數(shù)據(jù)會直接轉換為 Arrow 而不是先經(jīng)過 pandas。使用前請安裝 PyArrow如果之前禁用 Arrow 且依賴基于 NumPy dtype 的 schema 推斷需要復核推斷結果——現(xiàn)在遵循 Arrow 的類型映射。pandas API on Spark 的DataFrame.drop與Series.drop語義對齊 pandas只要指定的標簽中有一個缺失就拋KeyError此前是全部缺失才拋。建議先確認標簽存在、先過濾出存在的標簽或傳入errorsignore。四、升級到 PySpark 4.1自 4.04.1 依賴門檻提升Python 3.9 支持被移除PyArrow 最低版本從 11.0.0 提升到 15.0.0Pandas 最低版本從 2.0.0 提升到 2.2.0。4.2 Arrow UDF 行為修正與還原開關DataFrame.__getitem__在 Spark Connect Python 客戶端中不再急切校驗列名恢復方式同樣是設置PYSPARK_VALIDATE_COLUMN_NAME_LEGACY1。Arrow 優(yōu)化的 Python UDF 現(xiàn)在支持 UDT用戶自定義類型輸入/輸出不再回退到普通 UDF。要恢復舊的回退行為設置spark.sql.execution.pythonUDF.arrow.legacy.fallbackOnUDTtrue。該內部配置定義于 SQLConf.scala默認false。移除不必要的 pandas 實例轉換當spark.sql.execution.pythonUDF.arrow.enabled啟用時JVM 與 Python worker 之間的反序列化不再做額外的 pandas 轉換導致“產(chǎn)出 schema 與聲明 schema 不一致”時的類型強制轉換type coercion行為發(fā)生變化?；謴团f行為需開啟內部配置spark.sql.legacy.execution.pythonUDF.pandas.conversion.enabled默認false見 SQLConf.scala。UDTF 有完全對應的spark.sql.legacy.execution.pythonUDTF.pandas.conversion.enabledL5596-L5605。spark.sql.execution.pandas.convertToArrowArraySafely默認開啟。啟用后PyArrow 會在整數(shù)溢出、浮點截斷、精度損失等不安全轉換時拋錯影響 Arrow 啟用的 UDF/pandas_udf 的返回序列化以及 PySpark DataFrame 的創(chuàng)建?；謴团f行為需設為false。該配置定義于 SQLConf.scala 附近。4.3 BinaryType 與 Python bytes 的統(tǒng)一映射BinaryType默認統(tǒng)一映射為 Pythonbytes。恢復舊行為需設置spark.sql.execution.pyspark.binaryAsBytesfalse定義見 SQLConf.scala默認true。4.1.0 之前各場景下BinaryType對應的 Python 類型如下表場景BinaryType對應的 Python 類型未啟用 Arrow 優(yōu)化的普通 UDF 與 UDTFbytearrayDataFrame APISpark Classic 與 Spark Connectbytearray數(shù)據(jù)源bytearray啟用 Arrow 優(yōu)化且?guī)?pandas 轉換的 UDF 與 UDTFbytes4.4 pandas API on Spark 的 ANSI 模式compute.ansi_mode_support默認True時pandas API on Spark 可在 ANSI 模式下工作原有的保護開關compute.fail_on_ansi_mode仍然保留但只在compute.ansi_mode_supportFalse時才生效。五、升級到 PySpark 4.0自 3.55.1 依賴門檻提升Python 3.8 支持被移除Pandas 最低版本從 1.0.5 提升到 2.0.0NumPy 最低版本從 1.15 提升到 1.21PyArrow 最低版本從 4.0.0 提升到 11.0.0。5.2 pandas API on Spark 的 API 移除與改名清單4.0 對 pandas API on Spark 做了一次大規(guī)模清理主要分三類整體移除改用替代 API移除項替代方案Int64Index、Float64Index直接使用IndexDataFrame.iteritems/Series.iteritemsDataFrame.items/Series.itemsDataFrame.append/Series.appendps.concatDataFrame.mad/Series.mad無Index.factorize/Series.factorize的na_sentinel參數(shù)改用use_na_sentinelDataFrame.koalasDataFrame.pandas_on_sparkDataFrame.to_koalas/DataFrame.to_pandas_on_sparkDataFrame.pandas_apipyspark.testing.assertPandasOnSparkEqualpyspark.pandas.testing.assert_frame_equalDataFrame.to_spark_ioDataFrame.spark.to_spark_ioIndex.asi8Index.astypeIndex.is_type_compatibleIndex.isinIndex.is_monotonic/Series.is_monotonicis_monotonic_increasing系列方法DataFrame.get_dtype_countsDataFrame.dtypes.value_counts()DataFrameGroupBy.backfill/.padDataFrameGroupBy.bfill/.ffillIndex.is_all_dates無DatatimeIndex.week/.weekofyear、Series.dt.week/.weekofyearDatetimeIndex.isocalendar().week/Series.dt.isocalendar().week參數(shù)移除DataFrame.between_time/Series.between_time移除include_start、include_end改用inclusiveSeries.betweeninclusive不再接受布爾值改用both/neitherDataFrame.plot/Series.plot移除sort_columnsps.read_csv/ps.read_excel移除squeezeDataFrame.info移除null_counts改用show_countsDataFrame.to_latex/Series.to_latex移除col_spaceDataFrame.to_excel/Series.to_excel移除encoding、verboseread_csv/read_excel移除mangle_dupe_colsread_excel另移除convert_floatCategorical.*與CategoricalIndex.*系列方法移除inplace參數(shù)ps.date_range移除closed參數(shù)。行為變化DatetimeIndex的day、month、year等日期屬性由int64變?yōu)閕nt32Series.str.replace的regex參數(shù)默認值由True改為False且當regexTrue時單個字符的pat被當作正則表達式而非字符串字面量value_counts的結果名稱固定為countnormalizeTrue時為proportion索引以原對象命名MultiIndex.append不再保留索引名DataFrameGroupBy.agg傳入列表時遵守as_indexFalseDataFrame.stack保證保留既有列順序不再按字典序排序對 decimal 類型對象應用astype時缺失值的轉換結果由False變?yōu)門rue日期時間別名Y、M、H、T、S被棄用改用YE、ME、h、min、s。5.3 schema 推斷、通配導入與 ANSI 模式map 列的 schema 推斷改為合并所有鍵值對的 schema。要恢復“僅從第一個非空鍵值對推斷”的舊行為設置spark.sql.pyspark.legacy.inferMapTypeFromFirstPair.enabledtrue內部配置定義見 SQLConf.scala。這與 3.4 引入的數(shù)組列推斷開關spark.sql.pyspark.legacy.inferArrayTypeFromFirstElement.enabledL7646-L7653是一對共同決定SparkSession.createDataFrame的集合類型推斷粒度。compute.ops_on_diff_frames默認開啟支持跨不同 DataFrame 的運算恢復舊行為需設為false。DataFrame.collect不再返回YearMonthIntervalType的底層整數(shù)恢復舊行為需設置環(huán)境變量PYSPARK_YM_INTERVAL_LEGACY1。from pyspark.sql.functions import *不再導入非函數(shù)對象。DataFrame、Column、StructType等需要分別從pyspark.sql、pyspark.sql.types等模塊顯式導入。ANSI 模式與 pandas API on Spark 的沖突處理Spark 4.0 默認啟用 ANSI 模式而 pandas API on Spark 在 ANSI 模式下無法正常工作并會拋異常。兩種處理方式顯式設置spark.sql.ansi.enabledfalse禁用 ANSI 模式或將 pandas-on-spark 選項compute.fail_on_ansi_mode設為False強制運行可能引發(fā)意外行為。六、更早版本升級要點3.5 及以前6.1 自 PySpark 3.3 升級到 3.4數(shù)組列的 schema 推斷改為合并所有元素的 schema恢復“僅從第一個元素推斷”需設置spark.sql.pyspark.legacy.inferArrayTypeFromFirstElement.enabledtrue內部配置默認false見 SQLConf.scala。Groupby.apply的func未指定返回類型且compute.shortcut_limit0時采樣行數(shù)固定為 2以保證 schema 推斷準確。Index.insert越界時拋IndexError信息形如index {} is out of bounds for axis 0 with size {}對齊 pandas 1.4。Series.mode保留 series 名稱Index.__setitem__先檢查value是否為Column類型避免is_list_like拋意外的ValueError。astype(category)會根據(jù)原始數(shù)據(jù) dtype 刷新categories.dtypeGroupBy.head/GroupBy.tail支持位置索引負數(shù)參數(shù)語義正確此前返回空 frame。groupby.apply的 schema 推斷會先推斷 pandas 類型以保證 dtype 精度Series.concat尊重sort參數(shù)DataFrame.__setitem__會復制并替換既有數(shù)組不再覆寫原數(shù)組。SparkSession.sql與 pandas API on Spark 的sql新增args參數(shù)支持具名參數(shù)綁定到 SQL 字面量。pandas API on Spark 全面跟隨 pandas 2.0相關 API 的棄用/移除詳見 pandas 官方 release notes。移除對collections.namedtuple的自定義 monkey-patch默認使用cloudpickle若遇到相關 pickling 問題設置環(huán)境變量PYSPARK_ENABLE_NAMEDTUPLE_PATCH1恢復舊行為。6.2 自 PySpark 3.2 升級到 3.3pyspark.pandas.sql方法遵循 Python 標準字符串格式化語法恢復舊行為需設置PYSPARK_PANDAS_SQL_LEGACY1。pandas API on Spark 的drop方法支持按 index 刪除行且默認改為按行刪除而非按列。Pandas 最低版本從 0.23.2 提升到 1.0.5。SQL 數(shù)據(jù)類型的repr返回值改為可通過eval還原出等價對象。6.3 自 PySpark 3.1 升級到 3.2sql、ml、spark_on_pandas模塊的方法在參數(shù)類型不匹配時拋TypeError而非ValueError。Python UDF、pandas UDF 與 pandas function API 的 traceback 默認簡化不再打印內部 Python worker 的堆?；謴团f行為需設置spark.sql.execution.pyspark.udf.simplifiedTraceback.enabledfalse。默認啟用 pinned thread 模式每個 Python 線程映射到對應的 JVM 線程避免多個 Python 線程共享一個 JVM 線程的 thread-local。建議配合pyspark.InheritableThread或pyspark.inheritable_thread_target使用以正確繼承 JVM 線程的可繼承屬性如 local properties并避免資源泄漏?；謴团f行為需設置PYSPARK_PIN_THREADfalse。6.4 自 PySpark 2.4 升級到 3.0使用 pandas 相關功能toPandas、從 pandas DataFrame 創(chuàng)建 DataFrame 等要求 Pandas ≥ 0.23.2使用 PyArrow 相關功能pandas_udf、toPandas、createDataFrame配合spark.sql.execution.arrow.enabledtrue等要求 PyArrow ≥ 0.12.1。SparkSession.builder.getOrCreate()不再嘗試用 builder 中的配置更新已存在的SparkContext與 Java/Scala API 自 2.3 起行為一致如需更新配置須在創(chuàng)建SparkSession之前完成。Arrow 優(yōu)化下PyArrow 0.11.0 時可通過spark.sql.execution.pandas.convertToArrowArraySafelytrue開啟安全類型轉換默認false。不同版本/配置下的行為PyArrow 版本整數(shù)溢出浮點截斷0.11.0 及以下拋錯靜默允許 0.11.0arrowSafeTypeConversionfalse靜默溢出靜默允許 0.11.0arrowSafeTypeConversiontrue拋錯拋錯createDataFrame(..., verifySchemaTrue)開始校驗LongType此前不校驗溢出時得到None可通過verifySchemaFalse關閉校驗。Row按命名參數(shù)構造時字段順序與輸入一致Python ≥ 3.6不再按字母序排序需要恢復排序時設置環(huán)境變量PYSPARK_ROW_FIELD_SORTING_ENABLEDtrue必須在所有 driver 與 executor 上保持一致否則可能引發(fā)失敗或錯誤結果。pyspark.ml.param.shared.Has*混入類不再提供set*(self, value)方法改用self.set(self.*, value)。6.5 更早期版本2.x 與 1.x2.3→2.4Arrow 優(yōu)化開啟時toPandas與從 Pandas DataFrame 創(chuàng)建 DataFrame 默認允許回退到非優(yōu)化路徑此前toPandas直接失敗可通過spark.sql.execution.arrow.fallback.enabled關閉回退。2.3.0→2.3.1Arrow 功能pandas_udf、toPandas/createDataFrame配合spark.sql.execution.arrow.enabledtrue被標記為實驗性不建議在生產(chǎn)使用。2.2→2.3pandas 相關功能要求 Pandas ≥ 0.19.2時間戳行為改為尊重會話時區(qū)恢復舊行為設spark.sql.execution.pandas.respectSessionTimeZonefalsena.fill()/fillna支持布爾值替換 nulldf.replace在to_replace不是字典時不允許省略value。1.4→1.5字符串解析列支持用點號.限定列名或訪問嵌套值如df[table.column.nestedField]但列名中含點號時必須用反引號轉義如table.column.with.dots.nestedwithColumn支持新增或替換同名列。1.0–1.2→1.3Python 中使用 DataTypes 時必須構造實例如StringType()不再引用單例。七、遷移開關速查表將全文涉及的恢復開關匯總如下便于升級排查時快速定位源碼定義見 SQLConf.scala類型鍵名影響的版本變更默認值SQL 配置spark.sql.execution.arrow.pyspark.enabled4.2 起默認啟用 Arrow 列式交換trueSQL 配置spark.sql.execution.pythonUDF.arrow.enabled4.2 起 UDF 默認 Arrow 優(yōu)化trueSQL 配置spark.sql.execution.pythonUDTF.arrow.enabled4.2 起 UDTF 默認 Arrow 優(yōu)化trueSQL 配置spark.sql.execution.pythonUDF.arrow.legacy.fallbackOnUDT4.1 UDT 回退舊行為falseSQL 配置spark.sql.legacy.execution.pythonUDF.pandas.conversion.enabled4.1 恢復 pandas 轉換falseSQL 配置spark.sql.legacy.execution.pythonUDTF.pandas.conversion.enabled4.1 恢復 pandas 轉換falseSQL 配置spark.sql.execution.pyspark.binaryAsBytes4.1BinaryType→bytes映射trueSQL 配置spark.sql.execution.pandas.convertToArrowArraySafely4.1 安全類型轉換trueSQL 配置spark.sql.pyspark.legacy.inferMapTypeFromFirstPair.enabled4.0 map schema 推斷falseSQL 配置spark.sql.pyspark.legacy.inferArrayTypeFromFirstElement.enabled3.4 array schema 推斷falseSQL 配置compute.ops_on_diff_frames4.0 跨 frame 運算trueSQL 配置spark.sql.ansi.enabled4.0 ANSI 模式trueSQL 配置spark.sql.execution.pyspark.udf.simplifiedTraceback.enabled3.2 簡化 tracebacktrue環(huán)境變量PYSPARK_VALIDATE_COLUMN_NAME_LEGACY4.1/4.2 列名急切校驗未設置環(huán)境變量PYSPARK_YM_INTERVAL_LEGACY4.0YearMonthIntervalType底層整數(shù)未設置環(huán)境變量PYSPARK_ENABLE_NAMEDTUPLE_PATCH3.4 namedtuple patch未設置環(huán)境變量PYSPARK_PANDAS_SQL_LEGACY3.3pyspark.pandas.sql格式化未設置環(huán)境變量PYSPARK_PIN_THREAD3.2 pinned thread未設置環(huán)境變量PYSPARK_ROW_FIELD_SORTING_ENABLED3.0Row字段排序未設置八、升級實踐建議先核對運行時版本確認 Python≥ 3.11自 4.3 起、PyArrow≥ 18.0.0自 4.2 起、Pandas≥ 2.2.0自 4.1 起、NumPy≥ 1.21自 4.0 起滿足目標版本門檻并統(tǒng)一 driver 與 executor 的 Python 環(huán)境。將 Arrow 作為第一公民對待4.2 起 Arrow 已是 PySpark 數(shù)據(jù)交換與 UDF/UDTF 執(zhí)行的默認路徑。升級前先用小規(guī)模任務驗證 Arrow 路徑下的類型映射尤其是BinaryType、可空整型 dtype、decimal 與時間類型再把spark.sql.execution.pandas.convertToArrowArraySafelytrue下的溢出報錯視為需要修復的數(shù)據(jù)問題而非可繞過的偶發(fā)異常。用“恢復開關”做灰度對存量作業(yè)可按上表在提交參數(shù)spark-submit --conf或spark-defaults.conf中臨時恢復舊行為逐項消除行為差異后再移除開關避免“一步到位”式升級導致的問題難以定位。重點回歸 pandas API on Spark4.0 的大規(guī)模 API 清理對依賴ps的代碼影響最大建議在升級前用pylint/靜態(tài)掃描找出已移除的 API 與參數(shù)并對照上文替換清單逐一改寫。關注 Spark Connect 客戶端差異__getattr__/__getitem__列名校驗放寬與option(s)的None過濾意味著依賴“取屬性即拋錯”或“傳None即寫 null”的代碼需要顯式調整。數(shù)據(jù)源與流式應用確保 Python Data Source 返回的 Arrow 數(shù)據(jù)類型與聲明 schema 一致、SimpleDataSourceStreamReader的 end offset 正確推進否則 4.2 起會以明確錯誤碼DATA_SOURCE_RETURN_SCHEMA_MISMATCH、SIMPLE_STREAM_READER_OFFSET_DID_NOT_ADVANCE失敗。這些錯誤碼統(tǒng)一定義在 python/pyspark/errors/error-conditions.json便于在文檔與日志中檢索?！久赓M下載鏈接】sparkApache Spark - A unified analytics engine for large-scale data processing項目地址: https://gitcode.com/gh_mirrors/sp/spark創(chuàng)作聲明：本文部分內容由AI輔助生成（AIGC），僅供參考 PySpark 升級遷移指南：從 1.x 到 4.3 的行為變更、棄用與兼容性選項全解析
PySpark 升級遷移指南從 1.x 到 4.3 的行為變更、棄用與兼容性選項全解析【免費下載鏈接】sparkApache Spark - A unified analytics engine for large-scale data processing項目地址: https://gitcode.com/gh_mirrors/sp/sparkPySpark 每次大版本升級都伴隨著 Python 依賴版本門檻的提升、Arrow 列式優(yōu)化的逐步默認化以及 pandas API on Spark 與 Spark Connect 客戶端的一系列行為變更。本文以倉庫內 pyspark_upgrade.rst 為骨架逐版本梳理從 4.2→4.3 直至 1.3 的官方遷移要點并結合 SQLConf.scala 等源碼中的配置定義、錯誤條件定義與測試用例說明每個變更背后的實現(xiàn)細節(jié)、恢復舊行為的開關幫助你在升級前完成兼容性評估與回歸測試。一、升級總覽讀懂這篇指南的方式PySpark 的升級文檔按“從版本 X 升級到版本 Y”的粒度組織每一條變更通常屬于以下四類之一運行時依賴門檻變化Python、Pandas、PyArrow、NumPy 的最低支持版本被提高甚至某些解釋器如 PyPy不再被官方支持默認行為切換某個功能從默認關閉變?yōu)槟J開啟典型代表是 Arrow 列式數(shù)據(jù)交換與 Arrow 優(yōu)化的 UDF/UDTF同時保留顯式關閉的配置項API 移除或參數(shù)棄用pandas API on Spark 中大量對齊 pandas 新版本的 API 被移除或更名語義修正錯誤類型、類型映射、schema 推斷、空值處理等行為向 pandas/Arrow 標準靠攏需要業(yè)務代碼相應調整。絕大多數(shù)行為變更都提供了“恢復舊行為”的開關——要么是spark.*SQL 配置項要么是PYSPARK_*環(huán)境變量。這是升級時最重要的逃生通道。二、升級到 PySpark 4.3自 4.2本版本最直接的變更是運行時環(huán)境的收緊Python 3.10 支持被移除。PySpark 4.3 不再支持 Python 3.10請確保運行環(huán)境驅動與執(zhí)行器兩側的 Python 版本一致使用受支持的 Python 版本3.11 及以上具體以當前版本發(fā)布說明為準。這是 4.2 移除 Python 3.9、4.0 移除 Python 3.8 之后PySpark 持續(xù)清理老舊 Python 版本策略的延續(xù)。三、升級到 PySpark 4.2自 4.1Spark 4.2 是行為變更非常密集的一個版本核心關鍵詞是Arrow 全面默認化與Spark Connect 行為對齊。3.1 依賴門檻與平臺支持PyArrow 最低版本從 15.0.0 提升到 18.0.0PyPy 不再被官方支持。官方建議在 CPython 上運行 PySpark繼續(xù)使用 PyPy 可能遇到未經(jīng)驗證的問題。3.2 列式數(shù)據(jù)交換與 Arrow 優(yōu)化默認開啟PySpark 與 JVM 之間的列式數(shù)據(jù)交換默認使用 Apache Arrowspark.sql.execution.arrow.pyspark.enabled默認值變?yōu)閠rue。要恢復舊的非 Arrow行式數(shù)據(jù)交換將該配置設為false。該配置在源碼中定義于 SQLConf.scala其文檔明確指出該優(yōu)化作用于兩處pyspark.sql.DataFrame.toPandas以及輸入為 Pandas DataFrame 或 NumPyndarray時的SparkSession.createDataFrame同時標出不支持的數(shù)據(jù)類型為ArrayTypeofTimestampType。它還有一個 3.0 起已棄用的前身spark.sql.execution.arrow.enabled通過fallbackConf繼承其默認值true見同文件 L5081-L5086。在啟用 Arrow 時如需進一步降低內存占用可配合實驗性配置spark.sql.execution.arrow.pyspark.selfDestruct.enabledL5100-L5109使用 Arrow 的 self-destruct 與 split-blocks 選項以 CPU 時間換取內存。普通 Python UDF 默認使用 Arrow 優(yōu)化spark.sql.execution.pythonUDF.arrow.enabled默認值變?yōu)閠rue?；謴团f行為需顯式設為false。該配置定義于 SQLConf.scala自 3.4.0 引入說明中特別注明“僅當函數(shù)接收至少一個參數(shù)時該優(yōu)化才能啟用”。普通 Python UDTF 默認使用 Arrow 優(yōu)化spark.sql.execution.pythonUDTF.arrow.enabled默認值變?yōu)閠rue自 3.5.0 引入定義見 SQLConf.scala。3.3 Spark Connect 客戶端行為對齊DataFrame.__getattr__不再急切校驗列名。在 Spark Connect Python 客戶端中訪問不存在的列不再在取屬性時立即拋錯。如需恢復舊行為設置環(huán)境變量PYSPARK_VALIDATE_COLUMN_NAME_LEGACY1。該環(huán)境變量在 python/pyspark/sql/connect/dataframe.py 中被讀取當PYSPARK_VALIDATE_COLUMN_NAME_LEGACY為1或列名以__開頭時才執(zhí)行原校驗邏輯。DataFrame[Stream]Reader/Writer.option與.options過濾None值None現(xiàn)在被當作“未設置”處理不再像以前那樣把 Javanull轉發(fā)到 JVM從而與 Spark Connect Python 客戶端SPARK-49263及OptionUtils._set_opts行為一致。實操要點想把選項設為默認值直接省略或傳None想顯式設為空字符串則必須傳。pandas UDF 接收可空整型列時使用擴展 dtype當 pandas UDF 的輸入批次包含空值時可空整型列會以 pandas 可空整型擴展 dtypeInt8/Int16/Int32/Int64交付而不再是float64。依賴float64輸入假設的 UDF 代碼需要更新。相關配置spark.sql.execution.pythonUDF.pandas.preferIntExtensionDtype默認false見 SQLConf.scala可影響整型在 Pandas UDF 執(zhí)行時的 dtype 選擇。3.4 數(shù)據(jù)源與流式讀取的嚴格化校驗Python Data Source 返回的 Arrow 數(shù)據(jù)與聲明 schema 類型不匹配時報DATA_SOURCE_RETURN_SCHEMA_MISMATCH。此前只有列數(shù)與列名不匹配會報該錯4.2 起列類型不匹配同樣觸發(fā)。該錯誤條件登記在 python/pyspark/errors/error-conditions.json并由 python/pyspark/sql/worker/plan_data_source_read.py 在 worker 側校驗觸發(fā)對應測試見 python/pyspark/sql/tests/test_python_datasource.py。修復方式讓數(shù)據(jù)源返回的數(shù)據(jù)類型與聲明 schema 嚴格一致。SimpleDataSourceStreamReader.read()返回非空批次但 end offset 未推進時報SIMPLE_STREAM_READER_OFFSET_DID_NOT_ADVANCE不再無限重放同一批次并膨脹預取緩存。錯誤條件同樣登記在 error-conditions.json測試用例見 python/pyspark/sql/tests/test_python_streaming_datasource.py。修復方式確保返回的 end offset 至少推進到超過最后一條記錄。3.5 其他行為變更SparkSession.createDataFrame從 NumPyndarray創(chuàng)建時要求 PyArrow而非 pandas數(shù)據(jù)會直接轉換為 Arrow 而不是先經(jīng)過 pandas。使用前請安裝 PyArrow如果之前禁用 Arrow 且依賴基于 NumPy dtype 的 schema 推斷需要復核推斷結果——現(xiàn)在遵循 Arrow 的類型映射。pandas API on Spark 的DataFrame.drop與Series.drop語義對齊 pandas只要指定的標簽中有一個缺失就拋KeyError此前是全部缺失才拋。建議先確認標簽存在、先過濾出存在的標簽或傳入errorsignore。四、升級到 PySpark 4.1自 4.04.1 依賴門檻提升Python 3.9 支持被移除PyArrow 最低版本從 11.0.0 提升到 15.0.0Pandas 最低版本從 2.0.0 提升到 2.2.0。4.2 Arrow UDF 行為修正與還原開關DataFrame.__getitem__在 Spark Connect Python 客戶端中不再急切校驗列名恢復方式同樣是設置PYSPARK_VALIDATE_COLUMN_NAME_LEGACY1。Arrow 優(yōu)化的 Python UDF 現(xiàn)在支持 UDT用戶自定義類型輸入/輸出不再回退到普通 UDF。要恢復舊的回退行為設置spark.sql.execution.pythonUDF.arrow.legacy.fallbackOnUDTtrue。該內部配置定義于 SQLConf.scala默認false。移除不必要的 pandas 實例轉換當spark.sql.execution.pythonUDF.arrow.enabled啟用時JVM 與 Python worker 之間的反序列化不再做額外的 pandas 轉換導致“產(chǎn)出 schema 與聲明 schema 不一致”時的類型強制轉換type coercion行為發(fā)生變化?；謴团f行為需開啟內部配置spark.sql.legacy.execution.pythonUDF.pandas.conversion.enabled默認false見 SQLConf.scala。UDTF 有完全對應的spark.sql.legacy.execution.pythonUDTF.pandas.conversion.enabledL5596-L5605。spark.sql.execution.pandas.convertToArrowArraySafely默認開啟。啟用后PyArrow 會在整數(shù)溢出、浮點截斷、精度損失等不安全轉換時拋錯影響 Arrow 啟用的 UDF/pandas_udf 的返回序列化以及 PySpark DataFrame 的創(chuàng)建?；謴团f行為需設為false。該配置定義于 SQLConf.scala 附近。4.3 BinaryType 與 Python bytes 的統(tǒng)一映射BinaryType默認統(tǒng)一映射為 Pythonbytes。恢復舊行為需設置spark.sql.execution.pyspark.binaryAsBytesfalse定義見 SQLConf.scala默認true。4.1.0 之前各場景下BinaryType對應的 Python 類型如下表場景BinaryType對應的 Python 類型未啟用 Arrow 優(yōu)化的普通 UDF 與 UDTFbytearrayDataFrame APISpark Classic 與 Spark Connectbytearray數(shù)據(jù)源bytearray啟用 Arrow 優(yōu)化且?guī)?pandas 轉換的 UDF 與 UDTFbytes4.4 pandas API on Spark 的 ANSI 模式compute.ansi_mode_support默認True時pandas API on Spark 可在 ANSI 模式下工作原有的保護開關compute.fail_on_ansi_mode仍然保留但只在compute.ansi_mode_supportFalse時才生效。五、升級到 PySpark 4.0自 3.55.1 依賴門檻提升Python 3.8 支持被移除Pandas 最低版本從 1.0.5 提升到 2.0.0NumPy 最低版本從 1.15 提升到 1.21PyArrow 最低版本從 4.0.0 提升到 11.0.0。5.2 pandas API on Spark 的 API 移除與改名清單4.0 對 pandas API on Spark 做了一次大規(guī)模清理主要分三類整體移除改用替代 API移除項替代方案Int64Index、Float64Index直接使用IndexDataFrame.iteritems/Series.iteritemsDataFrame.items/Series.itemsDataFrame.append/Series.appendps.concatDataFrame.mad/Series.mad無Index.factorize/Series.factorize的na_sentinel參數(shù)改用use_na_sentinelDataFrame.koalasDataFrame.pandas_on_sparkDataFrame.to_koalas/DataFrame.to_pandas_on_sparkDataFrame.pandas_apipyspark.testing.assertPandasOnSparkEqualpyspark.pandas.testing.assert_frame_equalDataFrame.to_spark_ioDataFrame.spark.to_spark_ioIndex.asi8Index.astypeIndex.is_type_compatibleIndex.isinIndex.is_monotonic/Series.is_monotonicis_monotonic_increasing系列方法DataFrame.get_dtype_countsDataFrame.dtypes.value_counts()DataFrameGroupBy.backfill/.padDataFrameGroupBy.bfill/.ffillIndex.is_all_dates無DatatimeIndex.week/.weekofyear、Series.dt.week/.weekofyearDatetimeIndex.isocalendar().week/Series.dt.isocalendar().week參數(shù)移除DataFrame.between_time/Series.between_time移除include_start、include_end改用inclusiveSeries.betweeninclusive不再接受布爾值改用both/neitherDataFrame.plot/Series.plot移除sort_columnsps.read_csv/ps.read_excel移除squeezeDataFrame.info移除null_counts改用show_countsDataFrame.to_latex/Series.to_latex移除col_spaceDataFrame.to_excel/Series.to_excel移除encoding、verboseread_csv/read_excel移除mangle_dupe_colsread_excel另移除convert_floatCategorical.*與CategoricalIndex.*系列方法移除inplace參數(shù)ps.date_range移除closed參數(shù)。行為變化DatetimeIndex的day、month、year等日期屬性由int64變?yōu)閕nt32Series.str.replace的regex參數(shù)默認值由True改為False且當regexTrue時單個字符的pat被當作正則表達式而非字符串字面量value_counts的結果名稱固定為countnormalizeTrue時為proportion索引以原對象命名MultiIndex.append不再保留索引名DataFrameGroupBy.agg傳入列表時遵守as_indexFalseDataFrame.stack保證保留既有列順序不再按字典序排序對 decimal 類型對象應用astype時缺失值的轉換結果由False變?yōu)門rue日期時間別名Y、M、H、T、S被棄用改用YE、ME、h、min、s。5.3 schema 推斷、通配導入與 ANSI 模式map 列的 schema 推斷改為合并所有鍵值對的 schema。要恢復“僅從第一個非空鍵值對推斷”的舊行為設置spark.sql.pyspark.legacy.inferMapTypeFromFirstPair.enabledtrue內部配置定義見 SQLConf.scala。這與 3.4 引入的數(shù)組列推斷開關spark.sql.pyspark.legacy.inferArrayTypeFromFirstElement.enabledL7646-L7653是一對共同決定SparkSession.createDataFrame的集合類型推斷粒度。compute.ops_on_diff_frames默認開啟支持跨不同 DataFrame 的運算恢復舊行為需設為false。DataFrame.collect不再返回YearMonthIntervalType的底層整數(shù)恢復舊行為需設置環(huán)境變量PYSPARK_YM_INTERVAL_LEGACY1。from pyspark.sql.functions import *不再導入非函數(shù)對象。DataFrame、Column、StructType等需要分別從pyspark.sql、pyspark.sql.types等模塊顯式導入。ANSI 模式與 pandas API on Spark 的沖突處理Spark 4.0 默認啟用 ANSI 模式而 pandas API on Spark 在 ANSI 模式下無法正常工作并會拋異常。兩種處理方式顯式設置spark.sql.ansi.enabledfalse禁用 ANSI 模式或將 pandas-on-spark 選項compute.fail_on_ansi_mode設為False強制運行可能引發(fā)意外行為。六、更早版本升級要點3.5 及以前6.1 自 PySpark 3.3 升級到 3.4數(shù)組列的 schema 推斷改為合并所有元素的 schema恢復“僅從第一個元素推斷”需設置spark.sql.pyspark.legacy.inferArrayTypeFromFirstElement.enabledtrue內部配置默認false見 SQLConf.scala。Groupby.apply的func未指定返回類型且compute.shortcut_limit0時采樣行數(shù)固定為 2以保證 schema 推斷準確。Index.insert越界時拋IndexError信息形如index {} is out of bounds for axis 0 with size {}對齊 pandas 1.4。Series.mode保留 series 名稱Index.__setitem__先檢查value是否為Column類型避免is_list_like拋意外的ValueError。astype(category)會根據(jù)原始數(shù)據(jù) dtype 刷新categories.dtypeGroupBy.head/GroupBy.tail支持位置索引負數(shù)參數(shù)語義正確此前返回空 frame。groupby.apply的 schema 推斷會先推斷 pandas 類型以保證 dtype 精度Series.concat尊重sort參數(shù)DataFrame.__setitem__會復制并替換既有數(shù)組不再覆寫原數(shù)組。SparkSession.sql與 pandas API on Spark 的sql新增args參數(shù)支持具名參數(shù)綁定到 SQL 字面量。pandas API on Spark 全面跟隨 pandas 2.0相關 API 的棄用/移除詳見 pandas 官方 release notes。移除對collections.namedtuple的自定義 monkey-patch默認使用cloudpickle若遇到相關 pickling 問題設置環(huán)境變量PYSPARK_ENABLE_NAMEDTUPLE_PATCH1恢復舊行為。6.2 自 PySpark 3.2 升級到 3.3pyspark.pandas.sql方法遵循 Python 標準字符串格式化語法恢復舊行為需設置PYSPARK_PANDAS_SQL_LEGACY1。pandas API on Spark 的drop方法支持按 index 刪除行且默認改為按行刪除而非按列。Pandas 最低版本從 0.23.2 提升到 1.0.5。SQL 數(shù)據(jù)類型的repr返回值改為可通過eval還原出等價對象。6.3 自 PySpark 3.1 升級到 3.2sql、ml、spark_on_pandas模塊的方法在參數(shù)類型不匹配時拋TypeError而非ValueError。Python UDF、pandas UDF 與 pandas function API 的 traceback 默認簡化不再打印內部 Python worker 的堆?；謴团f行為需設置spark.sql.execution.pyspark.udf.simplifiedTraceback.enabledfalse。默認啟用 pinned thread 模式每個 Python 線程映射到對應的 JVM 線程避免多個 Python 線程共享一個 JVM 線程的 thread-local。建議配合pyspark.InheritableThread或pyspark.inheritable_thread_target使用以正確繼承 JVM 線程的可繼承屬性如 local properties并避免資源泄漏?；謴团f行為需設置PYSPARK_PIN_THREADfalse。6.4 自 PySpark 2.4 升級到 3.0使用 pandas 相關功能toPandas、從 pandas DataFrame 創(chuàng)建 DataFrame 等要求 Pandas ≥ 0.23.2使用 PyArrow 相關功能pandas_udf、toPandas、createDataFrame配合spark.sql.execution.arrow.enabledtrue等要求 PyArrow ≥ 0.12.1。SparkSession.builder.getOrCreate()不再嘗試用 builder 中的配置更新已存在的SparkContext與 Java/Scala API 自 2.3 起行為一致如需更新配置須在創(chuàng)建SparkSession之前完成。Arrow 優(yōu)化下PyArrow 0.11.0 時可通過spark.sql.execution.pandas.convertToArrowArraySafelytrue開啟安全類型轉換默認false。不同版本/配置下的行為PyArrow 版本整數(shù)溢出浮點截斷0.11.0 及以下拋錯靜默允許 0.11.0arrowSafeTypeConversionfalse靜默溢出靜默允許 0.11.0arrowSafeTypeConversiontrue拋錯拋錯createDataFrame(..., verifySchemaTrue)開始校驗LongType此前不校驗溢出時得到None可通過verifySchemaFalse關閉校驗。Row按命名參數(shù)構造時字段順序與輸入一致Python ≥ 3.6不再按字母序排序需要恢復排序時設置環(huán)境變量PYSPARK_ROW_FIELD_SORTING_ENABLEDtrue必須在所有 driver 與 executor 上保持一致否則可能引發(fā)失敗或錯誤結果。pyspark.ml.param.shared.Has*混入類不再提供set*(self, value)方法改用self.set(self.*, value)。6.5 更早期版本2.x 與 1.x2.3→2.4Arrow 優(yōu)化開啟時toPandas與從 Pandas DataFrame 創(chuàng)建 DataFrame 默認允許回退到非優(yōu)化路徑此前toPandas直接失敗可通過spark.sql.execution.arrow.fallback.enabled關閉回退。2.3.0→2.3.1Arrow 功能pandas_udf、toPandas/createDataFrame配合spark.sql.execution.arrow.enabledtrue被標記為實驗性不建議在生產(chǎn)使用。2.2→2.3pandas 相關功能要求 Pandas ≥ 0.19.2時間戳行為改為尊重會話時區(qū)恢復舊行為設spark.sql.execution.pandas.respectSessionTimeZonefalsena.fill()/fillna支持布爾值替換 nulldf.replace在to_replace不是字典時不允許省略value。1.4→1.5字符串解析列支持用點號.限定列名或訪問嵌套值如df[table.column.nestedField]但列名中含點號時必須用反引號轉義如table.column.with.dots.nestedwithColumn支持新增或替換同名列。1.0–1.2→1.3Python 中使用 DataTypes 時必須構造實例如StringType()不再引用單例。七、遷移開關速查表將全文涉及的恢復開關匯總如下便于升級排查時快速定位源碼定義見 SQLConf.scala類型鍵名影響的版本變更默認值SQL 配置spark.sql.execution.arrow.pyspark.enabled4.2 起默認啟用 Arrow 列式交換trueSQL 配置spark.sql.execution.pythonUDF.arrow.enabled4.2 起 UDF 默認 Arrow 優(yōu)化trueSQL 配置spark.sql.execution.pythonUDTF.arrow.enabled4.2 起 UDTF 默認 Arrow 優(yōu)化trueSQL 配置spark.sql.execution.pythonUDF.arrow.legacy.fallbackOnUDT4.1 UDT 回退舊行為falseSQL 配置spark.sql.legacy.execution.pythonUDF.pandas.conversion.enabled4.1 恢復 pandas 轉換falseSQL 配置spark.sql.legacy.execution.pythonUDTF.pandas.conversion.enabled4.1 恢復 pandas 轉換falseSQL 配置spark.sql.execution.pyspark.binaryAsBytes4.1BinaryType→bytes映射trueSQL 配置spark.sql.execution.pandas.convertToArrowArraySafely4.1 安全類型轉換trueSQL 配置spark.sql.pyspark.legacy.inferMapTypeFromFirstPair.enabled4.0 map schema 推斷falseSQL 配置spark.sql.pyspark.legacy.inferArrayTypeFromFirstElement.enabled3.4 array schema 推斷falseSQL 配置compute.ops_on_diff_frames4.0 跨 frame 運算trueSQL 配置spark.sql.ansi.enabled4.0 ANSI 模式trueSQL 配置spark.sql.execution.pyspark.udf.simplifiedTraceback.enabled3.2 簡化 tracebacktrue環(huán)境變量PYSPARK_VALIDATE_COLUMN_NAME_LEGACY4.1/4.2 列名急切校驗未設置環(huán)境變量PYSPARK_YM_INTERVAL_LEGACY4.0YearMonthIntervalType底層整數(shù)未設置環(huán)境變量PYSPARK_ENABLE_NAMEDTUPLE_PATCH3.4 namedtuple patch未設置環(huán)境變量PYSPARK_PANDAS_SQL_LEGACY3.3pyspark.pandas.sql格式化未設置環(huán)境變量PYSPARK_PIN_THREAD3.2 pinned thread未設置環(huán)境變量PYSPARK_ROW_FIELD_SORTING_ENABLED3.0Row字段排序未設置八、升級實踐建議先核對運行時版本確認 Python≥ 3.11自 4.3 起、PyArrow≥ 18.0.0自 4.2 起、Pandas≥ 2.2.0自 4.1 起、NumPy≥ 1.21自 4.0 起滿足目標版本門檻并統(tǒng)一 driver 與 executor 的 Python 環(huán)境。將 Arrow 作為第一公民對待4.2 起 Arrow 已是 PySpark 數(shù)據(jù)交換與 UDF/UDTF 執(zhí)行的默認路徑。升級前先用小規(guī)模任務驗證 Arrow 路徑下的類型映射尤其是BinaryType、可空整型 dtype、decimal 與時間類型再把spark.sql.execution.pandas.convertToArrowArraySafelytrue下的溢出報錯視為需要修復的數(shù)據(jù)問題而非可繞過的偶發(fā)異常。用“恢復開關”做灰度對存量作業(yè)可按上表在提交參數(shù)spark-submit --conf或spark-defaults.conf中臨時恢復舊行為逐項消除行為差異后再移除開關避免“一步到位”式升級導致的問題難以定位。重點回歸 pandas API on Spark4.0 的大規(guī)模 API 清理對依賴ps的代碼影響最大建議在升級前用pylint/靜態(tài)掃描找出已移除的 API 與參數(shù)并對照上文替換清單逐一改寫。關注 Spark Connect 客戶端差異__getattr__/__getitem__列名校驗放寬與option(s)的None過濾意味著依賴“取屬性即拋錯”或“傳None即寫 null”的代碼需要顯式調整。數(shù)據(jù)源與流式應用確保 Python Data Source 返回的 Arrow 數(shù)據(jù)類型與聲明 schema 一致、SimpleDataSourceStreamReader的 end offset 正確推進否則 4.2 起會以明確錯誤碼DATA_SOURCE_RETURN_SCHEMA_MISMATCH、SIMPLE_STREAM_READER_OFFSET_DID_NOT_ADVANCE失敗。這些錯誤碼統(tǒng)一定義在 python/pyspark/errors/error-conditions.json便于在文檔與日志中檢索?！久赓M下載鏈接】sparkApache Spark - A unified analytics engine for large-scale data processing項目地址: https://gitcode.com/gh_mirrors/sp/spark創(chuàng)作聲明：本文部分內容由AI輔助生成（AIGC），僅供參考