Parquet格式和XML格式如何互相转换_技术教程

Parquet与XML本质不同，无直接转换协议，需通过pandas DataFrame桥接：Parquet→XML用read_parquet()+to_xml()（扁平）或xml.etree/lxml（嵌套）；XML→Parquet用xmltodict解析后转DataFrame再to_parquet()。

Parquet 和 XML 是两类根本不同的数据格式：前者是二进制列式存储，面向高性能分析；后者是文本型树状标记语言，面向可读性与跨系统交换。它们之间没有直接互转协议或原生转换器，必须通过中间结构（通常是内存中的 dict 或 DataFrame）桥接。

用 Python + pandas 实现 Parquet ↔ XML 的实际路径

这是目前最稳定、可控、适合中小规模数据的方案。核心思路是：先读成 pandas.DataFrame（统一中间表示

），再分别导出为目标格式。

Parquet → XML：用 pandas.read_parquet() 加载，再遍历行构造 xml.etree.ElementTree 或用 lxml 生成带命名空间/嵌套的 XML；若只需扁平结构，也可用 to_xml()（pandas ≥ 1.3.0）
XML → Parquet：先解析 XML 成 list[dict]（推荐 xmltodict 或 lxml.objectify），再转成 DataFrame，最后调用 to_parquet()
注意：pandas 的 to_xml() 不支持嵌套结构（如 Shanghai），遇到复杂层级必须手写生成逻辑
大文件（>500MB）慎用全量加载到内存——XML 解析易 OOM，Parquet 读取虽快但反序列化后 DataFrame 占用翻倍

import pandas as pd
import xmltodict
XML → Parquet 示例（假设 XML 是扁平列表结构）
with open("data.xml", "r") as f:
xml_data = xmltodict.parse(f.read())
df = pd.DataFrame(xml_data["root"]["record"])  # 根据实际 XML 结构调整 key
df.to_parquet("output.parquet", index=False)
Parquet → XML 示例（使用 pandas 内置 to_xml，仅限简单 flat schema）
df = pd.read_parquet("input.parquet")
df.to_xml("output.xml", root_name="records", row_name="record", xml_declaration=True)

为什么不能用 Spark 或 Hive 直接转？

Spark 支持 read.parquet() 和 write.xml()（需第三方包 spark-xml），但二者生态割裂：

spark-xml 只支持从 XML 读取，不支持写入；且对重复标签、混合文本+子元素等常见 XML 模式支持极弱
Hive / Impala 完全不支持 XML 作为表存储格式（STORED AS XML 不存在），只能把 XML 当作 STRING 字段存，失去结构意义
在 Azure Data Factory 或 Fabric 中，XML 连接器仅支持“扁平化”解析（即 XPath 提取单层字段），无法还原原始嵌套结构，更无法反向生成合法 XML

换句话说：只要 XML 含有任意嵌套、属性、命名空间或混合内容，Spark/Hive 就不是可行路径。

常见报错和坑点直击

实操中最容易卡在类型映射和空值处理上：

ParquetMissedDecimalPrecisionScale：当 Parquet 文件中某列为 decimal 但 schema 缺少 precision/scale 元信息，pandas 会默认转成 float64，再导出 XML 时精度丢失（如 123.450 变成 123.45）。解决：读取时强制指定 dtype，或用 pyarrow 引擎保留 decimal
xml.etree.ElementTree.ParseError: not well-formed：常因 XML 原文含未转义字符（如 &, , ]]>）。别自己 replace，改用 lxml.etree.fromstring() 并设置 recover=True
中文乱码：XML 声明里写的是 encoding="GBK"，但 Python 默认按 UTF-8 打开。务必显式传 encoding="gbk" 给 open()
XML 导出后无换行缩进：pandas to_xml() 不支持美化。如需可读 XML，得用 xml.dom.minidom 重新格式化字符串

什么时候该放弃互转？

如果 XML 是配置类、文档类或含大量注释/处理指令（）、CDATA 块、DTD 声明——这些语义在 Parquet 中完全无法表达，硬转只会丢信息。同理，Parquet 中的 LIST、MAP、STRUCT 类型也无法一对一映射到 XML 元素关系。

真正需要的往往不是“格式转换”，而是“语义等价的数据提取”。比如：从 XML 日志中抽取出 timestamp、event_type、user_id 三列，存为 Parquet 供分析——这时你只需要 XPath 或 xmltodict 提取字段，而不是试图把整个 XML 树塞进 Parquet。