Spark parquet merge metadata问题

【广告位】文章头部(标题下方、正文上方)

在spark sql 1.2.x当中存在一个问题:

当我们尝试在一个查询中访问多个parquet文件时,如果这些parquet文件中的字段名和类型是完全一致的、只是字段的顺序不一样,例如一个文件中是name string, id int,另一个文件是id int, name string时,查询会报错,抛出metadata merge的异常。

在1.3当中,这个问题其实已经解决。那么在1.2.x中解决的办法是:

在spark源码的sql/core/src/main/scala/org/apache/spark/sql/parquet/ParquetTableOperations.scala文件中,找到override def getSplits(configuration: Configuration, footers: JList[Footer]): JList[ParquetInputSplit]这个方法,在如下这段代码之前:

if (globalMetaData == null) {
    val splits = mutable.ArrayBuffer.empty[ParquetInputSplit]
    return splits
    }

将val globalMetaData改成 var globalMetaData

在上面这段代码之后加上如下几行:

val startTime = System.currentTimeMillis();
val metadata = configuration.get(RowWriteSupport.SPARK_ROW_SCHEMA)
val mergedMetadata = globalMetaData.getKeyValueMetaData.updated(RowReadSupport.SPARK_METADATA_KEY, setAsJavaSet(Set(metadata)))
globalMetaData = new GlobalMetaData(globalMetaData.getSchema, mergedMetadata, globalMetaData.getCreatedBy)
val endTime = System.currentTimeMillis();
logInfo("\n*** updated globalMetadata in " + (endTime - startTime) + " ms. ***\n");

【广告位】文章正文中间
本文已展示 50% · 完整内容需验证码解锁

关注公众号,解锁完整文章

微信扫码关注 星哥玩云, 在公众号对话框回复关键词 星哥玩云博客 获取验证码。输入后即可阅读全文, 一次解锁全站文章通用。

星哥玩云 微信公众号二维码
微信扫一扫 / 长按识别,关注「星哥玩云」
【广告位】文章底部(正文结束、评论区上方)
评论功能已在静态化后停用 · 返回顶部 ↑