spark
全新TECNO SPARK 9 Pro 运动版完美演绎格调、速度与激情
作者: 天天见闻 时间:2022-10-18 阅读: 180
传音旗下中高端品牌TECNO近日推出全新的SPARK 9 Pro 运动版智能手机。这款手机由宝马集团旗下全球创意咨询公司Designworks设计,从颜色、材质和饰面对SPARK 9 Pro 运动版进行了创意灵感创作,将其经典的汽车设计标志元素和奢华格调,与SPARK的新潮时尚属性相融合,打造了一款属于年轻人的标志性“掌上明机”,全新演绎年轻人喜欢的格调、速度和激情。SPARK 9 Pro运动版的三角形纹理,也让它从寻常的大功率手机变成可与一流豪华轿车媲美的轻潮科技代表。...
字节跳动开源自研 Shuffle 框架——Cloud Shuffle Service
作者: 天天见闻 时间:2022-08-27 阅读: 204
8 月 25 日，字节跳动宣布， 正式开源 Cloud Shuffle Service。 Cloud Shuffle Service（以下简称 CSS） 是字节自研的通用 Remote Shuffle Service 框架，支持 Spark/FlinkBatch/MapReduce 等计算引擎，提供了相比原生方案 稳定性更好、性能更高、更弹性的数据 Shuffle 能力，同时也 为存算分离 / 在离线混部等场景提供了 Remote Shuffle 解决方案。 目前，CSS 已在 Github 上开源，欢迎感兴趣的同学一起参与共建！...
Spark如何对源端数据做切分？
作者: 天天见闻 时间:2022-08-27 阅读: 206
简介： 典型的Spark作业读取位于OSS的Parquet外表时，源端的并发度（task/partition）如何确定？特别是在做TPCH测试时有一些疑问，如源端扫描文件的并发度是如何确定的？是否一个parquet文件对应一个partition？多个parquet文件对应一个partition？还是一个parquet文件对应多个partition？本文将从源码角度进行分析进而解答这些疑问。 引言 典型的Spark作业读取位于OSS的Parquet外表时，源端的并发度（task/partition）如何确定？特别是在做TPCH测试时有一些疑问，如源端扫描文件的并发度是如何确定的？是否一个parquet文件对应一个partition？多个parquet文件对应一个partition？还是一个parquet文件对应多个partition？本文将从源码角度进行分析进而解答这些疑问。...
