講師介紹：

個(gè)人簡(jiǎn)介：

Apache Spark PMC member，Spark SQL 開(kāi)發(fā)團(tuán)隊(duì)成員。2013年從浙江大學(xué)畢業(yè)后，一直在進(jìn)行分布式系統(tǒng)相關(guān)的工作。2014年開(kāi)始接觸 Spark，并成為最活躍的代碼貢獻(xiàn)者之一。2015年正式加入 databricks，成為 databricks 中國(guó)分部（籌建中）的第一名員工，主要負(fù)責(zé)開(kāi)源社區(qū)方面的工作，例如：審查其他社區(qū)成員提交的PR，主導(dǎo) Spark SQL 一些主要功能的設(shè)計(jì)和研發(fā)，定期審計(jì)項(xiàng)目代碼質(zhì)量等。

主題摘要：

Spark SQL 作為 Spark 的基礎(chǔ)框架，已經(jīng)有了廣泛的用戶基礎(chǔ)，并且經(jīng)歷了一段漫長(zhǎng)的開(kāi)發(fā)歷史。本次議題將會(huì)帶領(lǐng)大家回顧一下 Spark SQL的演進(jìn)歷史，以及目前的現(xiàn)狀，和未來(lái)的一些展望，幫助大家更好的理解 Spark SQL 的一些設(shè)計(jì)決策以及使用場(chǎng)景。

個(gè)人簡(jiǎn)介：

李昆，華為技術(shù)有限公司大數(shù)據(jù)軟件架構(gòu)師。2004年加入華為，長(zhǎng)期從事電信協(xié)議、業(yè)務(wù)智能化、數(shù)據(jù)可視化、用戶行為分析等系統(tǒng)研究和開(kāi)發(fā)工作。近年致力于大數(shù)據(jù)技術(shù)研究，參與Hadoop、Spark、Alluxio等開(kāi)源社區(qū)，2016年作為CarbonData PMC成員參與Apache CarbonData項(xiàng)目孵化，尋求大數(shù)據(jù)與一站式分析平臺(tái)的創(chuàng)新機(jī)會(huì)點(diǎn)。

主題摘要：

Apache CarbonData是一種新的高性能數(shù)據(jù)存儲(chǔ)，針對(duì)當(dāng)前大數(shù)據(jù)領(lǐng)域分析場(chǎng)景需求各異而導(dǎo)致的存儲(chǔ)冗余問(wèn)題，CarbonData提供了一種新的融合數(shù)據(jù)存儲(chǔ)方案，以一份數(shù)據(jù)同時(shí)支持大數(shù)據(jù)分析的多種應(yīng)用場(chǎng)景(如：“任意維度組合的數(shù)據(jù)查詢分析、快速掃描、詳單查詢、數(shù)據(jù)更新刪除等”)，并通過(guò)多級(jí)索引、字典編碼、列存等特性提升了IO掃描和計(jì)算性能，實(shí)現(xiàn)百億數(shù)據(jù)級(jí)秒級(jí)響應(yīng)。`
CarbonData開(kāi)源后，受到全球大數(shù)據(jù)技術(shù)愛(ài)好者高度關(guān)注；截止到目前為止，全球已有100+開(kāi)發(fā)者參與了代碼貢獻(xiàn)，有10+家企業(yè)上線生產(chǎn)系統(tǒng)。 ?

個(gè)人簡(jiǎn)介：

王振華，現(xiàn)任華為公司研究工程師，致力于構(gòu)建高性能大數(shù)據(jù)查詢分析平臺(tái)。在此之前，博士畢業(yè)于浙江大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，研究方向涉及空間數(shù)據(jù)庫(kù)、信息檢索、數(shù)據(jù)挖掘。

主題摘要：

在Spark SQL的Catalyst優(yōu)化器中，許多基于規(guī)則的優(yōu)化技術(shù)已經(jīng)實(shí)現(xiàn)，但優(yōu)化器本身仍然有很大的改進(jìn)空間。例如，沒(méi)有關(guān)于數(shù)據(jù)分布的詳細(xì)列統(tǒng)計(jì)信息，因此難以精確地估計(jì)過(guò)濾（filter）、連接（join）等數(shù)據(jù)庫(kù)操作符的輸出大小和基數(shù) (cardinality)。由于不準(zhǔn)確的估計(jì)，它經(jīng)常導(dǎo)致優(yōu)化器產(chǎn)生次優(yōu)的查詢執(zhí)行計(jì)劃。
在Spark 2.2中，在Spark SQL引擎內(nèi)添加了一個(gè)基于成本的優(yōu)化器框架，此框架計(jì)算每個(gè)數(shù)據(jù)庫(kù)操作符的基數(shù)和輸出大小。通過(guò)可靠的統(tǒng)計(jì)和精確的估算，能夠在這些領(lǐng)域做出好的決定：選擇散列連接（hash join）操作的正確構(gòu)建端（build side），選擇正確的連接算法（如broadcast hash join與 shuffled hash join），調(diào)整連接的順序等等。在這次演講中，我們將展示Spark SQL的新的基于成本的優(yōu)化器框架及其對(duì)TPC-DS查詢的性能影響。

個(gè)人簡(jiǎn)介：

現(xiàn)任上汽集團(tuán)數(shù)據(jù)業(yè)務(wù)部大數(shù)據(jù)平臺(tái)開(kāi)發(fā)經(jīng)理，目前主要專注于大數(shù)據(jù)平臺(tái)架構(gòu)，數(shù)據(jù)存儲(chǔ)、壓縮、索引以及實(shí)時(shí)流數(shù)據(jù)處理等領(lǐng)域的研究及應(yīng)用。曾負(fù)責(zé)某金融行業(yè)公司ETL、BI系統(tǒng)開(kāi)發(fā)，某互聯(lián)網(wǎng)電商公司的數(shù)據(jù)倉(cāng)庫(kù)容量管理，性能調(diào)優(yōu)等。熱衷開(kāi)源技術(shù)研究，Apache CarbonData社區(qū)貢獻(xiàn)者。

主題摘要：

CarbonData的partition特性將在Apache CarbonData 1.2.0版本里正式發(fā)布，此特性將顯著提升大數(shù)據(jù)查詢性能。上汽集團(tuán)大數(shù)據(jù)將CarbonData作為平臺(tái)基礎(chǔ)組件，以應(yīng)對(duì)迅猛增長(zhǎng)的數(shù)據(jù)量，本議題將分享上汽集團(tuán)在CarbonData項(xiàng)目的實(shí)踐和測(cè)試數(shù)據(jù)。