在當(dāng)今數(shù)據(jù)驅(qū)動(dòng)的時(shí)代，F(xiàn)acebook（現(xiàn)Meta）與亞馬遜（Amazon）作為全球科技巨頭，其海量、高并發(fā)、多元化的業(yè)務(wù)場(chǎng)景對(duì)數(shù)據(jù)處理與存儲(chǔ)提出了前所未有的挑戰(zhàn)。它們并非依賴單一的數(shù)據(jù)庫(kù)解決方案，而是構(gòu)建了一套高度復(fù)雜、分層且自研與開源相結(jié)合的技術(shù)體系。本文將深入剖析這兩家公司如何構(gòu)建其數(shù)據(jù)庫(kù)基礎(chǔ)設(shè)施，以及它們提供的數(shù)據(jù)處理和存儲(chǔ)服務(wù)。
一、Facebook：從單體到分布式，自研體系的演進(jìn)
Facebook的業(yè)務(wù)核心是社交圖譜和實(shí)時(shí)互動(dòng)，其數(shù)據(jù)特點(diǎn)是：關(guān)系復(fù)雜、寫操作頻繁、讀取需求極高且要求低延遲。
- 核心存儲(chǔ)引擎：
- 早期階段： 最初依賴于開源的關(guān)系型數(shù)據(jù)庫(kù)MySQL。但面對(duì)指數(shù)級(jí)增長(zhǎng)，F(xiàn)acebook對(duì)MySQL進(jìn)行了深度定制和優(yōu)化，例如開發(fā)了在線模式變更工具、構(gòu)建了跨數(shù)據(jù)中心的復(fù)制架構(gòu)，并將其作為許多核心業(yè)務(wù)（如用戶資料、帖子）的底層存儲(chǔ)。
- 自研突破——Tao： 為解決社交圖譜查詢的擴(kuò)展性問(wèn)題，F(xiàn)acebook開發(fā)了Tao，這是一個(gè)分布式的、最終一致性的圖形數(shù)據(jù)存儲(chǔ)系統(tǒng)。它作為緩存層位于MySQL之上，專門為讀取優(yōu)化，能處理每秒數(shù)十億次的查詢，是支撐News Feed等功能的幕后英雄。
- 時(shí)序與日志數(shù)據(jù)： 對(duì)于監(jiān)控、日志等時(shí)序數(shù)據(jù)，F(xiàn)acebook開發(fā)了Gorilla（內(nèi)存時(shí)序數(shù)據(jù)庫(kù)）和其繼承者Beringei，實(shí)現(xiàn)了極高的壓縮率和查詢速度。后來(lái)，這部分需求也逐漸整合到更通用的系統(tǒng)中。
- 大數(shù)據(jù)處理與分析棧：
- 批處理： Facebook是Apache Hadoop和Hive（其開發(fā)并開源）的早期重度使用者，用于海量數(shù)據(jù)的離線分析和機(jī)器學(xué)習(xí)訓(xùn)練。
- 流處理： 為處理實(shí)時(shí)數(shù)據(jù)流，F(xiàn)acebook開發(fā)了Puma、Stylus等流處理系統(tǒng)，并最終將其經(jīng)驗(yàn)貢獻(xiàn)給了開源項(xiàng)目Apache Flink。
- 交互式查詢： 開發(fā)了Presto（已開源），這是一個(gè)分布式SQL查詢引擎，可以跨多種數(shù)據(jù)源（如HDFS、MySQL）進(jìn)行快速的交互式分析。
- 數(shù)據(jù)存儲(chǔ)服務(wù)化： 在內(nèi)部，F(xiàn)acebook通過(guò)統(tǒng)一的配置與部署系統(tǒng)和服務(wù)發(fā)現(xiàn)框架，將各種數(shù)據(jù)庫(kù)和存儲(chǔ)系統(tǒng)（如MySQL、Tao、Memcache）以服務(wù)的形式提供給內(nèi)部開發(fā)團(tuán)隊(duì)，簡(jiǎn)化了應(yīng)用開發(fā)的復(fù)雜性。
二、亞馬遜：從內(nèi)部需求到全球云服務(wù)
亞馬遜的數(shù)據(jù)挑戰(zhàn)來(lái)自兩方面：一是自身龐大的電商、物流、AWS和流媒體業(yè)務(wù)；二是其作為亞馬遜云科技（AWS） 的領(lǐng)導(dǎo)者，需要為全球客戶提供頂尖的數(shù)據(jù)服務(wù)。其路徑是從解決自身問(wèn)題，到將解決方案產(chǎn)品化、服務(wù)化。
- 核心業(yè)務(wù)數(shù)據(jù)庫(kù)的演進(jìn)：
- 亞馬遜的電商平臺(tái)最初也基于傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)，但很快遇到了擴(kuò)展瓶頸。這直接催生了其革命性的理念——去中心化服務(wù)架構(gòu)。每個(gè)服務(wù)（如購(gòu)物車、訂單）擁有自己的數(shù)據(jù)庫(kù)，通過(guò)API通信。
- 為此，亞馬遜開發(fā)了Dynamo（2007年論文發(fā)表），這是一個(gè)高可用、分區(qū)容忍的鍵值存儲(chǔ)系統(tǒng)，犧牲了強(qiáng)一致性以獲得極高的可用性和擴(kuò)展性。Dynamo論文深刻影響了NoSQL運(yùn)動(dòng)，催生了Cassandra等項(xiàng)目。
- Aurora： 當(dāng)亞馬遜自身和客戶仍需關(guān)系型數(shù)據(jù)庫(kù)的強(qiáng)大功能時(shí)，AWS推出了Amazon Aurora。它并非自用系統(tǒng)的直接開源，而是重新設(shè)計(jì)的一款云原生關(guān)系數(shù)據(jù)庫(kù)。它在商用硬件上構(gòu)建，將計(jì)算與存儲(chǔ)分離，日志即數(shù)據(jù)庫(kù)，實(shí)現(xiàn)了高性能、高可用和自動(dòng)擴(kuò)展，同時(shí)與MySQL/PostgreSQL兼容。
2. AWS：全方位的數(shù)據(jù)處理與存儲(chǔ)產(chǎn)品矩陣
亞馬遜將內(nèi)部經(jīng)驗(yàn)外化為全球領(lǐng)先的云數(shù)據(jù)服務(wù)，形成了完整的產(chǎn)品棧：
- 數(shù)據(jù)庫(kù)服務(wù)：
- 關(guān)系型： Aurora， RDS（托管MySQL/PostgreSQL等）。
- 鍵值/文檔： DynamoDB（Dynamo理念的產(chǎn)品化，全托管NoSQL）。
- 內(nèi)存： ElastiCache（Redis/Memcached）。
- 圖數(shù)據(jù)庫(kù)： Neptune。
- 時(shí)序數(shù)據(jù)庫(kù)： Timestream。
- 大數(shù)據(jù)處理：
- 存儲(chǔ)基礎(chǔ)： S3（簡(jiǎn)單存儲(chǔ)服務(wù)），對(duì)象存儲(chǔ)的事實(shí)標(biāo)準(zhǔn)，是數(shù)據(jù)湖的核心。
- 數(shù)據(jù)倉(cāng)庫(kù)： Redshift，基于大規(guī)模并行處理（MPP）的云數(shù)據(jù)倉(cāng)庫(kù)。
- 流處理： Kinesis，用于實(shí)時(shí)數(shù)據(jù)攝取和分析。
- ETL： Glue，無(wú)服務(wù)器數(shù)據(jù)集成服務(wù)。
- 交互式查詢： Athena，直接在S3上使用SQL查詢。
- 計(jì)算引擎： EMR（托管Hadoop/Spark/Flink等框架）。
三、核心理念與對(duì)比總結(jié)
- Facebook路徑： “問(wèn)題驅(qū)動(dòng)，自研優(yōu)先”。從具體業(yè)務(wù)痛點(diǎn)（社交圖譜、實(shí)時(shí)Feed）出發(fā)，深度定制開源軟件，并大力投入自研專用系統(tǒng)（Tao, Presto），最終形成服務(wù)于自身龐大生態(tài)的、高度優(yōu)化的混合技術(shù)棧。其重點(diǎn)在于應(yīng)對(duì)自身超大規(guī)模的特定負(fù)載。
- 亞馬遜路徑： “服務(wù)解耦，產(chǎn)品反哺”。早期因電商擴(kuò)展性需求催生了Dynamo等創(chuàng)新。其最大特色是將內(nèi)部最佳實(shí)踐和前瞻性設(shè)計(jì)，通過(guò)AWS轉(zhuǎn)化為標(biāo)準(zhǔn)化、全托管的云服務(wù)產(chǎn)品。它不僅服務(wù)于自身，更構(gòu)建了一個(gè)全球性的、可供任何規(guī)模企業(yè)使用的數(shù)據(jù)基礎(chǔ)設(shè)施市場(chǎng)。
- 共同點(diǎn)： 兩者都深刻理解“沒有銀彈”，采用多模數(shù)據(jù)庫(kù)策略；都極端重視可擴(kuò)展性、可用性和成本效益；都大力發(fā)展了批流一體的數(shù)據(jù)處理能力；并通過(guò)服務(wù)化將數(shù)據(jù)基礎(chǔ)設(shè)施的復(fù)雜性對(duì)應(yīng)用開發(fā)者隱藏。
總而言之，F(xiàn)acebook和亞馬遜的數(shù)據(jù)庫(kù)與數(shù)據(jù)處理體系，是其業(yè)務(wù)帝國(guó)得以運(yùn)轉(zhuǎn)和擴(kuò)張的基石。它們的實(shí)踐表明，在面對(duì)海量數(shù)據(jù)時(shí)，成功的策略是緊密結(jié)合業(yè)務(wù)需求，在通用與專用、開源與自研、集中與分布式之間做出精妙的權(quán)衡與創(chuàng)新，并最終通過(guò)工程化的服務(wù)交付，將數(shù)據(jù)的力量賦能給每一個(gè)開發(fā)者與用戶。
