分享數:11電商行業技術特點;①技術新:(NoSql推廣首在社區網站和電商項目),發展快,需求推動技術的革新。②技術范圍廣:除了java,像淘寶前端還使用了PHP,數據庫MySQL或者oracle,nosql,服務器端使用Linux,服務器安全、系統安全③分布式:以前是在一臺機器上做運算,現在是分散到很多機器上,最后匯總起來。(集中式向分布式進行考慮)由需求來推動
④高并發、集群、負載均衡、高可用:由并發問題采用集群進行處理,其中,集群會涉及服務器的主從以及分布問題,使用負載均衡。(權重高低)高可用是對用戶而言,用戶的服務不中斷(系統升級,服務不中斷,淘寶每周更新2次)。⑤海量數據:雙11,570億的背后,訂單有多少?瀏覽次數有多少?商品會有多少?活動相關數據?⑥業務復雜:不要簡單的認為是:商品展示出來后,加入購物車后購買就完成了。后臺特別復雜,比如優惠(包郵、滿減)⑦系統安全:系統上線必須通過系統安全部門審核通過。前年CSDN數據泄露。快捷酒店數據泄露(通過身份證就可以查看你的開房記錄)。近幾年,安全意識逐步在提高。電商網站需求;客戶需求: 建立一個全品類的電子商務網站(B2C),用戶可以在線購買商品,可以在線支付,也可以貨到付款; 用戶購買時可以在線與客服溝通; 用戶收到商品后,可以給商品打分,評價; 目前有成熟的進銷存系統;需要與網站對接; 希望能夠支持3~5年,業務的發展; 預計3~5年用戶數達到1000萬; 定期舉辦雙11,雙12,三八男人節等活動; 其他的功能參考京東或國美在線等網站。客戶就是客戶,不會告訴你具體要什么,只會告訴你他想要什么,我們很多時候要引導,挖掘客戶的需求。好在提供了明確的參考網站。因此,下一步要進行大量的分析,結合行業,以及參考網站,給客戶提供方案。需求功能矩陣需求管理傳統的做法,會使用用例圖或模塊圖(需求列表)進行需求的描述。這樣做常常忽視掉一個很重要的需求(非功能需求),因此推薦大家使用需求功能矩陣,進行需求描述。圖片存儲的要求(海量小圖片)用戶可以在線購買商品會員管理,購物車,結算功能良好購物體驗(可用性,性能)在線支付或貨到付款多種在線支付方式支付過程要安全,數據加密(安全性)多種支付接口靈活切換(靈活性,擴展性)可以在線與客服溝通在線客服功能可靠性:即時通訊商品打分評價商品評論 目前有成熟的進銷存系統對接進銷存屬于約束條件對接時要考慮數據一致性,魯棒性支持3~5年,業務的發展 屬于約束條件伸縮性,可擴展性3~5年用戶數達到1000萬 約束條件舉辦雙11,雙12,三八男人節等活動活動管理,秒殺突增訪問流量(可伸縮)實時性要求(高性能)參考京東或國美在線 參考條件以上是對電商網站需求的簡單舉例,目的是說明(1)需求分析的時候,要全面,大型分布式系統重點考慮非功能需求;(2)描述一個簡單的電商需求場景,使大家對下一步的分析設計有個依據。、網站初級架構一般網站,剛開始的做法,是三臺服務器,一臺部署應用,一臺部署數據庫,一臺部署NFS文件系統。這是前幾年比較傳統的做法,之前見到一個網站10萬多會員,垂直服裝設計門戶,N多圖片。使用了一臺服務器部署了應用,數據庫以及圖片存儲。出現了很多性能問題。如下圖:但是,目前主流的網站架構已經發生了翻天覆地的變化。一般都會采用集群的方式,進行高可用設計。至少是下面這個樣子。(1) 使用集群對應用服務器進行冗余,實現高可用;(負載均衡設備可與應用一塊部署)使用數據庫主備模式,實現數據備份和高可用;、系統容量預估預估步驟: 注冊用戶數-日均UV量-每日的PV量-每天的并發量; 峰值預估:平常量的2~3倍; 根據并發量(并發,事務數),存儲容量計算系統容量。客戶需求:3~5年用戶數達到1000萬注冊用戶;每秒并發數預估: 每天的UV為200萬(二八原則); 每日每天點擊瀏覽30次; PV量:200*30=6000萬; 集中訪問量:24*0.2=4.8小時會有6000萬*0.8=4800萬(二八原則); 每分并發量:4.8*60=288分鐘,每分鐘訪問4800/288=16.7萬(約等于); 每秒并發量:16.7萬/60=2780(約等于); 假設:高峰期為平常值的三倍,則每秒的并發數可以達到8340次。 1毫秒=1.3次訪問;沒好好學數學后悔了吧?!(不知道以上算是否有錯誤,呵呵~~)服務器預估:(以tomcat服務器舉例) 按一臺web服務器,支持每秒300個并發計算。平常需要10臺服務器(約等于);[tomcat默認配置是150] 高峰期:需要30臺服務器;容量預估:70/90原則系統CPU一般維持在70%左右的水平,高峰期達到90%的水平,是不浪費資源,并比較穩定的。內存,IO類似。以上預估僅供參考,因為服務器配置,業務邏輯復雜度等都有影響。在此CPU,硬盤,網絡等不再進行評估。、網站架構分析
根據以上預估,有幾個問題: 需要部署大量的服務器,高峰期計算,可能要部署30臺Web服務器。并且這三十臺服務器,只有秒殺,活動時才會用到,存在大量的浪費。 所有的應用部署在同一臺服務器,應用之間耦合嚴重。需要進行垂直切分和水平切分。 大量應用存在冗余代碼 服務器SESSION同步耗費大量內存和網絡帶寬 數據需要頻繁訪問數據庫,數據庫訪問壓力巨大。大型網站一般需要做以下架構優化(優化是架構設計時,就要考慮的,一般從架構/代碼級別解決,調優主要是簡單參數的調整,比如JVM調優;如果調優涉及大量代碼改造,就不是調優了,屬于重構): 業務拆分 應用集群部署(分布式部署,集群部署和負載均衡) 多級緩存 單點登錄(分布式Session) 數據庫集群(讀寫分離,分庫分表) 服務化 消息隊列 其他技術、網站架構優化1業務拆分根據業務屬性進行垂直切分,劃分為產品子系統,購物子系統,支付子系統,評論子系統,客服子系統,接口子系統(對接如進銷存,短信等外部系統)。根據業務子系統進行等級定義,可分為核心系統和非核心系統。核心系統:產品子系統,購物子系統,支付子系統;非核心:評論子系統,客服子系統,接口子系統。業務拆分作用:提升為子系統可由專門的團隊和部門負責,專業的人做專業的事,解決模塊之間耦合以及擴展性問題;每個子系統單獨部署,避免集中部署導致一個應用掛了,全部應用不可用的問題。等級定義作用:用于流量突發時,對關鍵應用進行保護,實現優雅降級;保護關鍵應用不受到影響。2應用集群部署(分布式,集群,負載均衡)分布式部署:將業務拆分后的應用單獨部署,應用直接通過RPC進行遠程通信;集群部署:電商網站的高可用要求,每個應用至少部署兩臺服務器進行集群部署;負載均衡:是高可用系統必須的,一般應用通過負載均衡實現高可用,分布式服務通過內置的負載均衡實現高可用,關系型數據庫通過主備方式實現高可用。3 多級緩存緩存按照存放的位置一般可分為兩類本地緩存和分布式緩存。本案例采用二級緩存的方式,進行緩存的設計。一級緩存為本地緩存,二級緩存為分布式緩存。(還有頁面緩存,片段緩存等,那是更細粒度的劃分)一級緩存,緩存數據字典,和常用熱點數據等基本不可變/有規則變化的信息,二級緩存緩存需要的所有緩存。當一級緩存過期或不可用時,訪問二級緩存的數據。如果二級緩存也沒有,則訪問數據庫。緩存的比例,一般1:4,即可考慮使用緩存。(理論上是1:2即可)。4,單點登錄(分布式Session)系統分割為多個子系統,獨立部署后,不可避免的會遇到會話管理的問題。一般可采用Session同步,Cookies,分布式Session方式。電商網站一般采用分布式Session實現。再進一步可以根據分布式Session,建立完善的單點登錄或賬戶管理系統。流程說明 用戶第一次登錄時,將會話信息(用戶Id和用戶信息),比如以用戶Id為Key,寫入分布式Session; 用戶再次登錄時,獲取分布式Session,是否有會話信息,如果沒有則調到登錄頁; 一般采用Cache中間件實現,建議使用Redis,因此它有持久化功能,方便分布式Session宕機后,可以從持久化存儲中加載會話信息; 存入會話時,可以設置會話保持的時間,比如15分鐘,超過后自動超時;結合Cache中間件,實現的分布式Session,可以很好的模擬Session會話。數據庫集群(讀寫分離,分庫分表)大型網站需要存儲海量的數據,為達到海量數據存儲,高可用,高性能一般采用冗余的方式進行系統設計。一般有兩種方式讀寫分離和分庫分表。讀寫分離:一般解決讀比例遠大于寫比例的場景,可采用一主一備,一主多備或多主多備方式。本案例在業務拆分的基礎上,結合分庫分表和讀寫分離 業務拆分后:每個子系統需要單獨的庫; 如果單獨的庫太大,可以根據業務特性,進行再次分庫,比如商品分類庫,產品庫; 分庫后,如果表中有數據量很大的,則進行分表,一般可以按照Id,時間等進行分表;(高級的用法是一致性Hash) 在分庫,分表的基礎上,進行讀寫分離;相關中間件可參考Cobar(阿里,目前已不在維護),TDDL(阿里),Atlas(奇虎360),MyCat(在Cobar基礎上,國內很多牛人,號稱國內第一開源項目)。電商網站后臺功能模塊分析;后臺:各類主要信息的概要統計,包括客戶信息、 訂單信息、商品信息、庫存信息、評論和最近反饋等。 商品模塊: 1.商品管理:商品和商品包的添加、修改、 刪除、復制、批處理、商品計劃上下架、SEO、商品多媒體上傳等,可以定義商品是實體還是虛擬,可以定義是否預訂、是否缺貨銷售等。2.商品目錄管理:樹形的商品目錄組織管理,并可以設置關聯/商品推薦。 3.商品類型管理:定義商品的類型,設置自定義屬性項、SKU項和商品評論項。 4.品牌管理:添加、修改、刪除、上傳品牌 LOGO。 5.商品評論管理:回復、刪除。銷售模塊: 1.促銷管理:分為目錄促銷、購物車促銷和 優惠券促銷三類,可以隨意定義不同的促銷規則,滿足日常促銷活動:購物折扣、購物贈送積分、購物贈送優惠券、購物免運輸費、特價商品、特定會員購買特定商品、折上折、買二送一等。 2.禮券管理:添加、發送禮券 3.關聯/推薦管理――基于規則引擎,可以支持多種推薦類型,可手工添加或者自動評估商品。訂單模塊: 1.訂單管理:可以編輯、解鎖、取消訂單、 拆分訂單、添加商品、移除商品、確認可備貨等,也可對因促銷規則發生變化引起的價格變化進行調整。訂單處理完可發起退貨、換貨流程。 2.支付:常用于訂單支付信息的查看和手工 支付兩種功能。手工支付訂單,常用于“款到發貨”類型的訂單,可理解為對款到發貨這類訂單的一種補登行為。 3.結算:提供商家與第三方物流公司的結算 功能,通常是月結。同時,結算功能也是常用來對“貨到付款”這一類型訂單支付后的數據進行對帳庫存模塊: 1.庫存管理:引入庫存的概念,不包括銷售 規則為永遠可售的商品,一個SKU對應一個庫存量。庫存管理提供增加、減少等調整庫存量的功能;另外,也可對具具體的SKU設置商品的保留數量、***小庫存量、再進貨數量。每條SKU商品的具體庫存操作都會記錄在庫存明細記錄里邊。2.查看庫存明細記錄。 3.備貨/發貨:創建備貨單、打印備貨單、打印發貨單、打印EMS快遞單、完成發貨等一系列物流配送的操作。 4.退/換貨:對退/換貨的訂單進行收貨流程的處理。內容模塊: 1.內容管理:包括內容管理以及內容目錄管理。內容目錄由樹形結構組織管理。類似于商品目錄的樹形結構,可設置目錄是否為鏈接目錄。 2.無限制創建獨立內容網頁,比如關于我們,聯系我們。 3.廣告管理:添加、修改、刪除、上傳廣告、 定義廣告有效時限。 4.可自由設置商城導航欄目以及欄目內容、欄目鏈接。客戶模塊: 1.客戶管理:添加、刪除、修改、重設密碼、 發送郵件等。 2.反饋管理:刪除、回復。 3.消息訂閱管理:添加、刪除、修改消息組 和消息、分配消息組、查看訂閱人。 4.會員資格:添加、刪除、修改。系統模塊: 1.安全管理:管理員、角色權限分配和安全日志 2.系統屬性管理:用于管理自定義屬性。可關聯模塊包括商品管理、商品目錄管理、內容管理、客戶管理。3.運輸與區域:運輸公司、運輸方式、運輸 地區。 4.支付管理:支付方式、支付歷史。 5.包裝管理:添加、修改、刪除。 6.數據導入管理:商品目錄導入、商品導入、 會員資料導入。 7.郵件隊列管理:監控郵件發送情況,刪除 發送異常郵件。報表模塊: 缺省數個統計報表,支持時間段過濾、支持按不同狀態過濾、支持HTML、PDF和Excel格式的導出和打印。 1.用戶注冊統計 2.低庫存匯總 3.缺貨訂單 4.訂單匯總 5.退換貨TAG標簽耗時:0.014338970184326 秒
如沒特殊注明,文章均為江浙滬網絡推廣,轉載請注明來自http://www.0898bike.com/html/news/