由于移動應(yīng)用技術(shù)的持續(xù)性的快速發(fā)展現(xiàn)實生活中人們大多數(shù)都是通過移動手機、電腦等智能設(shè)備來完成生活中的事務(wù)。因此許多的人工傳統(tǒng)行業(yè)也開始與互聯(lián)網(wǎng)結(jié)合不再一味的依靠人工勞動努力打造半自動數(shù)字化甚至是全自動數(shù)字化模式。于是以用戶購物行為分析作為例子利用Python爬蟲技術(shù)獲取商品金額分析、年齡段分析的數(shù)據(jù)并對這些數(shù)據(jù)進行處理 然后對這些數(shù)據(jù)進行可視化分析和預(yù)測。給人們提供一些客觀的數(shù)據(jù)方便他們參考這給今后的大數(shù)據(jù)系統(tǒng)維護帶來了便利同時也為將來開發(fā)類似的大數(shù)據(jù)系統(tǒng)提供了參考和幫助。Python爬蟲技術(shù)目前來說是比較常用的從網(wǎng)頁獲取數(shù)據(jù)的方法之一。而 Python語言也是比較受歡迎尤其是在人工智能和大數(shù)據(jù)領(lǐng)域有著廣泛的應(yīng)用。特別是 Python的第三方庫讓人們能夠通過簡單的代碼解決更多的難題。同時對數(shù)據(jù)的處理也比較方便快捷。其中主要通過 RequestsBeautifulsoup 進行網(wǎng)頁分析和數(shù)據(jù)爬取 然后再使用 NumpyMatplotlibPandas 對所爬取的數(shù)據(jù)進行可視化分析。還通過聚類算法依據(jù)所爬取的數(shù)據(jù)進行一個總結(jié)使我們了解用戶購物行為分析的基本特征和分布情況。幫助那些需要的人做出決策。概要設(shè)計用戶購物行為分析是基于Web服務(wù)模式采用面向?qū)ο蟮某绦蛟O(shè)計方法實現(xiàn)一個具有通用功能的模型結(jié)構(gòu)。使用該系統(tǒng)的條件僅是需要具備連上互聯(lián)網(wǎng)的能力并能夠通過移動設(shè)備登錄系統(tǒng)。本系統(tǒng)分為前端和后端具體實現(xiàn)的系統(tǒng)功能結(jié)構(gòu)圖如圖4.1所示管理員點擊爬蟲數(shù)據(jù)在爬蟲數(shù)據(jù)頁面中對主鍵、商店id、標題、關(guān)鍵詞、價格、店鋪、評論數(shù)量可以點擊新增、編輯或刪除等操作。如圖5.11所示