jlzzjlzz亚洲乱熟在线播放

系統城裝機大師 - 唯一官網:www.farandoo.com!

當前位置:首頁 > 腳本中心 > python > 詳細頁面

如何用Python做AQI分析并可視化?

時間:2020-09-01來源:www.farandoo.com作者:電腦系統城

AQI  分析

1、背景信息

  AOI( Air Quality Index),指空氣質量指數,用來衡量空氣清潔或污染的程度。值越小,表示空氣質量越好。近年來,因為環境問題,空氣質量也越來越受到人們的重視。我們期望能夠運用數據分析的相關技術,對全國城市空氣質量進行研究與分析,希望能夠解決如下疑問:

    1. 哪些城市的空氣質量較好/較差?
    2. 空氣質量在地理位置分布上,是否具有一定的規律性?
    3. 城市的空氣質量與是否臨海是否有關?
    4. 空氣質量主要受哪些因素影響?
    5. 全國城市空氣質量普遍處于何種水平?
  • 分析報告預覽.GIF

     現在獲取了2015年空氣質量指數集。該數據集包含全國主要城市的相關數據以及空氣質量指數。

City

AQI

Precipitation

GDP

城市

空氣質量指數

降水量

城市生產總值

Longitude

Latitude

Altitude

Population Density

經度

緯度

海拔高度

人口密集度

Temperature

Coastal

Incineration (10,000ton)

Green Coverage Rate

溫度

是否臨海

焚燒量/10000噸

綠化率

 

2、數據分析流程

 

    在進行數據分析之前,我們需要清楚數據分析的基本流程。

 

3、讀取數據

    導入需要的庫并初始化一些設置。

復制代碼
1 import numpy as np
2 import pandas as pd
3 import matplotlib.pyplot as plt
4 import seaborn as sns
5 import warnings
6 sns.set(style="darkgrid") 7 plt.rcParams["font.family"]="simHei" #用于解決中文顯示不了的問題
8 plt.rcParams["axes.unicode_minus"]=False
9 warnings.filterwarnings("ignore")
復制代碼

 加載數據集  

 

4、數據清洗

4.1 缺失值

對于缺失值的處理 ??梢允褂萌缦路绞剑?/p>

    • 刪除缺失值
      • 僅適用于缺失數量很少的情況
    • 填充缺失值
      • 數值變量
        • 均值填充
        • 中值填充
      • 類別變量
        • 眾數填充
        • 單獨作為一個類別
      • 其他

  先用info()或innull()查看缺失值。

  再用skew()查看偏度信息,再畫個圖看看,注意distplot()不支持有空值數據繪制,所以必須先用dropna()將空值剔除。

 

   可以看出,我們的原始數據有點右偏,因為缺失值只有4個,缺失數量很少,可以直接刪除,,但我們這次用了中位數來填充。

 4.2 異常值

   異常值如何發現?我們有這幾種方法:

    • describe() 
    • 箱線圖
    • 3σ方式
    • 其他相關異常檢測算法

describe():

調用dataframe對象的describe方法,會顯示數據的統計信息,讓自己了解下數據

   可以看出GDP、Latitude、PopulationDensity的最大值與較大四分位數的差距異常巨大,存在右偏現象,即存在許多極大的異常值

  3σ即3倍標準差,根據正態分布的特性,我們可以將3σ之外的數據視為異常值。以GDP為例,畫出GDP的偏度分布情況:

   該數據出現嚴重右偏分布,也就是說存在很多極大的異常值,通過3σ法獲取這些異常值:

箱線圖

通過箱線圖我們可以很直觀的看見存在很多極大的異常值,怎么判斷的呢?

箱線圖異常值的判斷依據:

Q1、Q2、Q3分別表示1/4分位數、2/4分位數、3/4分位數,IQR=Q3-Q1

若數據小于Q1-1.5IQR或大于Q3+1.5IQR則為異常值。

   找到異常怎么處理,通常有以下幾種方式:

    • 刪除異常值(不常用)
    • 視為缺失值處理
    • 對數轉換(適用于右偏,建模)
    • 臨界值替換
    • 分箱法離散化處理(分成不同區間映射成離散值)

  以對數轉換為例。

 

 

  對數轉換適用于存在較大異常值的數據,即適用于右偏分布,不適用于左偏分布。

4.3 重復值

  重復值的處理很簡單,使用duplicated查詢重復值,參數keep有三個值:"first"、False、"last".分別表示顯示第一條、所有、最后一天重復的記錄。

 

 

  清洗完的數據可以直接導出。

 

 5 數據分析

空氣質量的好壞有時候決定人的去留,擇校、就業、定居、旅游等等。

首先來看最好和最壞的幾個城市

5.1 空氣質量最好&最壞的幾個城市

空氣最好的5個城市

  先按AQI排序,默認升序,取前5條記錄;x軸上的城市名稱需要旋轉45°,這樣便于查看。

 

  上圖可以看出,空氣質量好的前5個城市:1.韶關市,2.南平市,3.梅州市,4.基隆市(臺灣?。?,5.三明市。全是南方城市。

空氣最差的5個城市

 

 

  上圖可以看出,空氣質量最差的前5個城市: 1.北京市,2.朝陽市,3.保定市,4.錦州市,5.焦作市。全是北方城市。

5.2 全國部分城市的空氣質量

      5.2.1 空氣質量等級劃分:

 

    首先我們需要定義一個函數,寫一些if語句,通過AQI的值來判斷空氣質量等級,

   這里需要用apply函數:申請調用我們自建的函數,返回值就是自建函數返回值。

  

       從圖中可以看出,我國主要城市的空氣質量主要以一級和二級為主,三級占一部分,其他占少數。

   5.2.2 空氣質量指數分布情況

    調用scatterplot()繪制散點圖,以AQI區分,參數palette是調色,這里是綠色到紅色。

   從圖中可以看出,從地理位置上來講,空氣質量南方城市優于北方城市,西部城市優于東部城市。

 5.3 城市的空氣質量與是否臨海是否有關?

    先來看看此數據中臨海與內陸城市的數量:

  

     內陸城市數量遠大于臨海城市,這沒什么懸念,我們再來看下散點分布情況:

  

  從圖中可以大概看出臨海城市空氣質量由于內陸。但是我們還是要靠數據說話,分組計算空氣質量的均值:

  要用到groupby()分組函數   

   

    臨海79,內陸64。但是信息太少,我們再畫個箱線圖和小提琴圖,來了解更多信息。

   

  從箱線圖可看出,臨海城市的AQI的四分位值,最大值都比內陸城市低,所以臨海城市空氣質量相對于內陸城市要好。但是箱線圖對于數據分布密度不明顯。

  所以,繪制小提琴圖,既能展示箱線圖信息,又能呈現分布的密度。

  我們還可以將小提琴圖和分簇散點圖結合在一起看:

  

    inner=None表示把“琴弦”去除。

 

  到這里我們能得出臨海城市空氣質量普遍好于內陸嗎?

  顯然是不能的,我們的數據只有幾百條,只是一個樣本,并不能代表總體,這是樣本與總體的差異性。

  那怎么得到一個可靠的結論呢?   我們需要對樣本做差異檢驗:

    對兩樣本做 t 檢驗,來查看臨海城市與內陸城市的均值差異是否顯著。在進行兩樣本檢驗時,我們需要知道兩樣本的方差是否一致才能進行后面的 t 檢驗

 

   先導入相關庫,定義變量,stats.levene()方差齊性檢驗。返回兩個值:第一個是統計量不要看,,看第二個p值為0.77,說明接受原假設,方差是齊性的(原假設:兩樣本方差相等,備擇假設:方差不等),可以進行下一步了。

  

  進行t檢驗時,兩樣本的方差是否相等,對結果有影響!ttest_ind():兩獨立樣本t檢驗,返回結果的p值只有0.007,很小,拒絕原假設(兩樣本不相等)。

  從統計量為負數可以看出,inland是大于coastal的。怎么算呢?在stats中提供的兩獨立樣本t檢驗是雙邊檢驗(=或≠),而現在我們要的是大于小于的關系(單邊檢驗),所以需要計算p值:stats.t.sf(),sf=1-cdf,cdf為累計分布函數,sf為殘存函數,自由度df。p值0.99666,說明coastal越小。

  到此為止,我們有超過99%的幾率可以認為空氣質量臨海城市普遍優于內陸。

5.4 空氣質量主要受哪些因素影響?

  • 人口密度大是否對導致空氣質量低呢?
  • 綠化率高是否能提高空氣質量呢?

  先用pairplot()畫一個散點圖矩陣,取3列數據

     

  對于不同變量的繪制散點圖,同變量的繪制直方圖,只表示數量。從上圖并不能明顯地看出變量之間的相關性, 我們需要通過計算相關系數來了解。

     

      DataFrame對象提供了計算相關系數的方法,直接data.corr()即可    

    再將數據可視化,更清晰的呈現數據:

 

     結果統計

從結果中可知,空氣質量指數主要受降雨量(-0.40) 與緯度(0.55) 影響。

    • 降雨量越多,空氣質量越好。
    • 緯度越低,空氣質量越好。

此外,我們還能夠發現其他一些明顯的細節:

  1. GDP (城市生產總值)與Incineration (焚燒量)正相關(0.90) 。
  2. Temperature (溫度)與Precipitation (降雨量) 正相關(0.69) 。
  3. Temperature (溫度)與Latitude (緯度)負相關(-0.81)。
  4. Longitude (經度) 與Altitude (海拔) 負相關(-0.74) 。
  5. Latitude (緯度)與Precipitation (降雨量)負相關(-0.66) 。
  6. Temperature (溫度)與Altitude (海拔)負相關(-0.46) 。
  7. Altitude (海拔)與Precipitation (降雨量)負相關(-0.32) 。

5.5全國城市空氣質量普遍處于何種水平?

     據說2015年全國所有城市的空氣質量指數均值在71左右,真的假的?

    為了驗證這是否正確,我們先來看看均值:

  75?大于71了,說明消息是假的?

  當然還不能這么說,因為,它倆不對等,一個是總體均值,一個是樣本均值,所以需要驗證一下它們是否相等。我們可以用單樣本t經驗(ttest_lsamp),置信度為95%。

 

 

                    

 

  p值大于0.05,所以無法拒絕原假設,維持原假設,即維持2015年全國所有城市的空氣質量指數均值在71左右。

  調用函數stats.t.interval()得出置信區間。

        

    這樣我們就計算出2015年全國所有城市平均空氣質量指數95%的可能在70.63~80.04之間。

 

6 總結 

1.空氣質量總體分布上來說,南方城市優于北方城市,西部城市優于東部城市。
2.臨海城市的空質量整體上好于內陸城市。
3.是否臨海,降雨量與緯度對空氣質量指數的影響較大。
4.我國城市平均空氣質量指數有95%的可能性在(70.63 - 80.04)這個區間內。

 7 PPT展示

 

分享到:

相關信息

系統教程欄目

欄目熱門教程

人氣教程排行

站長推薦

熱門系統下載