它擁有以下特性:
1.多線程
2.強大的表達式API
3.查詢優化
下面給大家簡單介紹一下這個模塊的使用方式。
1.準備
請選擇以下任一種方式輸入命令安裝依賴:
1. Windows 環境 打開 Cmd (開始-運行-CMD)。
2. MacOS 環境 打開 Terminal (command+空格輸入Terminal)。
3. 如果你用的是 VSCode編輯器 或 Pycharm,可以直接使用界面下方的Terminal.
pip install polars
2.Polars 使用介紹
在初始化變量的時候,Polars用起來的方式和Pandas沒有太大區別,下面我們定義一個初始變量,后面所有示例都使用這個變量:
importpolars aspl df = pl.DataFrame( { "A": [1, 2, 3, 4, 5], "fruits": ["banana", "banana", "apple", "apple", "banana"], "B": [5, 4, 3, 2, 1], "cars": ["beetle", "audi", "beetle", "beetle", "beetle"], } )
選擇需要展示的數據:
(df.select([ pl.col("A"), "B", # the col part is inferred pl.lit("B"), # we must tell polars we mean the literal "B" pl.col("fruits"), ]))
效果如下:
他還能使用正則表達式篩選值并進行求和等操作:
# 正則表達式 (df.select([ pl.col("^A|B$").sum() ])) # 或者多選 (df.select([ pl.col(["A", "B"]).sum() ]))
Polars支持下面這樣復雜且高效的查詢及展示:
>>> df.sort("fruits").select( ... [ ... "fruits", ... "cars", ... pl.lit("fruits").alias("literal_string_fruits"), ... pl.col("B").filter(pl.col("cars") == "beetle").sum(), ... pl.col("A").filter(pl.col("B") > 2).sum().over("cars").alias("sum_A_by_cars"), ... pl.col("A").sum().over("fruits").alias("sum_A_by_fruits"), ... pl.col("A").reverse().over("fruits").alias("rev_A_by_fruits"), ... pl.col("A").sort_by("B").over("fruits").alias("sort_A_by_B_by_fruits"), ... ] ... ) shape: (5, 8) ┌──────────┬──────────┬──────────────┬─────┬─────────────┬─────────────┬─────────────┬─────────────┐ │ fruits ┆ cars ┆ literal_stri ┆ B ┆ sum_A_by_ca ┆ sum_A_by_fr ┆ rev_A_by_fr ┆ sort_A_by_B │ │ --- ┆ --- ┆ ng_fruits ┆ --- ┆ rs ┆ uits ┆ uits ┆ _by_fruits │ │ str ┆ str ┆ --- ┆ i64 ┆ --- ┆ --- ┆ --- ┆ --- │ │ ┆ ┆ str ┆ ┆ i64 ┆ i64 ┆ i64 ┆ i64 │ ╞══════════╪══════════╪══════════════╪═════╪═════════════╪═════════════╪═════════════╪═════════════╡ │ "apple"┆ "beetle"┆ "fruits"┆ 11┆ 4┆ 7┆ 4┆ 4│ │ "apple"┆ "beetle"┆ "fruits"┆ 11┆ 4┆ 7┆ 3┆ 3│ │ "banana"┆ "beetle"┆ "fruits"┆ 11┆ 4┆ 8┆ 5┆ 5│ │ "banana"┆ "audi"┆ "fruits"┆ 11┆ 2┆ 8┆ 2┆ 2│ │ "banana"┆ "beetle"┆ "fruits"┆ 11┆ 4┆ 8┆ 1┆ 1│ └──────────┴──────────┴──────────────┴─────┴─────────────┴─────────────┴─────────────┴─────────────┘
3.Polars 高級使用
倒序操作,將值倒序后重新放回變量中,起名為xxx_reverse:
(df.select([ pl.all(), pl.all().reverse().suffix("_reverse") ]))
對所有列求和,并放回變量中,起名為 xxx_sum:
(df.select([ pl.all(), pl.all().sum().suffix("_sum") ]))
正則也能用于篩選:
predicate = pl.col("fruits").str.contains("^b.*") (df.select([ predicate ]))
在設定一個新列的時候,甚至可以根據條件來給不同的行設定值:
(df.select([ "fruits", "B", pl.when(pl.col("fruits") == "banana").then(pl.col("B")).otherwise(-1).alias("b") ]))
fold 函數很強大,它能在列上執行操作,獲得最快的速度,也就是矢量化執行:
df = pl.DataFrame({ "a": [1, 2, 3], "b": [10, 20, 30], } ) out = df.select( pl.fold(acc=pl.lit(0), f=lambdaacc, x: acc + x, exprs=pl.col("*")).alias("sum"), ) print(out) # shape: (3, 1) # ┌─────┐ # │ sum │ # │ --- │ # │ i64 │ # ╞═════╡ # │ 11 │ # ├?????┤ # │ 22 │ # ├?????┤ # │ 33 │ # └─────┘
審核編輯:劉清
-
API
+關注
關注
2文章
1484瀏覽量
61810 -
Polar
+關注
關注
0文章
13瀏覽量
14134 -
macOS系統
+關注
關注
0文章
9瀏覽量
1540 -
vscode
+關注
關注
1文章
154瀏覽量
7668
原文標題:Polars 速度極快的數據處理第三方模塊
文章出處:【微信號:DBDevs,微信公眾號:數據分析與開發】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論