sed 和 awk 是每個 Linux 高級用戶最喜歡的工具。但它們是什么?以及如何使用它們來處理文本文件?兩個最被低估的 Linux 實用程序是 sed 和 awk。盡管它們看起來有點神秘,但如果您必須對大段代碼或文本進行重復更改,或者如果您必須分析某些文本,sed 和 awk 是極為有用的。那么,它們是什么?它們是如何使用的?以及,當它們組合在一起時,它們如何使處理文本變得更容易?
什么是sed?
sed 由傳奇的計算先驅 Lee E. McMahon 于 1971 年在貝爾實驗室開發。該名稱代表“流編輯器”。sed 允許您通過一種緊湊而簡單但圖靈完備的編程語言以編程方式編輯正文或文本流。sed 的工作方式很簡單:它將文本逐行讀取到緩沖區中。對于每一行,它將在適用的情況下執行預定義的指令。例如,如果有人要編寫一個 sed 腳本,將單詞“beer”替換為“soda”,然后傳入一個包含“99 Bottles of Beer on the Wall”完整歌詞的文本文件,它將通過逐行打印該文件,并打印出“99 Bottles of Soda on the Wall”,依此類推。最基本的 sed 腳本是“Hello World”。在這里,我們使用僅輸出字符串的 echo 命令來打印“Hello World”。但是我們將它傳遞給 sed,并告訴它用“LinuxMi.com”替換“World”。一目了然。
linuxmi@linuxmi:~/www.linuxmi.com$ echo "Hello World" | sed s/World/LinuxMi.com/
如果您需要進行一些更復雜的編輯,您還可以將 sed 指令組合到文件中。讓我們將 A-ha 的“ Take On Me ”的歌詞替換為Greg的“I”、“Me”和“My”的每個實例。首先,將歌曲的歌詞放入名為linuxmi.com.txt的文本文件中。然后打開您喜歡的文本編輯器,并添加以下行。確保您創建的文件以.sed結尾。
s/I/Greg/
s/Me/Greg/
s/me/Greg/
s/My/Greg/
s/my/Greg/
您可能會注意到上面示例中的重復(例如 s/me/Greg/ 和 s/Me/Greg/)。這是因為 sed 的某些版本,例如 macOS 附帶的版本,不支持不區分大小寫的匹配。因此,我們必須為每個單詞編寫兩條指令,以便 sed 識別大寫和非大寫版本。這不會完美地工作,就好像您已經手動替換了“I”、“Me”和“My”的每個實例。請記住,我們只是將其用作練習來演示如何將 sed 指令組合到一個腳本中,然后使用單個命令執行它們。然后,我們需要調用該文件。為此,請運行此命令。
linuxmi@linuxmi:~/www.linuxmi.com$ cat linuxmi.com.txt | sed -f linuxmi.sed
讓我們看看這是怎么做的。你可能已經注意到我們這里沒有使用 echo。我們使用 cat。這是因為 cat 會打印文件的全部內容,而 echo 只會打印文件名。您可能還注意到,我們使用“-f”標志運行 sed。這告訴它將腳本作為文件打開。
最終結果是這樣的:還值得注意的是 sed 支持正則表達式 (REGEX)。這些允許您使用特殊而復雜的語法在文本中定義模式。這是一個如何工作的示例。我們將采用上述歌詞,但使用正則表達式打印出每行不以“Take”開頭的行。
linuxmi@linuxmi:~/www.linuxmi.com$ cat linuxmi.com.txt | sed /^Take/d
當然,sed 非常有用。而且與 awk 結合使用時會更加強大。
什么是 AWK?
AWK 與 sed 一樣,是一種處理大量文本的編程語言。但是,雖然人們使用 sed 來處理和修改文本,但人們大多使用 AWK 作為分析和報告的工具。與 sed 一樣,AWK 最初是在 1970 年代在貝爾實驗室開發的。它的名字并非來自程序所做的事情,而是來自每個作者的姓氏:Alfred Aho、Peter Weinberger 和 Brian Kernighan。總而言之,AWK 指的是編程語言本身。在小寫中,awk 指的是命令行工具。AWK 通過一次讀取一行文本文件或輸入流來工作。掃描每一行以查看它是否與預定義的模式匹配。如果找到匹配項,則執行操作。但是雖然 sed 和 AWK 可能有相似的目的,但它們是兩種完全不同的語言,具有兩種完全不同的設計理念。AWK 更類似于一些通用語言,如 C、Python 和 Bash。它具有諸如函數之類的東西以及更類似于 C 的方法來處理諸如迭代和變量之類的東西。簡而言之,AWK 感覺更像是一種編程語言。所以,讓我們嘗試一下。使用“Take On Me”的歌詞,我們將打印所有超過 20 個字符的行。
linuxmi@linuxmi:~/www.linuxmi.com$ awk ' length($0) > 20 ' linuxmi.com.txt
結合兩者
awk 和 sed 結合起來都非常強大。您可以通過使用 Unix 管道來做到這一點。讓我們試試這個:我們將使用 awk 列出“Take On Me”中超過 20 個字符的所有行。然后,我們將刪除所有以“Take”開頭的行。總之,這一切看起來像這樣:linuxmi@linuxmi:~/www.linuxmi.com$ awk 'length($0)>20' linuxmi.com.txt | sed /^Take/d
輸出如下:sed 和 awk 的力量
在這篇文章中我們就解釋這么多,但希望您現在對 sed 和 awk 的強大功能有所了解。簡而言之,它們是一個文本處理引擎。那么,你為什么要關心呢?除了您永遠不知道何時需要對文本文檔進行可預測的重復更改這一事實之外,sed 和 awk 非常適合解析日志文件。當您嘗試調試 LAMP 服務器中的問題或查看訪問日志以查看您的服務器是否被黑客入侵時,這特別方便。
審核編輯 :李倩
聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。
舉報投訴
-
Linux
+關注
關注
87文章
11230瀏覽量
208932 -
編程語言
+關注
關注
10文章
1939瀏覽量
34601 -
SED
+關注
關注
0文章
24瀏覽量
27065
原文標題:為什么說每個 Linux 極客都需要了解 Sed 和 Awk
文章出處:【微信號:Linux迷,微信公眾號:Linux迷】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
linux驅動程序如何加載進內核
,需要了解Linux內核的基本概念和API。以下是一些關鍵概念: 1.1 內核模塊:Linux內核模塊是一種動態加載和卸載的代碼,可以在不重新啟動系統的情況下加載和卸載。驅動程序通常以內核模塊的形式實現。 1.2 設備模型:
不只是前端,后端、產品和測試也需要了解的瀏覽器知識(二)
繼上篇《 不只是前端,后端、產品和測試也需要了解的瀏覽器知識(一)》介紹了瀏覽器的基本情況、發展歷史以及市場占有率。 本篇文章將介紹瀏覽器基本原理。 在掌握基本原理后,通過技術深入,在研發
不只是前端,后端、產品和測試也需要了解的瀏覽器知識
一、我們為什么要了解瀏覽器? 1. 對于前端開發者 1.瀏覽器是用戶體驗的第一線。我們需要了解瀏覽器的工作原理,才能有效地設計和實現用戶界面,確保良好的用戶體驗。 2.好的產品需要考慮瀏覽器兼容性
選擇貼片電容時需要了解哪些問題?
購買貼片電容時,需要了解以下幾個方面: 1、電容類型與規格:貼片電容有多種類型,如陶瓷電容器、鋁電解電容器、鉭電解電容器、多層陶瓷電容器(MLCC)以及聚合物電容器等。每種類型都有其特定的應用場
CS32L010 Deepsleep 模式下,保留 GPIO/AWK 喚醒,低功耗電流是多少?
CS32L010 Deepsleep 模式下,保留 GPIO/AWK 喚醒,低功耗電流是多少?
答:大概是1.0uA
發表于 03-22 11:33
mos管體二極管的作用是什么
的。在功率MOSFET中,這種體二極管尤為重要,因為它對器件的性能和可靠性有很大影響。 要了解MOS管體二極管的作用,首先需要了解MOSFET的基本結構。一個典型的MOSFET包括源
《Linux常用命令自學手冊》+Linux簡單指令筆記
最常見的Linux指令,Linux有更多的強大指令和選項。如果您對特定的指令有疑問,或者需要更多的指令和用法,請提供更具體的問題。
目錄:
LS命令:
Linux的ls指令用于顯示指定
發表于 01-05 08:44
深入了解Linux中vi命令的使用
深入了解Linux中vi命令的使用 VI是一款在Linux系統中使用的文本編輯器,它是一款功能強大、靈活性高的編輯器。VI編輯器具有非常高效的命令行操作方式,并且在各個版本的Linux
評論