Linux 檔案描述符

⇒

File descriptor

1.0 簡介 file descriptor (檔案描述符)
fd 與重定向
目錄〝/proc/<PID>/fd〞與 fd
1.1 exec 和 fd 重定向
exec X>FILE :fd X 重定向檔案
exec X>&Y :fd X 重定向到 fd Y
exec X< FILE :檔案重定向到 fd X
exec X<&Y :fd Y 重定向到 fd X
exec fd X<> FILE :檔案重定向 fd X 並讀寫
X>&- 或 X<&- :關閉 fd X
1.2誰偷走了 stdin ?

1.0 File Descriptor
有天讀到坊間某一書籍在講解 Shell Script 舉一例可一行一行的讀取檔案的內容,其範例如下:

(範例 ex1.sh)

$ cat ex1.sh
#!/bin/bash
# read〝FILE.txt〞 line by line
while read -r line #←此行是我看起來怪怪的地方之一,〝read〞是讀鍵盤怎可讀檔案?
do
echo $line
done <FILE.txt #←此行是我看起來怪怪的地方之二,〝done <FILE〞是什麼東東???

上例雖只有兩三行但語法怪怪的,個人才疏學淺看不太懂,作者對原理也沒多作說明(大概也是抄來的?)。
好吧!天下文章一大抄看不懂也沒關係,我也是想抄過來套在我的應用,因上例經測試可正常的工作。

我的應用也很簡單只是想每列出一行要按任一鍵才會讀一下行,於是我再加一行指令改寫如下。

(範例 ex2.sh)

$ cat ex2.sh
#!/bin/bash
while read -r line
do
echo $line
read -p "Press any key to continue" -n 1 #←我增加的行
done <FILE.txt

怪了經我加工後的程式 ex2.sh 怎不能正常工作??!兇手是誰?是我看起來怪怪的地方?還是我自行加的那行???

於是我當起鍵盤柯南,誓言一定要把兇手抓起來繩之以法。

挑燈夜戰好幾天, 兇手終於被我抓到,那個兇手就叫〝File Descriptor〞簡稱〝fd〞(中文有人叫〝檔案描述符〞)。

原例 (ex1.sh) 中可一行一行的讀取檔案是 shell 為了簡化語法隱藏了 file descriptor 的相關操作,而我改寫的範例 (ex2.sh)不能正常工作因 shell 隱藏的 file descriptor 操作偷走了 stdin。

國內的書籍有提及〝file descriptor〞是少之又少,就算有點到也沒搔到癢處, 於是把這幾天研究的心得寫下來,一方當自己的備忘另一方面或許其他人遇到同樣問題時可減少摸索,尤其是 shell scripts 中要讀取檔案和要求鍵盤輸入的應用,利用 file descriptor 或許可不動用到 awk 或 sed 即可完成任務。

〝file descriptor〞簡單的說就是當 Unix -like 的 OS 在讀取檔案時會把每一檔案編號,此編號是 Kernel 用來追蹤 process 開啟檔案輸出/輸入的索引。

例如用瀏覽器瀏覽此文章時至少已開了20 個檔案(html 檔和多個圖檔),這些檔案會被編號 (例如 100,101,102 ....) 這些當檔案索引的數字就是 file descriptor (fd),但維護這些 file descriptor 是 Kernel 的事一般的使用者不用也不必知道。

^ back on top ^

fd 與重定向
有三個 fd 檔案是永遠開啟的那就是 stdin(鍵盤)、stdout(螢幕)、stderr(錯誤訊息)且 POSIX 標準保留這 3 個檔案的 fd 編號各為 0~2 供使用者操作重定向(redirection)的應用。

fd Number	Name	Function
0	stdin	標準輸入
1	stdout	標準輸出
2	stderr	標準錯誤

重定向實際上就是把三個永不關閉的 fd 0~2 重定向到其他地方(大部分為檔案或另一 fd ) 。

	Function	Example	Example note
COMMAND 1>	stdout 重定向	echo '123' >fileA	fd 1 輸往檔案
COMMAND 1>>	stdout 累加重定向	seq 100 200 >> fileA	fd 1 累加輸往檔案
COMMAND 2>	stderr 重定向	find / -name '*.conf' 2>/dev/null	fd 2 輸往檔案
COMMAND 2>>	stderr 累加重定向	seq 1 10 >>fileA	fd 2 累加輸往檔案
COMMAND 0<	stdin 重定向	cat < fileA	fd 0 由檔案取代

輸出重定向的語法為 COMMAND [fd]>,其中如省略 fd,預設為 1。
而輸入重定向語法為 COMMAND [fd]<, 如省略 fd,預設為 0 。

重定向也可改變原輸出到 stdout 改為 stderr 反之也可把 stderr 改到 stdout。
其語法為 X>&Y (X 為原 fd, Y 為重定向後的 fd,,X 如省略預設為 1)。以 stderr(2) 重定向到 stdout(1) 為例寫成〝2>&1〞。

	Function	Example
2>&1	stderr(2) 重定向 stdout(1)	ls -R /home > fileA 2>&1
1>&2	stdout 重定向 stderr	find / -name '*readme.txt' 1>&2 2>/dev/null

由於 stdin、stdout、stderr( fd 0~2)這三個檔案是永遠開啟的可直接使用,但如 fd 大於 3 一般要用exec 來開啟。

^ back on top ^

目錄〝/proc/<PID>/fd〞與 fd
當 process 運行時會產生一 PID ,相對的會映射 fd 到目錄〝/proc/<PID>/fd〞(目錄中的〝<PID>〞為 process 的 PID 編號)此目錄可觀察 file descriptor 的使用情形。

例:

$ seq 1 1000000
1
2
3
4 Ctrl+Z ←按 <Ctrl+Z>暫停

[1]+ Stopped seq 1 100000000 ←程式被 stoped 了
$ jobs -p ←列出被我們暫停的指令的 PID
$ 2373 ←剛那指令〝seq 1 1000000〞 PID 為 2373
ls -lgG /proc/2373/fd/ ←列出 /proc/<PID>/fd 來觀察 fd 使用情形
total 0
lrwx------ 1 64 2015-04-26 22:28 0 -> /dev/tty1
lrwx------ 1 64 2015-04-26 22:28 1 -> /dev/tty1
lrwx------ 1 64 2015-04-26 22:28 2 -> /dev/tty1

上例中在目錄〝/proc/<PID>/fd/〞內共有 3 個檔案就是 fd,各別為〝0〞、〝1〞和〝2〞, 而這三檔又分別連結到〝/dev/tty1〞(如在圖形介面測試可能為〝/dev/pts/N〞 )。

也就是說上例的 stdin (fd 0)、stdout (fd 1)和 stderr (fd 2) 都是 tty (終端機)或 /dev/pts/N (虛擬終端機)。

Ok 我們把上述的實驗改寫成 seq 1 1000000 > fileA 2>&1 再觀察,其結果如下。

lrwx------ 1 64 2015-04-26 15:04 0 -> /dev/tty1
l-wx------ 1 64 2015-04-26 15:04 1 -> /home/basalt/fileA
l-wx------ 1 64 2015-04-26 15:04 2 -> /home/basalt/fileA

上例的 stdin (fd 0)一樣是 tty,但 stdout (fd 1)和 stderr (fd 2) 都變成〝fileA〞也就是 stdout 和 stderr 都輸往〝fileA〞這一檔案。

所以如某指令可能經管線又重定向被搞的暈頭轉向時,觀察目錄〝/proc/<PID>/fd/〞所提供的 file descriptor 資訊就可一目了然。

所以如再改寫成 seq 1 100 > fileB >&2 ,運算完時檔案〝fileB〞的內容是空的,為什麼呢?自己觀察〝/proc/<PID>/fd/〞吧!

^ back on top ^

1.1 exec 和 fd 重定向
扣除 fd 0(stdin)、fd 1(stdout) 和 fd 2(stderr) 和系統保留的 fd 10~255,一般的使用者建議只可開啟並使用 fd 3 ~ 9。
(fd 255 一般留給 shell script,而 process substitution 可能會用到 fd 63 或 fd 62,故系統自行運用的 fd 10~255 最好不要拿來用以免相沖。

但要使用 fd 3~9 要用 exec,在 process 中 exec 功能為關掉 parent process 直接跑 child-process。而 exec 另一重要的功能為 fd 重定向。

重定向有兩種,一種為 fd 重定向到另一 fd ,另一為 fd 重定向到檔案各說明如下:

fd 重定向到另一 fd
例如要建立 fd 6 後重定向到 fd 1 寫成 exec 6>&1,但重定向有兩個方向為什麼不寫成 exec 1<&6 ? 原則為最右邊為已存在的 fd,左邊要建立新的 fd,因 fd 1 (stdout)早已存在故要放到最右邊寫成 exec 6>&1。

另一個原則為輸入重定向的輸入源要寫在〝<〞的右邊,例如把 fd 0 (stdin) 重定向到 fd 7 要寫成 exec 7<&0。
fd 重定向到檔案
輸出重定向到檔案用〝>〞,例如 exec 3>FILE 為建立 fd 3 後重定向到檔案。
檔案重定向到 fd 用〝<〞,例如 exec 0< FILE 為檔案取代了 fd 0 (stdin)。

綜合其各組合可能的用法如下:

exec X>FILE :fd X 重定向到檔案
exec X>FILE ,其中 X 為 fd 號碼(建議只用 3~9)義意為建立 fd X 重定向到檔案 FILE。

有點抽象?那就一步一步來測試觀察,如下操作範例:

例:

$ exec 8>/tmp/fd_test ←建立 fd 8 並重定向到檔案〝tmp/fd_test〞
$ echo $$ ←查看目前 shell 的 PID
2633 ←目前 shell 的 PID
$ ls -lgG /proc/2633/fd ←觀查 fd 的使用
total 0
lr-x------ 1 64 2015-05-04 10:17 0 -> /dev/tty1
l-wx------ 1 64 2015-05-04 10:17 1 -> /dev/tty1
l-wx------ 1 64 2015-05-04 10:17 2 -> /dev/tty1
lrwx------ 1 64 2015-05-04 10:58 255 -> /dev/tty1
lr-x------ 1 64 2015-05-04 10:17 8 -> /tmp/fd_test ← fd 8 建立並重定向到檔案

上例測試可知 exec 8>/tmp/fd_test 開啟了 fd 8,而那 fd 8 又重定向到檔案〝/tmp/fd_test〞,現在開始將 fd 1(stdout)重定向到 fd 8 等於把 stdout 寫入檔案〝/tmp/fd_test〞。

ok 我們繼續實驗。

(續上例)

$ echo 'hello world !' >&8 ←將字串寫入 fd 8
$ cat /tmp/fd_test ←驗證看看
hello world !

複習一下 stdout (1) 重定向 stderr (2) 寫成〝 1>&2〞或〝>&2〞,所以同理上例中 fd 1 重定向到 fd 8 就寫成〝 1>&8〞或〝>&8〞。

如果 fd 8 不再使用記得要關閉fd。

下例 shell script〝 ex3.sh〞開啟多個 fd ,用完後關閉。

例:

$ cat ex3.sh
#!/bin/bash

# flowing create fd 3~5 and redirect to file1~file3
exec 3>/tmp/file1
exec 4>/tmp/file2
exec 5>/tmp/file3

# flowing write string to fd1 then redirect to fd 3~5
echo '1234' >&3
echo 'abcd' >&4
echo 'I II III IV' >&5

# flowing close fd 3~5
exec 3>&-
exec 4>&-
exec 5>&-

^ back on top ^

exec X>&Y :fd X 重定向到 fd Y
管線功能為某指令的 stdout 等於下一個指令的 stdin,也就是說 stderr 部份永遠無法通過管線到下個指令,但如果我經管線後要處理的是 stderr 怎麼辦呢?用 X>&Y 來重定向為方法之一,如下範例把 stderr 經管線到 tr 轉大寫但 stdout 不經管線。

例:(以非 root 帳號測試)

$ exec 6>&1 ←fd 6 重定向到 fd 1
$ ls -l /root /etc/fstab 2>&1 1>&6 | tr a-z A-Z ← stderr 經 pipe 給 tr 轉大寫
-rw-r--r-- 1 root root 608 2014-09-26 15:47 /etc/fstab ← stdout 部分沒轉大寫因重定向到 fd 6

LS: CANNOT OPEN DIRECTORY /ROOT: PERMISSION DENIED ← stderr 部分被 tr 轉大寫
$ exec 6>&- ←關閉 fd 6

上例原理為先用〝2>&1〞把 stderr 和 stdout 都輸往 stdout,再經〝 1>&6〞把 stdout 重定向到 fd 6, 故最後經管線到 tr 只有 stderr。

^ back on top ^

exec X< FILE :重定向到 fd X
exec X< FILE 為檔案重定向到 fd X,而 X 如省略預設為 0。

如果檔案重定向到 fd 0(最常用的用法)更貼切的說法應叫做「檔案〝取代〞鍵盤」(特別強調〝取代〞)。

例如 exec < FILE 因檔案重定向到 fd 0 (stdin) ,故輸入的來源不再是 stdin (鍵盤)而由檔案取代(鍵盤會失效),因此可讓原從鍵盤(stdin)輸入的指令變成檔案且可一行一行的讀取。

在 interactive shell (互動式 shell) 中最重要的互動就是鍵盤和螢幕,沒鍵盤怎能互動?故輸入 exec <FILE(如此檔存在)會退出 shell,但在非動式 shell (如 shell script)則檔案會取代 stdin (鍵盤)。

如下例的 script 檔 ex4.sh 為讀取檔案〝/etc/fstab〞前三行。

例:

$ cat ex4.sh
#!/bin/bash

exec < /etc/fstab #fd 0 (stdin)= file〝/etc/fstab〞

# flowing read〝/etc/fstab〞 line1~3
read line1
read line2
read line3

# flowing print〝/etc/fstab〞 line1~3
echo $line1
echo $line2
echo $line3

如果要把一個檔案全讀完可利用迴圈,如下 shell script 的範例。

例:

$ cat ex5.sh
#!/bin/bash

# read file "/etc/fstab" line by line
exec 0< /etc/fstab # fd 0 (stdin) = file

while read line # now command read from file instead of stdin
do
echo $line
done

^ back on top ^

exec X<&Y :fd Y 重定向到 fd X
語法 exec X<&Y 為 fd Y 重定向到 fd X 並建立 fd X,此時 fd X 就等於 fd Y。

例:

$ exec 3>/tmp/fd_test ←將 fd 3 重定向到檔案〝tmp/fd_test〞
$ echo "line1" >&3 ←將字串寫入 fd 3
$ cat /tmp/fd_test ←驗證看看
line1
$ exec 9<&3 ← 開啟 fd9,並將 fd 3 重定向到 fd 9(此時 fd 9 就等於 fd 3)
$ echo "line2" >&9 ←將字串寫入 fd 9
$ cat /tmp/fd_test ←驗證看看
line1
line2
$ exec 9>&- ←關閉 fd 9
$ exec 3<&- ←關閉 fd 3

^ back on top ^

exec fd X<> FILE :檔案重定向 fd X 並讀寫
exex fd X<> FILE 功能為檔案重定向到 fd X 並讀寫(注意〝X<>〞中間不能有空格)。

例:[註 1.1]

$ echo 1234567890 > File ←建一檔案〝File〞
$ exec 3<> File ←打開檔案〝File〞並重定向到 fd 3
$ read -n 4 <&3 ←讀第 4 個字元
$ echo -n "." >&3 ←寫入句點〝.〞
$ exec 3>&- ←關閉 fd 3
$ cat File ←驗證看看
1234.67890

X>&- 或 X<&- :關閉 fd X
輸入重定向 fd 的關閉為 X<&- 而輸出重定向 fd 的關閉為 X>&- 。

如果關閉 fd 沒配合 exec 只是暫時關閉某 fd (其效力只有一次)。

如下例暫時關閉 stderr。 (interactive shell 不可關閉 stdin 和 stdout)

例:(以非 root 帳號測試)

$ find / -name 'readme.*' 2>&- ←找 filesystem 內所有叫〝readme.*〞的檔案 & 關閉 stderr
/usr/share/icons/Bluecurve/48x48/mimetypes/readme.png
/usr/share/doc/cyrus-sasl-lib-2.1.22/readme.html
/usr/share/doc/words-3.0/readme.txt
/usr/share/icons/Bluecurve/48x48/mimetypes/readme.png

上例同等於 find / -name 'readme.*' 2> /dev/null 把 stderr 過濾掉。

如要永久關閉 fd 用法為要配合 exec (如 exec 9>&-),不用的 fd 記得要關閉讓其他的程式可再利用也可避免其他程式共同競爭同一編號的 fd 而產生不易查覺的 bug。

另外只有 stdout 可通過管線,其他無關的 fd 最好暫時關閉, 例如在 exec X>&Y 時所舉的範例,比較安全的作法改寫如下:

例:

$ exec 6>&1
$ ls -l /root /etc/fstab 2>&1 1>&6 6>&- | tr a-z A-Z 6>&- ←此處的〝6>&-〞是暫時關閉 fd 6 for tr
$ exec 6>&- ←此處是永久關閉 shell 的 fd 6

^ back on top ^

1.2 誰偷走了 stdin ?
回頭觀察我覺得詭異的範例 ex1.sh ,執行時其目錄〝/proc/<PID>/fd〞觀察結果如下:

lr-x------ 1 64 2015-04-26 14:45 0 -> /home/basalt/FILE.txt ←stdin 變檔案
lrwx------ 1 64 2015-04-26 14:45 1 -> /dev/tty1
lrwx------ 1 64 2015-04-26 14:45 10 -> /dev/tty1 ←多開啟了 fd 10
lrwx------ 1 64 2015-04-26 14:45 2 -> /dev/tty1
lr-x------ 1 64 2015-04-26 14:45 255 -> /home/basalt/ex1.sh

因 stdin 變成了檔案,又多開啟了 fd 10,故可大膽推測遇到 ex1.sh 的〝done < FILE〞這類語法時 shell 會自作聰明把 stdin 來源變檔案,還原被 shell 隱藏的 file descriptor 相關操作推論如下。

exec 10<&0 #←shell 隱藏操作的部分 (備份 fd 0 到 fd10)
exec < FILE.txt #←shell 隱藏操作的部分(stdin=file)

while read -r line
do
echo $line
done #←原始指令為 done<FILE.txt

exec 0<&10 #←shell 隱藏的部分 (從 fd 10 復原 fd 0)

因〝done < FILE〞把 stdin 變成了檔案,因 stdin 被檔案盜走了,所以我改寫的 ex2.sh 用指令 read 不能再讀取鍵盤的原因在此!,改寫後即可讀檔案又可讀 stdin (鍵盤)範例如下。 (ex6.sh)

$ cat ex6.sh
#!/bin/bash
# read〝FILE.txt〞 line by line

exec 7<FILE.txt # ← fd 7=FILE.txt)

while read -u 7 line #← read 讀取由 stdin 改為 fd 7)
do
echo $line
read -p "Press any key to continue" -n 1
done

有天在網路上無意看到不少人也遇到 stdin 被偷走但不知所以故上網發文求救,比較經典的案例此網友原是想寫個 shell script 來列出工作目錄內的檔案然後詢問要不要刪除,但不知原因不能工作而 po 文討救兵。

此有問題的 shell script 程式如下:

$ cat ex7.sh
#!/bin/bash
while read file_name
do
rm -iv $file_name
done < <(ls)

如果 user 已熟 fd 相關操作了,應能幫忙此網友到找到原因 (溫馨提示,最後那個〝<(ls)〞是 process substitution)
(修正後可工作的程式參考 [註 1.1a])

^ back on top ^

[註1.1] 範例來源 Advanced Bash-Scripting Guide

[註1.1a]

$ cat ex8.sh
#!/bin/bash
exec 3<&0
while read file_name
do
rm -iv $file_name <&3
done < <(ls)

# 如要排除此目錄內還有目錄而產生錯誤訊息,最後一行可改如下
# done < <(ls -F | grep -v '/$')