FreeBSD 的 Thread-Local Storage 實作

by thinker

關鍵字:

因為運氣不好，在試圖在 $FreeBSD$ 上玩 B2G (Boot To Gecko) 時，遇到 core dump
的問題。
在細部分解之後，發現是 $FreeBSD$ 的 TLS (Thread-Local Storage) 的實作有些
隱藏的問題。
使用 TLS ，你的程式能夠為每一個 thread 配置一塊專用的記憶體，每當程式向
thread library 要那一塊記憶體的位置時，就會傳回對應到目前 thread 的區塊。
因此，每一個 thread 都可以有自己一塊空間，而不會誤取其它 thread 的區塊。
TLS 最簡單的用法如下

{{{#!cpp
__thread int count = 0;

int inc(void) {
    count++;
    return count;
}

}}}

如果你建兩個 thread，同時去執行 inc()，則兩個 thread 各自會有一份獨立的
count 數變。
其中的奧妙，在於 __thread 這個 $keyword$。
每當使用該變數時， compiler 會自動產生特別的 code，將該變數對應到 thread
自己的 TLS 記憶體區塊。

當 compiler 產生 code 時，會特別將該變數所用空間標記為 TLS。
因此，當 RTLD (Run-time Link-editor，也就是 /lib/ld-elf.so.xxx)
載入主程式和相關的 shared objects (so 檔) 時，就會$統計$ thread-local variable
的數量和所需要的空間。
並為每一個 thread 配置一塊連續的空間，將所有的 thread-local variable
都對映到該塊記憶體。
於是，每當程式使用(讀、寫) thread-local variable 時，就會從該 thread 所
配置的空間裡，存取對映的相對位址。

但問題是，有一個 function 稱為 dlopen()，可以在程式執行的當中，載入更多
的 shared object。
於是，每個 Thread 所需的 TLS 空間，可能會隨著載入 shared object 而變多。
一開始配置的空間，可能就會不夠用。
因此， RTLD 為每一個 thread 的 TLS 空間，都維護一個版本編號。每當有新的
shared object 被載入時，都會改變系統的編號。
而，每當程式要讀取 thread-local variable 時，都會去比較 TLS 空間的編號
是否和系統的編號一致。
若非一致，則會重新配置一塊空間，並把舊資料複製過去。
而我遇到的問題就在資料的複製。

當一個程式使用 dlopen() 載入一個 shared object 時，系統的版本編號變了。
於是下一次使用 thread-local variable 時，會重新分配一塊空間，並把資
料複製到新空間。
而 RTLD 應該要複製之後，傳回相對於新空間的指標，如此程式才能正確的存取新
的位址。
但， RTLD 在該次複製後，卻傳回舊區塊裡的位址。
於是， dlopen() 後的第一次存取，如果是作寫入的動作，會寫到舊的空間裡。
而複製到新空間裡的資料，卻是進行寫入動作之前的版本。
如果緊接著讀取該變數，就會讀到新區塊裡的舊資料。
因為這個小小的失誤，使的 B2G 進入無限的 recursive function call。

這個 issue 涉汲的層面比較多，因此特別記錄在此，以利往後遇到類似問題時，
作為參考。

最後更新時間: 2011-09-14 11:41:52 CST | 引用

查詢:

COMMENTS:

on 2011-09-16 09:21:03 CST

kevlo said ..

Good catch!!!

on 2011-09-18 21:22:29 CST

scott zhou said ..

Thanks for your sharing. Good eyes:-)

on 2011-10-26 00:22:44 CST

Mars said ..

cool...請問一下是如何確認這件事情的？因為第一時間不容易想到RTLD的錯誤

on 2011-10-26 00:37:50 CST

Thinker said ..

To Mars: 出問題時，我通常會對照的 source ，找出問題的位置。當我覺發該變數明明被修改了，但過一陣子又恢復原來的值時，我就反復測試，發覺程式的邏輯上應該沒問題。於是懷疑是 compiler 或 linker 產生的 code 可能有問題。於是在 assembly level 追蹤到 TLS 的 code，發覺可能和 RTLD 有關連。因此才 study RTLD 的 source，找到問題所在。