站內精準搜尋

顯示具有 字庫 標籤的文章。 顯示所有文章
顯示具有 字庫 標籤的文章。 顯示所有文章

2018年4月17日 星期二

談「看上帝」―引得市缺字庫製作的緣起


談「看上帝」―引得市缺字庫製作的緣起


雖然,我不是基督徒,不過還是要向大家聊一下這個miracle。

故事要回到8年前的某一天,當時筆者正在日本大東文化大學留學,那天正在東京神保町閒逛。書店無意中看到一本雜誌,名為《漢字文獻情報處理研究》,是由「漢字文獻情報處理研究會」所編輯出版,心想如果有機會很希望入會,因為這是自己感興趣的領域。

內容全部翻閱後,看到作者簡介,有位名為「上帝...」。而且正任職於目前就讀的學校。究竟這是命運的安排還是…。不知在多久之後自己入會了,鼓起勇氣寫信給「上帝」,自我介紹並表明想請益缺字處理等相關問題。(從Gmail查詢到這一封信是2010年6月5日)




很快的,當天就獲得「上帝」的回覆,說正擔任漢字文獻情報處理研究會副主席,知道我也在大東文化大學感到驚訝,「GlyphWiki」是目前研究進行的主要網站,對我的缺字處理研究也很有興趣。又說,每個星期四的2點至5點時間是有空的。

因此,在2010年6月10日的這一天,終於看到了「上帝」!(「2時30分に2号館620号室」)

自此,每星期的這個時候,就是「看上帝」的時間。學習了如何在「GlyphWiki」造字,處理缺字等,至今8年間共造了14036字。也經常的用Email請教問題。2011年返台後,有幸今年的3月初前往日本,一週內二度與「上帝」會面。

以上內容就是「引得市」缺字庫發展的緣起。透過這個故事,感謝過去/現在/未來曾經幫助做我的老師、前輩、朋友們,對我來說你們其實和「上帝」一樣。

再次感謝!感恩!


關鍵字:2010年 神保町 漢字文獻情報處理研究 上帝 日本大東文化大學

----
※以上內容請尋找「帝」替換成「地」
※(上地)日語發音為「かみち」,而「かみ」這也是漢字「神」的發音。
※雜誌內某篇文章作者是上地宏一老師

古文字缺字資料庫
www.mebag.com/index/quezi/list.asp

GlyphWiki
glyphwiki.org/wiki/

2018年2月27日 星期二

引得市缺字字體編碼方案說明

引得市缺字字體編碼方案說明

知乎:https://zhuanlan.zhihu.com/p/34081721

撰文者:趙瑾昀

起先在
v1.x版本的seal字體中,我們擬使用基本平面私用區(Private Use Area, PUA),該區只有6400個位置,而當時我們的缺字數量已經達到了九千多,所以我們還使用了第15平面的SPUA作爲補充。

V1.x版本的seal字體有個很大的缺陷,那就是缺字的Unicode碼點是按照glyphwiki上的順序自動順延產生,並不固定。這意味着同一個缺字在不同版本的字體中所使用的Unicode碼點往往不同(因爲我們在glyphwiki造字時會按照康熙部首順序從中間位置插入新字,從而更動了原來的順序),致使不同版本的字體不能兼容。


攷慮到引得市的缺字字形是由缺字編碼唯一確定的,所以若要固定缺字字形的Unicode碼點,就必須爲每一個合法的缺字編碼預分配/映射一個Unicode碼點,使其能夠一一對應。一個合法的缺字編碼可表示爲sXXX-YYY,其中XXX取值笵圍爲001~215,代表康熙214部首及圖形部,總計215部;而YYY取值笵圍爲001~999,爲該部下具體的編號。因此引得市缺字編碼的空間大小爲215*999=214785,大約需要佔用4個平面/Plane(注:每個平面有65536個碼點)。在這種情況下把基本平面和第15、16平面的私用區都拿過來也不夠用,因此我們借鑑中華字庫中間字庫的做法,選擇佔用目前未定義的第10~13平面(U+A0000~U+DFFFF)作爲編碼空間,以儘量避免在可預見的未來數十年內與其他字庫產生衝突(如使用了第15、16平面的全字庫,使用了第3至第6平面的中華字庫中間字庫等等,以及CJK擴展G集即將啓用的第3平面)。


圖1 生成缺字編碼空間的Python程式

圖2 生成對應Unicode編碼的Python程式(其中每個平面的最後兩個字符,即U+XFFFE和U+XFFFF,需要跳過)


圖3 得到的缺字編碼與Unicode碼點對應表

2015年5月17日 星期日

20151017《戰國古文字典:戰國文字聲系》索引數位化完成

20151017《戰國古文字典:戰國文字聲系》索引數位化完成





字例 4322
缺字 2278
總字例 6600


上冊:1-834
下冊:835-1563

本文(1-1461)
補遺(1462-1475)
合文(1476-1508)
附錄(1509-1563)
書刊簡錄(1564-1567)
筆畫索引(1568-1606)
後記(1607)

    《戰國古文字典:戰國文字聲系》是知名學者何琳儀先生的著作,是古文字研究相當重要參考文獻。「引得市」成立之後,本來很早就該數位化索引,礙於原書是手寫字,OCR文字辨識無法處理,重新打字又過於耗時費力,故一直沒有著手進行。近期筆者研究有考察的需要,順勢抽空就來處理看看。

●索引數位化的進行,大約有幾個階段:


1.依原書逐頁逐字增補,若為「缺字」則立即建立該字的「構字式」(數天)
2.依需要的內容造字(數天)
3.補充「筆畫檢字表」的頁碼及字頭的「筆畫」資訊(數小時)

    原始的資料是筆者向「小學堂」索取的,內容少了很多缺字,擴充字也沒有很完整,即使如此,也一定比重新打字來得快,筆者即依原書頁面逐字逐頁開始增補字頭。進行期間,華南師範大學的「偉明兄」很巧的MAIL傳來黃振亞、何春玲製作的「戰國古文字典」檢字表。

    看了內容,因為是初次索引數位化,還在摸索中,二千多個缺字自然是沒有辦法處理。僅以原書的「筆畫檢字表」來輸入建立,因此字頭也不完整(原書「附錄」的字頭並沒有放入筆畫檢索表中)。僅取用「筆畫檢字表頁碼」的資料,其餘還是以筆者自己建立的為主。過程中也時常勞煩「瑾昀兄」協助整理內容(正規表現),讓索引處理的進度大幅向前。

    缺字造字花了不少的時間,《戰國古文字典》龐大的缺字數量僅次於一年前處理的《戰國文字編》。幾天內大約又造了一千餘字,因此〈古文字缺字資料庫〉也來到了8533個缺字達到現階段最高峰。另外,「缺字」的「筆畫數」也必須輸入,沒有其他方式可以快速的完成,也得實際手動一筆一筆算出,2278個缺字也算了幾個小時,算筆畫感覺比校正內容還要累……,幸好還是完成了。

    因為筆者是以原書本文逐頁字頭輸入校正,因此字頭不容易遺漏,且頁碼有相當高的正確率,但是字頭與「筆畫檢字表」的對應則並沒有逐頁對照檢查,因此錯誤一定不少,而「筆畫檢字表的頁碼」會錯誤的另外原因係筆者字頭的筆畫數,是參照UNICODE的筆畫數,並不是原書的筆畫數。筆畫及筆畫檢字表頁碼欄位的資料,如果有朋友願意再校正,筆者亦可提供檔案。

    這是近期花了很多時間整理的索引資料,也是集合眾人之力所完成的,希望未來有更多朋友加入文獻索引建立的行列,讓研究能更為便利且更有效率。最後,筆者一如往常於「引得市」公開提供使用,也向原書作者及辛苦的學者們至上崇高的敬意。


Google搜尋:「引得市」
或網址列輸入:www.mebag.com/index/
即可查詢《戰國古文字典:戰國文字聲系》索引



PS:因為「引得市」程式的限制,一列一次只能顯示一個缺字,而剛好合文二字又都是缺字,因此筆者又多增一列來顯示第二個缺字。
內容列到數第二的[韋馬][韋隹]

[韋馬]s178-038
[韋隹]s178-012

PS:筆者原則上擴張CDE的字也都會造字處理,但會在缺字編號後面有個括弧,附上該擴張字。

---------------


※強烈建議※

戰國文字的「缺字」的檢索,一定要從〈古文字缺字資料庫〉開始檢索
www.mebag.com/index/quezi/list.asp

以下有圖參照:
例如,輸入「我邑」,然後點選「古文字」,即可知目前有二本文獻有此缺字。
分別在856與436頁。

※強烈建議※

《戰國古文字典:戰國文字聲系》
筆者更正處:
筆畫檢字表1580頁,10畫「𦕏」字,該頁漏此字。
筆畫檢字表1583頁,11畫「䓒」字,頁碼1123有誤,修正為「1124」」。



--------------------

何琳儀,《戰國古文字典:戰國文字聲系》,北京:中華書局,1998年9月。
ISBN:7-101-01625-1

20141014《戰國文字編》筆畫檢字表數位化完成(連結失效)

20170917《戰國文字編》(修訂本)字頭索引數位化完成


湯餘惠,《戰國文字編》,福州:福建人民出版社,2001年12月。
ISBN:7-211-03935-3

「小學堂」
http://xiaoxue.iis.sinica.edu.tw/


原始舊連結(無法連結)
http://blog.yam.com/ebag/article/107840400

20261025《張家山漢簡.算數書》全文資料庫發布

 20261025《張家山漢簡.算數書》全文資料庫發布 知乎: https://zhuanlan.zhihu.com/p/2097650766513284765 【訂閱支持引得市】 https://www.mebag.com/index/donate.asp 台灣大專院校、機構固...