站內精準搜尋

顯示具有 unicode 標籤的文章。 顯示所有文章
顯示具有 unicode 標籤的文章。 顯示所有文章

2021年4月10日 星期六

20210409〈引得市〉新版部件檢索的更新與介紹

 20210409〈引得市〉新版部件檢索的更新與介紹


知乎:https://zhuanlan.zhihu.com/p/363774635


【前言】


▲部件檢索新界面,全部顯示展開約1720x800像素


開始說明之前,請朋友們先下載「全宋體.zip」才能完整顯示所有內容

騰訊微雲下載:https://share.weiyun.com/w3CEWWfK


「部件檢索」是筆著好友w兄所整體研發的漢字檢索、拆分的程式界面,這幾年提供〈引得市〉應用於數百種文獻的查詢,又由瑾昀兄的調整修正,讓程式更能符合〈引得市〉的操作需要。「部件檢索」詳細發展脈落可以參考w兄的部落格。以下為w兄的部落格文章:


〈部件檢索公開授權〉

http://fgwang.blogspot.com/2015/12/blog-post_30.html


〈漢字使用環境的建置 —— 十五萬漢字粉墨登場〉

https://fgwang.blogspot.com/2021/03/blog-post.html


這次的新版更新,已經能夠顯示到十五萬個漢字,而且因應使用著的需求反饋,瑾昀兄加入了點選文字就能夠把文字轉成圖形,並且下載的功能。

目前線上的版本是::0.9.1.5 (2021年04月)。簡單說明一下舊版與新版的差異:


1.虛擬鍵盤的分類替換

原本傳統鍵盤採取筆畫分類,由少至多,現改為「類聚鍵盤」(見W兄文章),從左至右分別是:筆畫、字頭、包圍、計數、自然、地理、動物、植物、人體、食飲、衣飾、住居、行旅、書樂、祭祀、器物、軍事、人稱、生命、顏色、動作、雜類等二十二項。


一開始或許朋友們會不習慣,不過工具就是這樣,如果真的很好用,稍微改變習慣,調整一下方式,應該很快就能適應。畢竟這個程式界面能夠讓我們快速的組合、構成漢字,只要心中有某個漢字的部件形體,自然就能利用這個界面產生出我們需要的字例。至於各種組合過程,就依照每個使用者的習慣了。


2.下載文字的圖形檔功能

缺字圖形的使用者,可能是文章、論文撰寫需要置入使用,有些人會自己造字,使用小畫家、photoshop等軟體組合拼湊字形。有了這個功能,直接可以取用,唯一的缺點就是還沒能提供「標楷體」的字形,短時間來說,除了標楷體之外,明體的缺字圖形應該都能藉由新版的界面來取得。而這個新功能的產生,是近期王森兄在QQ群的反饋,瑾昀兄認為方式可行,立即著手修改部件檢索的程式。




下載圖檔的方式很簡單,只要將滑鼠游標移動至想要的字上端,同時按下「Ctrl和滑鼠左鍵」,就能下載該字的圖形檔,包含基本漢字到擴充區G等十多萬字。下載的圖形檔是以原始unicode的編號為檔名,「古文字缺字資料庫」中則以「缺字編號」作為檔名。


「Ctrl+滑鼠右鍵」=「下載文字圖形」,目前並不支援黃土色的「補充字」,如果朋友有使用「補充字」圖形的需求,建議使用「babelmap」這個軟體,把「全宋體」中「FMing-F」或「FSung-F」的字體導出圖檔。


使用「BabelMap」輸出seal字型缺字圖檔

https://ebag2007.blogspot.com/2018/02/babemapseal.html


3.缺字圖形在的WORD的使用



很早之前的版本,由於瑾昀兄的設計,程式已經提供了「圖片模式」,這讓使用手機、平板等筆電、電腦以外的裝置也能夠顯示到十多萬個漢字,句選與否由使用者決定,當中字會有些微差異,可參圖例。還有左側有個「▼」倒三角形,點選之後用來縮放鍵盤,讓界面更簡潔。附帶一題「圖片模式」句選與否都能使用「下載文字圖形」的新功能。



我們無法要求出版者或編輯群安裝我們的字型檔,所以,使用圖形檔在古文字相關的文章編輯/出版上,會是比較保險的方式,缺點當然就是無法「檢索」,這點暫時是無解的。從「部件檢索」所下載的圖形檔大約是7.06×7.06公分(200×200像素),解析度72dpi的大小。圖形放到WORD大概會是這個樣子(見圖例)。是的,會很大,需要調整尺寸,如果將尺寸調整0.4公分左右,大致上能和12級的細明體搭配。如果是10級字則大約是0.38公分。




如果使用Photoshop調整,作法是這樣:先取消「重新取樣」,將解析度改成1150,然後再句選「重新取樣」,按下「確定」並重新存檔。這樣置入的圖就會剛好是0.44公分左右。或者在WORD每次置入圖形後,游標點選圖形二次,將寬高改成「0.44公分」也是一樣的效果。




置入並調整尺寸後,與左右文字會產生高低的落差,這時候還需要使用「字型」→「進階(V)」→「字元間距」進行挑整,選擇「位置P」:「下移」、「位移點數」「2.5」。(10級與12級的細明體都相同),使用者要利用圖形或者用字型直接顯示,就看個人需求了。



4.小結


1.新版部件檢索優化了引得市文獻字頭過濾的檢索速度,理論上會快於早先的版本。

2.如果發現「補充字」的列表字例出現很多問號,表示現在您使用的全宋體是舊版的,請朋友們重新下載「全宋體.zip」(因為又增加了許多補充字)。

3.部件檢索和古文字缺字資料庫都加了ctrl+鼠標點擊下載圖片的功能。


有了圖形下載的功能,研究生、學者們自此不用再為造字煩惱,直接取用線上的「部件檢索」。「部件檢索」沒有的字形字例,就是再移駕至「古文字缺字資料庫」,也一樣能享有+右鍵下載圖檔的功能。兩個資料庫如果都沒有,也歡迎告訴我們還缺少哪些字例,另外再進行造字…。


「古文字缺字資料庫」http://www.mebag.com/index/quezi/list.asp



【引得市本陣】191679638

對文獻索引製作、漢字相關文獻整理有興趣的朋友,想挖坑、跳坑、各種協作資料整理…,有很多相同興趣的朋友與專家在這裡交流,歡迎隨時加入QQ群。



「全宋體.zip」騰訊微雲下載:

https://share.weiyun.com/w3CEWWfK

2021年4月8日 星期四

引得市文獻索引的整理紀錄(上篇):引得市工具包再使用

引得市文獻索引的整理紀錄(上篇):引得市工具包再使用 


知乎:https://zhuanlan.zhihu.com/p/363258232
引得市文獻索引的整理紀錄(下篇):DBeaver的學習運用(資料庫管理工具)
Blog:https://ebag2007.blogspot.com/2021/04/dbeaver.html
知乎:https://zhuanlan.zhihu.com/p/363273707

前言

三月中旬的時候,筆著使用了瑾昀兄提供的最新「引得市工具包(index-tool)」進行unicode字的全面排查。


1.古文字缺字資料庫的unicode字排查


這次的工作,是要把目前「古文字缺字資料庫」的1.9萬字中排查出是否有unicode字,並且紀錄再更新。執行程式約花費2.5小時左右。


程式排查出來自動儲存成「mapping.txt」,共2956列,由於編號與的unicode字的對照不夠直觀,所以我們必須進行下一個步驟,以利目視逐一檢查。


EmEditor中進行「缺字轉圖片的正則」:


(s\d{3}-\d{3})

替換爲

<a href="http://www.mebag.com/index/quezi/list.asp?key4=entry&key3=\1"><img src="http://glyphwiki.org/glyph/ebag_\1.svg" alt="\1" height="26px" /></a>


把取代後的結果,複製貼到「HackMD」上,即可顯示缺字的字形,不過這時候我們又發現「HackMD」並無法完全顯示E區或之後的unicode字,所以瑾昀兄提供二種個方式就能讓「HackMD」的網頁顯示出所有的unicode字。

★讓HackMD【強制網頁改字體】★

 留言

  • 方式一
    1.按f12打開控制臺
    2.把代碼貼過去執行
var style = document.createElement(‘style’);
style.innerText = ‘:not(.fa) {font-family:Arial,FMing-p,FMing-1,FMing-2,FMing-3,FMing-F,FSung-p,FSung-1,FSung-2,FSung-3,FSung-F,Calibri,PMingLiU,PMingLiU-ExtB,HanaMinA,HanaMinB !important}’;
document.getElementsByTagName(‘head’)[0].append(style);
  • 方式二:強制書籤(強制字型)
    新建一個chrome書籤,網址欄填入以下代碼,在hackmd,點擊這個書籤可以實現之前同樣的功能,而且更快速。(已建立取名:強制網頁字型)

javascript:void((function(){var s=document.createElement('style');s.innerText=':not(.fa):not([class*="icon"]):not(i){font-family:Arial,FMing-p,FMing-1,FMing-2,FMing-3,FMing-F,FSung-p,FSung-1,FSung-2,FSung-3,FSung-F,Calibri,PMingLiU,PMingLiU-ExtB,HanaMinA,HanaMinB !important}';document.body.appendChild(s);})())

接著就是,依照內容逐一的檢查處理,因為「HackMD」每次只能列出500筆左右的內容,所以我們依序切割成6個檔案,匯出成6個html方便檢查。


以下就是執行的過程截圖:






















2.引得市總表unicode字排查


根據上次缺字庫的檢查結果,我們檢查出一些基本漢字或B區等unicode字。這些字例會與編號做成一個對照表,用來批次處理總表的字頭。總表指的是引得市主站中260種文獻的內容,目前大約70多萬列,是「引得市」最核心內容。

我們將利用製作W兄製作的的批次工具,很快的就能完成更新取代的作業。



▲ 總表取出的書名與字頭


▲ 缺字轉換表


▲ 批次取代器

3.小結

 留言

引得市進行Unicode字全面的排查更新作業,中間遇到了外接硬碟的毀損(3.19),我們仍然持續處理現有的資料,經過二周左右,硬碟修理還原費高達新台幣兩萬多元,消息發布期間,許多海內外的朋友斗內支援、硬碟的添購。日後會把細目列出。再次感謝大家!

Google表單:https://forms.gle/ss9TbHtQJDi6N2xm7

騰訊問卷:https://wj.qq.com/s2/8216629/4766/

目前中國大陸約有299位,台灣有49位,希望尚未填寫表單的朋友繼續填寫。可能有一些過程,還沒有說明得很詳盡,等日後再補充。接續的處理,詳見(下篇)。

【延伸閱讀】

20210309「引得市工具包」使用心得報告

Blog:https://ebag2007.blogspot.com/2021/03/20210309_21.html
知乎:https://zhuanlan.zhihu.com/p/355856032

2020年10月12日 星期一

20201012〈引得市〉文獻索引數位化教學2.2

20200121「引得市」文獻索引數位化教學2.2


知乎:https://zhuanlan.zhihu.com/p/265214981


【前言】


這篇文章提供了索引製作的朋友詳細的教學說明,面對各種文獻的輸入建檔,大致上會有四種狀況,我們在簡報中依序都有詳細的解說。


相較於2.1,調整的部份是配合2020年8月中旬起對缺字處理的策略改變,重新制定製作文獻索引的方法。我們對C~G區的字都不再造字,直接取用Unicode的字元。


※有些字或內容在平台上的顯示可能不完整,所以此文採取文字圖片並行的方式,文字摘錄重點列示,完整內容朋友們可以利用下方「騰訊微雲」的連結,下載瀏覽。


▼▼▼以下內容開始▼▼▼


★20200814「古文字缺字資料庫」缺字處理方針說明★


blog:ebag2007.blogspot.com/2020/08/20200814.html

知乎:zhuanlan.zhihu.com/p/183802882


部件檢索:www.mebag.com/index/component.asp


2020年8月中旬開始,〈引得市〉新的文獻索引,會直接使用C~G擴張區的字頭。在此之前,我們都會為這些區段的Unicode字編號造字。

「缺字庫」列表中的流水號,以游標點選有「複製」整列字頭的功能,在方針策略改變後,其中Unicode字的複製的功能會過濾掉。 例如:原本應該會是「s001-001(     )」,會變為    。其他Unicode以外的缺字,功能一樣沒有改變。請詳見方針說明。▲


▲以上為簡報檔▲第2頁---------------------▲


文獻索引製作之前,請先下載安裝這兩種字型

⊙「花園明朝(HanaMin)」」

⊙「全宋體」

下載連結如下: https://zh-tw.osdn.net/projects/hanazono-font/downloads/68253/hanazono-20170904.zip/


https://pan.baidu.com/s/1W18LprA9gIali_uRIbZw9g

提取碼:cz8r


安裝好字型之後,建議將關閉瀏覽器再重開,測試看看能否正確的顯示。


延伸閱讀:

關於漢字的顯示,w兄《漢字使用環境的建置 ㈠ —— 顯示篇》http://fgwang.blogspot.com/2018/02/blog-post.html



▲以上為簡報檔▲第3頁---------------------▲


無論是掃描後圖檔以OCR文字辨識,或直接打字輸入再校正。接下來,辨別、認識文字是歸屬於“基本漢字、A或B~G區字”是數位化前的首項要務,另外,分辨是否為“缺字” ,也是重要的工作。


先使用“部件檢索”查詢,這裡沒有的字,我們再利用“古文字缺字資料庫”查詢看看。


部件檢索:www.mebag.com/index/component.asp

古文字缺字資料庫:www.mebag.com/index/component.asp


▲以上為簡報檔▲第5頁---------------------▲


索引的製作,建議使用「excel」或具備相同功能的軟體,無論以「筆畫檢字表」或「音序檢字表」製作,都一定要注意「排序」,要保持順序的正確,建議在字頭或條目的前一欄加入一個數字流水號。


▲以上為簡報檔▲第7頁---------------------▲


A:流水號

B:書名

C:筆畫或其他分類

D:字頭或詞彙

E:頁碼

F:索引頁頁碼

G:Gopage欄位(暫時先空著)

H:字號(若無直接空著)

I:備註

J:構字式


「字號」在甲金文這類文獻中扮演著重要的角色,有些圖形字或未隸定字,如果有「字號」作為註記,使用者就很容易透過字號找到它們。


因此,強烈建議製作者在索引數位化時一併整理起來!


▲以上為簡報檔▲第8頁---------------------▲


狀況1:遇到C區或之後的字

在〈部件檢索〉輸入「尚上」查詢。 ※只要是unicode字(即A~G區),現階段缺字庫已經不會再編號與造字。


▲以上為簡報檔▲第10頁---------------------▲


狀況1:遇到C區或之後的字(在“部件檢索”能夠找得到、有顯示出來的)

缺字庫「Unicode字」欄位內的意思是該字相對應的Unicode字。

(CDEFG區,也可能是兼容字)該字實際上已編碼,過去引得市的缺字資料庫為了相容舊式系統依然視爲缺字並給予編號。


▲以上為簡報檔▲第11頁---------------------▲


狀況2:遇到基本漢字、A區、 B區的文字

如果是基本漢字、A區或B區的字,就不必輸入「構字式」的任何內容。換句話說,只要不是C~G區字或“缺字”,只需要在字頭欄位輸入文字就可以。


▲以上為簡報檔▲第14頁---------------------▲


狀況3:「部件檢索」和「缺字庫」都沒有這個字…

例如以「口口巿」查詢,都查不到這個字,這時候,請在字頭欄位中填上「d」或「q」的英文標記。


▲以上為簡報檔▲第15頁---------------------▲


狀況3:「部件檢索」和「缺字庫」都沒有這個字…

字頭欄位中填上「d」或「q」的英文標記。然後在對應的「構字式」填上詳細的內容。構字式可能會有多種組合,前後以“,”區隔(半形逗點符號)


▲以上為簡報檔▲第16頁---------------------▲


狀況4:既不屬於缺字,也無法打出來的內容要怎麼辦?

像這樣的“字”或“族徽”圖形等,我們統稱為「圖形字」。圖形格式為png格式,命名規範如:txxx-xxxx-xxx(最前面是「t+書名文獻編號」為三碼編號,接著四碼頁碼,最後是流水號三位數)圖形字,筆畫欄位,請都輸入「0」。


▲以上為簡報檔▲第18頁---------------------▲


狀況4:既不屬於缺字,也無法打出來的內容要怎麼辦?

書名文獻編號,可先輸入t999暫代,回傳引得市之後會再改為符合現在實際的書名文獻編號。例如:t999-0100-003代表某書的第100頁的第3個圖形字,圖形字的流水號依照不同頁面,重新由001開始。在前端的檢索界面,使用者可輸入「t」作全面的瀏覽,或者輸入詳細的頁碼數據來查詢。


▲以上為簡報檔▲第19頁---------------------▲


其實,索引製作的門檻不高,不一定先要有文字學的基礎,只要善用工具,帶著邊做邊學習的心情,就可順利完成各種類型的索引製作。


衷心建議,無論文獻索引數位化的來源是“筆畫檢索表”或“音序檢索表” ,如果時間允許,應該再逐字逐頁依照文獻的本文排序,調整內容順序比對一至二次。


▲以上為簡報檔▲第21頁---------------------▲


---


「引得市」文獻索引數位化教學2.2 簡報檔

騰訊微雲下載:https://share.weiyun.com/kbkKXFHS


「引得市」文獻索引數位化教學2.2 PDF檔

騰訊微雲下載:https://share.weiyun.com/hCnlcf0A


【延伸閱讀】

「引得市」文獻索引數位化教學2.1

此次相較於前一版的教學內容,多了第四種狀況,在製作甲骨金文等文獻時,常有些圖形或未隸定字,應如何處理?這次有詳細的說明。

Blog:https://ebag2007.blogspot.com/2018/11/21.html

知乎:https://ebag2007.blogspot.com/2018/11/21.html


























20261025《張家山漢簡.算數書》全文資料庫發布

 20261025《張家山漢簡.算數書》全文資料庫發布 知乎: https://zhuanlan.zhihu.com/p/2097650766513284765 【訂閱支持引得市】 https://www.mebag.com/index/donate.asp 台灣大專院校、機構固...