站內精準搜尋

2021年4月8日 星期四

引得市文獻索引的整理紀錄(下篇):DBeaver的學習運用(資料庫管理工具)

 引得市文獻索引的整理紀錄(下篇):DBeaver的學習運用(資料庫管理工具)


知乎:https://zhuanlan.zhihu.com/p/363273707


引得市文獻索引的整理紀錄(上篇):引得市工具包再使用 

Blog:https://ebag2007.blogspot.com/2021/04/blog-post.html

知乎:https://zhuanlan.zhihu.com/p/363258232


前言

2021年4月7日的晚上,學習了使用「DBeaver」…


前篇說明筆者利用瑾昀兄與W兄所提供的程式,讓引得市總表(260種文獻索引)完成了unicode字的排查整理。就過去的習慣,還是得逐一更新另外獨立260種文獻的索引(excel格式)。


所以,我要開啟舊有索引,再把總表更新的字頭貼過去,這樣的動作要進行260次。為了能夠知道目前哪些已經完成、哪些還沒完成,我利用google keep把260種文獻清單貼上,每次完成一個,就句選文獻名稱備註。進行到49個的時候,我採用瑾昀兄的建議,學習「DBeaver」軟體,每次只更新維護總表,不再對單獨的excel檔案更新。需要時再匯出。


一個晚上,學好了軟體,也順便筆記一下「DBeaver」的使用方式



▲keep的紀錄

1.資料庫的新增與刪除

1.1 下載「DBeaver」


1.2 增加一個新的資料庫









1.3 刪除資料庫


 2.資料庫的部份內容匯出



















3.延伸應用:「SQL編輯器」貼入語法:(精算出所有索引的列數)







3.1 延伸應用「SQL編輯器」貼入語法:(精算缺字庫部首個別數量)

總表之外,也能再抓取古文字缺字資料庫的檔案,並且精算目前缺字庫各個部首的數量。語法如下:

過濾掉已註銷字的版本
`SELECT radical, count(*) AS count FROM toterm WHERE status = 1 GROUP BY radical;`
未過濾已註銷字的版本
`SELECT radical, count(*) AS count FROM toterm GROUP BY radical;`
 

4.小結

在「習慣」與「效率」兩邊,我選擇放棄以往的「習慣」,學習新的軟體。unicode聯盟每年都有新字發布,所以排查unicode字就是引得市每年都要進行的工作,例如:再來就是擴充H區的更新…。如果我沒改變處理方式,明年又得進行二百多個索引的複製貼出的作業流程。

而我們因為有詳細的unicode字的排查,所以每種文獻都能搭上最新發布的字,例如透過「部件檢索」我們可以輕易查得:《上博藏戰國楚竹書字匯》有62個字是擴充G區。這在其他網路上的資料庫是不容易看到的檢索方式。



缺字一般會是這樣的發展,以缺字編號「s001-001」([不不])作為例子



2020年8月開始,缺字有新的處理方式,最新製作的文獻索引,Unicode「C、D、E、F、G」區的字直接錄入字頭,不再有編號以及造字。缺字編號與unicode不再並列顯示,字頭欄位中的「s001-001(𫠭)」都會直接作「𫠭」。目前為止我們已經排查過引得市資料庫中所有的字頭,完全支援基本漢字到擴充G區的顯示與查詢。

這些讓資料庫保持最新相應的字頭的作業流程,如果沒有紀錄寫成文章,很多人應該也不知道「引得市」的價值所在?

一切都是瑾昀兄與W兄所精心製作的程式與建議,讓資料保持最精確並且與時俱進,作為引得市的使用者都應該謝謝他們。

【延伸閱讀】
20200814「古文字缺字資料庫」缺字處理方針說明

維基百科:Unicode擴充漢字


引得市文獻索引的整理紀錄(上篇):引得市工具包再使用

引得市文獻索引的整理紀錄(上篇):引得市工具包再使用 


知乎:https://zhuanlan.zhihu.com/p/363258232
引得市文獻索引的整理紀錄(下篇):DBeaver的學習運用(資料庫管理工具)
Blog:https://ebag2007.blogspot.com/2021/04/dbeaver.html
知乎:https://zhuanlan.zhihu.com/p/363273707

前言

三月中旬的時候,筆著使用了瑾昀兄提供的最新「引得市工具包(index-tool)」進行unicode字的全面排查。


1.古文字缺字資料庫的unicode字排查


這次的工作,是要把目前「古文字缺字資料庫」的1.9萬字中排查出是否有unicode字,並且紀錄再更新。執行程式約花費2.5小時左右。


程式排查出來自動儲存成「mapping.txt」,共2956列,由於編號與的unicode字的對照不夠直觀,所以我們必須進行下一個步驟,以利目視逐一檢查。


EmEditor中進行「缺字轉圖片的正則」:


(s\d{3}-\d{3})

替換爲

<a href="http://www.mebag.com/index/quezi/list.asp?key4=entry&key3=\1"><img src="http://glyphwiki.org/glyph/ebag_\1.svg" alt="\1" height="26px" /></a>


把取代後的結果,複製貼到「HackMD」上,即可顯示缺字的字形,不過這時候我們又發現「HackMD」並無法完全顯示E區或之後的unicode字,所以瑾昀兄提供二種個方式就能讓「HackMD」的網頁顯示出所有的unicode字。

★讓HackMD【強制網頁改字體】★

 留言

  • 方式一
    1.按f12打開控制臺
    2.把代碼貼過去執行
var style = document.createElement(‘style’);
style.innerText = ‘:not(.fa) {font-family:Arial,FMing-p,FMing-1,FMing-2,FMing-3,FMing-F,FSung-p,FSung-1,FSung-2,FSung-3,FSung-F,Calibri,PMingLiU,PMingLiU-ExtB,HanaMinA,HanaMinB !important}’;
document.getElementsByTagName(‘head’)[0].append(style);
  • 方式二:強制書籤(強制字型)
    新建一個chrome書籤,網址欄填入以下代碼,在hackmd,點擊這個書籤可以實現之前同樣的功能,而且更快速。(已建立取名:強制網頁字型)

javascript:void((function(){var s=document.createElement('style');s.innerText=':not(.fa):not([class*="icon"]):not(i){font-family:Arial,FMing-p,FMing-1,FMing-2,FMing-3,FMing-F,FSung-p,FSung-1,FSung-2,FSung-3,FSung-F,Calibri,PMingLiU,PMingLiU-ExtB,HanaMinA,HanaMinB !important}';document.body.appendChild(s);})())

接著就是,依照內容逐一的檢查處理,因為「HackMD」每次只能列出500筆左右的內容,所以我們依序切割成6個檔案,匯出成6個html方便檢查。


以下就是執行的過程截圖:






















2.引得市總表unicode字排查


根據上次缺字庫的檢查結果,我們檢查出一些基本漢字或B區等unicode字。這些字例會與編號做成一個對照表,用來批次處理總表的字頭。總表指的是引得市主站中260種文獻的內容,目前大約70多萬列,是「引得市」最核心內容。

我們將利用製作W兄製作的的批次工具,很快的就能完成更新取代的作業。



▲ 總表取出的書名與字頭


▲ 缺字轉換表


▲ 批次取代器

3.小結

 留言

引得市進行Unicode字全面的排查更新作業,中間遇到了外接硬碟的毀損(3.19),我們仍然持續處理現有的資料,經過二周左右,硬碟修理還原費高達新台幣兩萬多元,消息發布期間,許多海內外的朋友斗內支援、硬碟的添購。日後會把細目列出。再次感謝大家!

Google表單:https://forms.gle/ss9TbHtQJDi6N2xm7

騰訊問卷:https://wj.qq.com/s2/8216629/4766/

目前中國大陸約有299位,台灣有49位,希望尚未填寫表單的朋友繼續填寫。可能有一些過程,還沒有說明得很詳盡,等日後再補充。接續的處理,詳見(下篇)。

【延伸閱讀】

20210309「引得市工具包」使用心得報告

Blog:https://ebag2007.blogspot.com/2021/03/20210309_21.html
知乎:https://zhuanlan.zhihu.com/p/355856032

20261025《張家山漢簡.算數書》全文資料庫發布

 20261025《張家山漢簡.算數書》全文資料庫發布 知乎: https://zhuanlan.zhihu.com/p/2097650766513284765 【訂閱支持引得市】 https://www.mebag.com/index/donate.asp 台灣大專院校、機構固...