【復(fù)盤】文檔批量切割與轉(zhuǎn)換:python + pandoc + shell

背景

現(xiàn)有一 Markdown 文件,其中有 50 個(gè)小組塊,組塊之間以二級(jí)標(biāo)題區(qū)分。每個(gè)二級(jí)標(biāo)題下有 1 張圖片,然后是文字。

以下是文檔中部分內(nèi)容示例:

## 1. 小明

![](小明打羽毛球的球場(chǎng)網(wǎng)址)

今天小明去打羽毛球。

## 2. 小紅

![](小紅逛街的商店網(wǎng)址)

今天小紅去逛街。

現(xiàn)在希望:

  • 把這 50 個(gè)組塊單獨(dú)切割出來(lái)
  • 每個(gè)組塊均轉(zhuǎn)換為 doc 文件
  • 文件名為小標(biāo)題名(只有中文,不含數(shù)字序號(hào))
  • 每個(gè)小組塊文件中,以小標(biāo)題為內(nèi)文標(biāo)題(只有中文,不含數(shù)字序號(hào))

問(wèn):

如何批量完成該工作?

任務(wù)拆分

  1. 將 1 個(gè) md 文件批量切割 md 文件 為 50 個(gè) md 文件
  2. 切割的同時(shí),將小標(biāo)題作為文件名取出并直接為每個(gè)組塊文件命名
  3. 將 50 個(gè) md 文件批量轉(zhuǎn)換成 50 個(gè) doc 文件

工具準(zhǔn)備

  • python:撰寫批量切割的 python 腳本
  • pandoc:用于格式轉(zhuǎn)換
  • bash:通過(guò) shell 腳本實(shí)現(xiàn)批量的格式轉(zhuǎn)換;有可能需要用上批量重命名的命令 rename 來(lái)進(jìn)行邊角修改

任務(wù) 1: 批量切割文檔

首先思考:

如果是手動(dòng)切割,過(guò)程是怎樣的?

顯然我們是以二級(jí)標(biāo)題為切割標(biāo)志的。而二級(jí)標(biāo)題的代碼是 ##,會(huì)不會(huì)在文中其他地方出現(xiàn)呢?

進(jìn)一步觀察與思考會(huì)發(fā)現(xiàn):切割標(biāo)志其實(shí)不是 ##,而是 \n## ——也就是說(shuō),段落中或者網(wǎng)址中出現(xiàn)的 ## 都不是二級(jí)標(biāo)題的代碼,只有換行符 \n## 連續(xù)出現(xiàn)時(shí),## 才是二級(jí)標(biāo)題代碼。因此我們確定了切割標(biāo)志為:(字符串)\n##

python 中字符串的 str.split(sep, maxsplit) 方法可接受 2 個(gè)參數(shù)[1]

  1. 第 1 個(gè)參數(shù) sep 表示分割標(biāo)志(這里是 \n##
  2. 第 2 個(gè)參數(shù) maxsplit 表示最多分割幾次(由于是 50 份,故應(yīng)該切割 49 次)

所以將讀入的全文以小標(biāo)題為界分割為 50 份字符串的關(guān)鍵代碼是:

# 已將全文讀入 finContent 中
sp50 = finContent.split("\n##", 49)

任務(wù) 2:批量將已切割好的字符串導(dǎo)出到 50 個(gè) md 文件中,并以各小標(biāo)題為各文件命名

批量導(dǎo)出到 50 個(gè) md 文件中并不難,如果沒(méi)有上述命名需求,那么直接一個(gè)迭代 50 次的 for 循環(huán)即可解決該問(wèn)題。

問(wèn)題在于:

如何取得各小標(biāo)題名并為新生成的文件命名?

觀察每個(gè)小組塊,發(fā)現(xiàn)規(guī)律:

  1. 每個(gè)二級(jí)標(biāo)題中都有英文句號(hào)「.」,在「.」后的部分,除去空格,即為小標(biāo)題所有文字,這意味著:只要取得小標(biāo)題所在行的內(nèi)容,就可以用 str.split() 方法取得小標(biāo)題對(duì)應(yīng)文字
  2. 二級(jí)標(biāo)題下即為圖片代碼,也就是說(shuō)對(duì)這 50 個(gè)字符串而言,每個(gè)字符串可以 \n\n![]( 為分割標(biāo)志,從而取得小標(biāo)題所在行的內(nèi)容

因此取得小標(biāo)題的關(guān)鍵代碼為:

index = ((((iStr.split("\n\n![](")[0]).split('.'))[1]).split(' '))[1]

綜合前 2 項(xiàng)任務(wù),該腳本代碼如下(同時(shí)放在 GitHub 庫(kù)中):

#coding: utf-8

originPath = "/home/sushangjun/Documents/"
srcPath = originPath + "Top50Bussiness.txt"
tarPath = originPath + "output50/"

fin = open(srcPath, 'r')

finContent = fin.read()

sp50 = finContent.split("\n##", 49)

for iStr in sp50:
    index = ((((iStr.split("\n\n![](")[0]).split('.'))[1]).split(' '))[1]
    fout = open(tarPath + "{}.md".format(index), 'w')
    fout.write("## " + index + "\n\n![](" + (iStr.split("\n\n![]("))[1])
    fout.close()

fin.close()

在命令行中執(zhí)行該腳本,即可完成批量切割任務(wù)。

任務(wù) 3: 批量轉(zhuǎn)換格式

這里需要使用 Pandoc[2],Debian 系 Linux 只要使用 apt-get 安裝即可:

$ sudo apt-get install pandoc

完成后,輸入 pandoc --version 查看是否安裝成功。

若安裝成功,只要下述命令,即可將 a.md 轉(zhuǎn)換為 a.doc

$ pandoc a.md -o a.doc -c Github.css

但是這只能實(shí)現(xiàn)單文件的格式轉(zhuǎn)換,若需要多文件的格式轉(zhuǎn)換,顯然需要批處理。對(duì) *nix 稍有了解的人很容易聯(lián)想到使用 bash shell 來(lái)解決這個(gè)問(wèn)題:

  1. 讀取目錄下的文件列表
  2. 對(duì)讀取的每個(gè)文件名執(zhí)行上述 pandoc 命令

由于事情緊急,因此查找網(wǎng)絡(luò)資料后,在命令行中輸入下述命令,完成文件格式批量轉(zhuǎn)換:[3]

注:下述操作均默認(rèn)在 50 個(gè) md 文件所在目錄下進(jìn)行

$ ls > aa.md
$ cat aa.md |while read line
> do
> pandoc $line -o $line.doc -c Github.css
> done

這樣基本完成了批量格式轉(zhuǎn)換問(wèn)題。但有 1 點(diǎn)不美:那就是在此操作下,得到的文件后綴是 .md.doc 而非 .doc。如何解決這個(gè)問(wèn)題呢?最后我們就使用 rename 方法搭配簡(jiǎn)單的正則表達(dá)式,完成該任務(wù):[4]

rename 's/\.md.doc/\.doc/' *

相關(guān)代碼也已經(jīng)寫成 shell script 形式上傳到 GitHub 庫(kù)中.

參考資料


  1. Python 3.5: str.split ?

  2. Markdown寫作進(jìn)階:Pandoc入門淺談 ?

  3. shell 循環(huán)文件列表取出文件名 ?

  4. Linux批量修改文件名方法小結(jié) ?

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 228,156評(píng)論 6 531
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡,警方通過(guò)查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 98,401評(píng)論 3 415
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái),“玉大人,你說(shuō)我怎么就攤上這事?!?“怎么了?”我有些...
    開封第一講書人閱讀 176,069評(píng)論 0 373
  • 文/不壞的土叔 我叫張陵,是天一觀的道長(zhǎng)。 經(jīng)常有香客問(wèn)我,道長(zhǎng),這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 62,873評(píng)論 1 309
  • 正文 為了忘掉前任,我火速辦了婚禮,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 71,635評(píng)論 6 408
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 55,128評(píng)論 1 323
  • 那天,我揣著相機(jī)與錄音,去河邊找鬼。 笑死,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 43,203評(píng)論 3 441
  • 文/蒼蘭香墨 我猛地睜開眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來(lái)了?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 42,365評(píng)論 0 288
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒(méi)想到半個(gè)月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 48,881評(píng)論 1 334
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 40,733評(píng)論 3 354
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 42,935評(píng)論 1 369
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 38,475評(píng)論 5 358
  • 正文 年R本政府宣布,位于F島的核電站,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 44,172評(píng)論 3 347
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 34,582評(píng)論 0 26
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 35,821評(píng)論 1 282
  • 我被黑心中介騙來(lái)泰國(guó)打工, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 51,595評(píng)論 3 390
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 47,908評(píng)論 2 372

推薦閱讀更多精彩內(nèi)容