近年來(lái)，越來(lái)越多的研究人員嘗試開(kāi)發(fā)機(jī)器學(xué)習(xí)技術(shù)（例如CNN）來(lái)分析藝術(shù)品。到目前為止，這些工具主要用于識(shí)別創(chuàng)作特定藝術(shù)品的藝術(shù)家或確定繪畫(huà)是真實(shí)的還是偽造的。
荷蘭TU Delft的研究人員最近開(kāi)發(fā)了一種基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）的模型，用于重建隨著時(shí)間而惡化的圖紙。在發(fā)表于Springer的《機(jī)器視覺(jué)與應(yīng)用》中的研究中，他們專(zhuān)門(mén)使用該模型重建了Vincent Van Gogh的一些繪圖，這些繪圖由于墨水褪色和變色而多年來(lái)被破壞。
進(jìn)行這項(xiàng)研究的研究者之一揚(yáng)·范德·盧貝（Jan van der Lubbe）告訴作者：“荷蘭在藝術(shù)方面享有國(guó)際聲譽(yù)，其中包括倫勃朗，蒙德里安和梵高等著名藝術(shù)家。” “因此，藝術(shù)史研究和如何保護(hù)文化遺產(chǎn)的研究在荷蘭起著重要作用。”
圖片提供：Zeng，van der Lubbe和Loog
與先前的研究形成對(duì)比，范德魯貝（Van der Lubbe）和他的同事著手研究如何使用機(jī)器學(xué)習(xí)技術(shù)對(duì)劣化的繪畫(huà)進(jìn)行像素化重構(gòu)。在藝術(shù)保存方面，繪畫(huà)和素描的惡化是一個(gè)關(guān)鍵挑戰(zhàn)，因此可以自動(dòng)重建殘缺或殘缺藝術(shù)品的工具將大大簡(jiǎn)化藝術(shù)史學(xué)家的工作。
代爾夫特理工大學(xué)的研究人員團(tuán)隊(duì)對(duì)后印象派畫(huà)家梵高（Van Gogh）的作品進(jìn)行了基于CNN的模型的退化畫(huà)質(zhì)復(fù)制品培訓(xùn)。實(shí)際上，在過(guò)去的一個(gè)世紀(jì)中，梵高的一些水墨畫(huà)已經(jīng)大大惡化，藝術(shù)史學(xué)家經(jīng)常嘗試復(fù)制它們。
這些圖形目前無(wú)法顯示，并且在幾十年后它們可能會(huì)完全退化。考慮到這一點(diǎn)，范德魯貝（Van der Lubbe）和他的同事們希望開(kāi)發(fā)一種模型，該模型可以自動(dòng)重建這些珍貴的藝術(shù)品，以保護(hù)它們并使公眾可以使用。
圖片提供：Zeng，van der Lubbe和Loog。
“我們研究的主要目標(biāo)之一是通過(guò)機(jī)器學(xué)習(xí)方法來(lái)預(yù)測(cè)藝術(shù)品在紙上的原始，過(guò)去和將來(lái)的外觀，這些方法結(jié)合了對(duì)所用顏色及其隨時(shí)間變色的深入研究結(jié)果，范德魯貝說(shuō)。“這可能有助于設(shè)想例如梵高的一幅畫(huà)在創(chuàng)作時(shí)的樣子。”
van der Lubbe和他的同事設(shè)計(jì)的方法將多分辨率圖像分析技術(shù)和深層CNN結(jié)合在一起，以像素為單位預(yù)測(cè)圖形的過(guò)去外觀。CNN是受生物神經(jīng)網(wǎng)絡(luò)（例如人腦中的神經(jīng)網(wǎng)絡(luò)）啟發(fā)的算法，可以通過(guò)分析大量數(shù)據(jù)來(lái)訓(xùn)練它們完成特定任務(wù)。
van der Lubbe說(shuō)：“據(jù)我們所知，關(guān)于使用機(jī)器學(xué)習(xí)方法進(jìn)行藝術(shù)品的數(shù)字重建的研究很少或很少。” “這是推動(dòng)我們的研究和使用機(jī)器學(xué)習(xí)來(lái)重建藝術(shù)品的關(guān)鍵思想。從早期的研究中，我們考慮了不同的機(jī)器學(xué)習(xí)算法，卷積神經(jīng)網(wǎng)絡(luò)（CNN）方法似乎最有前途。”
在他們的研究中，研究人員專(zhuān)門(mén)培訓(xùn)了CNN，以數(shù)字方式重建紙上褪色的梵高圖紙。該算法在一個(gè)數(shù)據(jù)集上進(jìn)行了訓(xùn)練，該數(shù)據(jù)集包含上個(gè)世紀(jì)在不同時(shí)間制作的質(zhì)量不同的原始圖紙的復(fù)制品。
范德魯貝說(shuō)：“我們?cè)谘芯恐惺褂玫睦邮欠哺咦髌返膹?fù)制品，KUKA機(jī)器人示教器維修，其內(nèi)容和顏色的褪色程度不那么嚴(yán)重，因此它們更接近凡高制作的原始作品。” “我們從梵高博物館收藏中獲得了原始圖紙和復(fù)制品。”
范德·盧貝（van der Lubbe）和他的同事們提出的方法除了揭示過(guò)去的繪畫(huà)外觀之外，還可以幫助藝術(shù)史學(xué)家確定適當(dāng)?shù)乃囆g(shù)品保存和修復(fù)策略，以及藝術(shù)品保存和展示的有效做法。
圖片提供：Zeng，van der Lubbe和Loog
研究人員通過(guò)一系列實(shí)驗(yàn)評(píng)估了他們的模型，發(fā)現(xiàn)該模型取得了顯著成果。他們的發(fā)現(xiàn)強(qiáng)調(diào)了使用機(jī)器學(xué)習(xí)對(duì)退化的圖像，文檔和藝術(shù)品進(jìn)行預(yù)測(cè)性重建的可行性。盡管研究人員專(zhuān)門(mén)使用他們的模型來(lái)重建梵高的繪畫(huà)，但也可以將其應(yīng)用于其他惡化的紙上藝術(shù)品或19世紀(jì)手稿。
van der Lubbe說(shuō)：“與迄今為止使用其他方法所獲得的結(jié)果相比，對(duì)梵高工程圖進(jìn)行數(shù)字重建所獲得的結(jié)果更好。” “當(dāng)然，KUKA機(jī)器人維修，梵高只是一個(gè)試驗(yàn)或一個(gè)例子。我們的技術(shù)也可以從梵高的圖紙擴(kuò)展到其他藝術(shù)家，繪畫(huà)和舊文件的圖紙。”
將來(lái)，范德·盧貝（van der Lubbe）和他的同事開(kāi)發(fā)的工具可以幫助藝術(shù)史學(xué)家對(duì)藝術(shù)品進(jìn)行逼真的重建，否則這些藝術(shù)品可能會(huì)完全退化。在他們最近的研究中，研究人員一次只專(zhuān)注于一幅畫(huà)，www.amc-iso.com，在有限數(shù)量的復(fù)制品上訓(xùn)練了他們的CNN。但是，該模型還可以用于基于大量復(fù)制品來(lái)預(yù)測(cè)原始圖紙的外觀。
另外，該技術(shù)當(dāng)前通過(guò)分析視覺(jué)信息而起作用。在他們的下一個(gè)研究中，研究人員希望調(diào)查分析視覺(jué)和化學(xué)相關(guān)信息（例如，墨水的成分及其降解率）是否可以增強(qiáng)模型的性能。
van der Lubbe說(shuō)：“在目前的研究中，我們繪制的今日?qǐng)D紙質(zhì)量有所下降。” “我們認(rèn)為重建原始圖形也將是一個(gè)巨大的挑戰(zhàn)，特別是在原始圖形不可用或已消失的情況下，因此我們只能復(fù)制過(guò)去的圖形。”