日前，谷歌在 Nature 合作期刊《npj Quantum Information》上發(fā)表了一篇論文，提出結(jié)合深度強(qiáng)化學(xué)習(xí)的方法來實(shí)現(xiàn)通用量子控制，從而能夠極大地提高量子計(jì)算機(jī)的計(jì)算能力。谷歌也在官方博客上發(fā)表文章介紹了這項(xiàng)工作。
實(shí)現(xiàn)近期量子計(jì)算機(jī)的主要挑戰(zhàn)之一與其最基本的組成有關(guān)：量子比特。量子位可以與任何攜帶與自身能量相近的東西交互，包括雜散光子(如不需要的電磁場(chǎng))、聲子(量子設(shè)備的機(jī)械性振蕩)或量子虧損(制造期間所形成的芯片基板中的不規(guī)則性)，其中，量子虧損會(huì)不可預(yù)測(cè)地改變量子比特本身的狀態(tài)。
而使問題進(jìn)一步復(fù)雜化的是，用于控制量子比特的工具帶來了許多挑戰(zhàn)。研究者通過經(jīng)典的控制方式來操作和讀取量子比特：模擬信號(hào)以電磁場(chǎng)的形式耦合到其中嵌入了量子比特的物理基底，例如超導(dǎo)電路。這些控制電子設(shè)備中的缺陷(會(huì)造成白噪聲)、來自外部輻射源的干擾以及數(shù)模轉(zhuǎn)換器的波動(dòng)會(huì)引入更多的隨機(jī)誤差，從而降低量子線路的性能。這些現(xiàn)實(shí)問題都會(huì)影響計(jì)算的保真度，因此限制了近期量子設(shè)備的應(yīng)用。
為了提高量子計(jì)算機(jī)的計(jì)算能力，并為實(shí)現(xiàn)大規(guī)模量子計(jì)算鋪路，就必須首先建立能夠準(zhǔn)確描述這些實(shí)驗(yàn)性問題的物理模型。
谷歌在 Nature 合作期刊《npj Quantum Information》上發(fā)表的《通過深度強(qiáng)化學(xué)習(xí)實(shí)現(xiàn)通用量子控制》(Universal Quantum Control through Deep Reinforcement Learning)論文中，提出了一種使用深度強(qiáng)化學(xué)習(xí)生成的新的量子控制框架，其中可以通過單個(gè)控制成本函數(shù)來概括量子可控制優(yōu)化中的各類實(shí)際問題。與標(biāo)準(zhǔn)隨機(jī)梯度下降的解決方案相比，該框架可將量子邏輯門的平均誤差最多降低兩個(gè)數(shù)量級(jí)，并且大幅降低了來自最優(yōu)門生成的副本的門時(shí)間。這一結(jié)果為使用近期量子設(shè)備來開展量子仿真、量子化學(xué)和量子霸權(quán)測(cè)試開啟了更加廣闊的應(yīng)用空間。
這種新的量子控制范式，其創(chuàng)新之處在于對(duì)量子控制函數(shù)的改進(jìn)以及提出的基于深度強(qiáng)化學(xué)習(xí)的高效優(yōu)化方法。
為了創(chuàng)建一個(gè)全面的成本函數(shù)，首先需要為實(shí)際的量子控制過程創(chuàng)建一個(gè)物理模型，基于該模型，我們能夠可靠地預(yù)測(cè)誤差量。對(duì)量子計(jì)算的準(zhǔn)確性最不利的誤差之一就是泄漏：在計(jì)算過程中損失的量子信息量。這種信息泄漏通常發(fā)生在量子比特的量子態(tài)被激發(fā)為較高能態(tài)或通過自發(fā)輻射衰退成較低能態(tài)時(shí)。泄漏誤差不僅會(huì)損失有用的量子信息，而且還會(huì)降低「量子性」，并最終使量子計(jì)算機(jī)的性能降低得與經(jīng)典計(jì)算機(jī)差不多。
在量子計(jì)算過程中準(zhǔn)確地評(píng)估泄漏信息的常見做法是，一開始就模擬整個(gè)計(jì)算。然而，這并不利于達(dá)成構(gòu)建大規(guī)模量子計(jì)算機(jī)的目的，因?yàn)榱孔佑?jì)算機(jī)的優(yōu)勢(shì)就在于它們能夠執(zhí)行經(jīng)典系統(tǒng)所無法執(zhí)行的計(jì)算。谷歌研究人員通過使用改進(jìn)后的物理模型，能夠讓通用的成本函數(shù)對(duì)逐漸增加的泄漏誤差、控制邊界條件的違背情況、總的門時(shí)間和門保真度進(jìn)行聯(lián)合優(yōu)化。
創(chuàng)建了新的量子控制成本函數(shù)后，下一步就是應(yīng)用高效的優(yōu)化工具將該函數(shù)最小化。經(jīng)證實(shí)，現(xiàn)有的優(yōu)化方法無法找到對(duì)于控制波動(dòng)同樣具有魯棒性的令人滿意的高保真度解決方案。相反地，谷歌研究人員則采用同步策略的深度強(qiáng)化學(xué)習(xí)(RL)方法，即置信域強(qiáng)化學(xué)習(xí)(Trusted-Region RL)，因?yàn)樵摲椒ㄔ谒谢鶞?zhǔn)問題中均表現(xiàn)出良好的性能，對(duì)樣本噪聲具有固有的魯棒性，并且能夠優(yōu)化有著數(shù)億個(gè)控制參數(shù)的數(shù)百種高難度的控制問題。
這種同步策略強(qiáng)化學(xué)習(xí)與先前研究的異步策略強(qiáng)化學(xué)習(xí)方法之間的顯著差異在于，其對(duì)控制策略的表示獨(dú)立于控制成本。另一方面，例如 Q 學(xué)習(xí)等異步策略強(qiáng)化學(xué)習(xí)使用單個(gè)神經(jīng)網(wǎng)絡(luò)(NN)來表示控制軌跡和相關(guān)的獎(jiǎng)勵(lì)，其中控制軌跡指定要耦合到不同時(shí)間步長的量子比特的控制信號(hào)，而相關(guān)的獎(jiǎng)勵(lì)則評(píng)估量子控制當(dāng)前步長的好壞。
同步策略強(qiáng)化學(xué)習(xí)引人關(guān)注的一項(xiàng)能力在于：能夠在控制軌跡中利用非本地特征。當(dāng)控制領(lǐng)域是高維且包含大量組合的非全局解決方案時(shí)，這種能力就變得至關(guān)重要，而對(duì)于量子系統(tǒng)而言，這種情況經(jīng)常發(fā)生。
研究人員將控制軌跡編碼為一個(gè)完全連接的三層神經(jīng)網(wǎng)絡(luò)，即策略 NN，同時(shí)將控制成本函數(shù)編碼為第二個(gè)神經(jīng)網(wǎng)絡(luò)(值 NN)，后者可以對(duì)折扣未來獎(jiǎng)勵(lì)(Discounted Future Reward)進(jìn)行編碼。強(qiáng)化學(xué)習(xí)智能體在模擬現(xiàn)實(shí)中的噪音控制驅(qū)動(dòng)的隨機(jī)環(huán)境下訓(xùn)練這兩個(gè)神經(jīng)網(wǎng)絡(luò)，獲得了魯棒的控制解決方案。此外，他們還為一組連續(xù)參數(shù)化的兩位量子門提供了控制解決方案，這對(duì)于量子化學(xué)應(yīng)用而言很重要，不過，使用傳統(tǒng)的通用量子門集實(shí)現(xiàn)這一操作，成本也很高。
谷歌研究人員使用這一新框架進(jìn)行的數(shù)值模擬結(jié)果表明，與通用量子門集的傳統(tǒng)方法相比，該方法將量子門誤差減少了 100 倍，與此同時(shí)，還為一系列連續(xù)參數(shù)化的模擬量子門將門時(shí)間減少了平均一個(gè)數(shù)量級(jí)。
這項(xiàng)工作凸顯了使用創(chuàng)新性機(jī)器學(xué)習(xí)技術(shù)和能夠利用通用量子控制方案的靈活性和附加計(jì)算能力的近期量子算法的重要性。進(jìn)一步，該領(lǐng)域的研究者還需要做更多的實(shí)驗(yàn)來將機(jī)器學(xué)習(xí)技術(shù)(就比如說我們?cè)谶@項(xiàng)工作中開發(fā)的技術(shù))整合到實(shí)際的量子計(jì)算過程中，從而利用機(jī)器學(xué)習(xí)來充分提高量子計(jì)算機(jī)的計(jì)算能力。
