近日，美國(guó)賓夕法尼亞大學(xué)團(tuán)隊(duì)造出一種名為 PanoRadar 的高分辨率射頻成像系統(tǒng)，首次讓基于射頻（RF，radio Frequency）成像的視覺(jué)識(shí)別成為可能，未來(lái)能被用于自動(dòng)駕駛、物流配送和搜救機(jī)器人等領(lǐng)域。

（來(lái)源：Sylvia Zhang）

在射頻成像的傳統(tǒng)技術(shù)中，主要面對(duì)著兩大難題：第一個(gè)難題是低分辨率問(wèn)題，第二個(gè)難題是機(jī)器人移動(dòng)導(dǎo)致的成像失真問(wèn)題。

針對(duì)低分辨率的問(wèn)題，該課題組通過(guò)旋轉(zhuǎn)線(xiàn)性天線(xiàn)陣列來(lái)形成大型合成天線(xiàn)陣列。研究人員表示，盡管此前有人通過(guò)類(lèi)似的合成孔徑雷達(dá)技術(shù)來(lái)提高分辨率，但是這類(lèi)技術(shù)往往要通過(guò)在二維平面上移動(dòng)天線(xiàn)來(lái)進(jìn)行掃描，不僅操作緩慢而且耗時(shí)較長(zhǎng)。而該團(tuán)隊(duì)提出的旋轉(zhuǎn)天線(xiàn)系統(tǒng)設(shè)計(jì)方案，在有效形成大陣列的同時(shí)還能讓成像更加高效。

針對(duì)移動(dòng)機(jī)器人成像失真的問(wèn)題，考慮到 PanoRadar 最終會(huì)被用于移動(dòng)機(jī)器人，因此需要合理有效地處理機(jī)器人運(yùn)動(dòng)帶來(lái)的成像失真問(wèn)題。解決這一問(wèn)題的難處在于：本次研究所使用的無(wú)線(xiàn)電波的波長(zhǎng)位于毫米級(jí)別，這就要求在成像時(shí)對(duì)于天線(xiàn)的位置必須實(shí)現(xiàn)毫米級(jí)的精度，否則信號(hào)的相位一致性會(huì)被誤差所破壞。

然而，一些常用的跟蹤及定位用傳感器，比如慣性測(cè)量單元傳感器和輪速計(jì)傳感器等，它們均無(wú)法實(shí)現(xiàn)上述測(cè)量精度。為此，課題組利用了多普勒效應(yīng)的特性，通過(guò)分析旋轉(zhuǎn)雷達(dá)來(lái)捕捉反射信號(hào)的多普勒頻率變化，以便針對(duì)機(jī)器人移動(dòng)的速度和方向?qū)崿F(xiàn)精確估計(jì)。

另外，為了解決多普勒和到達(dá)角的頻率混合問(wèn)題，他們還提出一款新的分離方法，從而讓基于多普勒的速度估計(jì)成為可能。

需要說(shuō)明的是，雖然 PanoRadar 能在水平角度通過(guò)旋轉(zhuǎn)形成大陣列從而獲得優(yōu)異的分辨率，但是其垂直分辨率會(huì)受到天線(xiàn)數(shù)量限制。為此，他們又提出一種機(jī)器學(xué)習(xí)方法，該方法基于三維環(huán)境結(jié)構(gòu)特性打造而來(lái)，能夠彌補(bǔ) PanoRadar 在垂直分辨率上的不足。

對(duì)于物體表面來(lái)說(shuō)，它們?cè)谌�維空間中通常呈現(xiàn)出連續(xù)分布以及能和地面接觸的特性�；�于這一特性該團(tuán)隊(duì)讓大模型學(xué)習(xí)大量數(shù)據(jù)，借此來(lái)挖掘空間維度的相關(guān)性，從而幫助提升 PanoRadar 受限的垂直維度。

此外，他們還提出一種讓二維卷積來(lái)學(xué)習(xí)三維空間結(jié)構(gòu)的方法，這不僅讓大模型的學(xué)習(xí)和訓(xùn)練變得更加有效，也降低了計(jì)算資源和計(jì)算時(shí)間。

未來(lái)，這一成果有望用于以下領(lǐng)域：

其一，用于自動(dòng)駕駛領(lǐng)域。PanoRadar 擁有高分辨率的射頻成像能力，能夠彌補(bǔ)攝像頭和激光雷達(dá)在霧、雨、雪等惡劣天氣中的局限，讓駕駛更加安全。另外，在夜間、隧道、地下場(chǎng)景等光線(xiàn)不足或信號(hào)干擾較強(qiáng)的場(chǎng)景中，PanoRadar 能夠提供清晰可靠的環(huán)境感知能力，從而能夠確保駕駛的安全性。

其二，用于物流配送領(lǐng)域。即能夠用于物流機(jī)器人、無(wú)人配送車(chē)、配送無(wú)人機(jī)等設(shè)備，幫助其在多變的城市環(huán)境中實(shí)現(xiàn)高效導(dǎo)航。尤其是在雨霧天或擁堵區(qū)域，PanoRadar 在感知到障礙物之后，會(huì)對(duì)前進(jìn)線(xiàn)路加以?xún)?yōu)化，從而讓配送任務(wù)安全地完成。另外，在智能倉(cāng)庫(kù)中 PanoRadar 可以幫助機(jī)器人高精度地感知貨物位置，即使在灰塵環(huán)境或煙霧環(huán)境中也能保持高效工作。

其三，用于搜救機(jī)器人。在地震和火災(zāi)等極端情況下，PanoRadar 可以穿透煙霧、灰塵和碎片，從而為搜救機(jī)器人提供清晰的環(huán)境感知，進(jìn)而幫助定位幸存者或危險(xiǎn)區(qū)域，在提高救援行為的效率的同時(shí)，還能確保救援人員的安全。而在一些受災(zāi)地區(qū) PanoRadar 還能支持機(jī)器人或無(wú)人機(jī)在惡劣環(huán)境下完成精準(zhǔn)的緊急物資和藥品投送。

（來(lái)源：MobiCom）

打造既魯棒、又能高清成像的射頻傳感器

研究人員表示，當(dāng)前機(jī)器人和自主系統(tǒng)技術(shù)正在飛速發(fā)展，并已被用于自動(dòng)駕駛、搜索救援、倉(cāng)庫(kù)物流和醫(yī)療健康等領(lǐng)域。這就要求機(jī)器人針對(duì)周?chē)�環(huán)境實(shí)現(xiàn)既準(zhǔn)確、又魯棒的感知，以便確保安全順利地完成作業(yè)。

目前，常用的傳感器主要有相機(jī)和激光雷達(dá)等，它們能夠提供高分辨率的圖像和點(diǎn)云。但是，作為一種視覺(jué)傳感器，它們和人類(lèi)眼睛存在同樣的“不足”，即在充滿(mǎn)濃煙和充滿(mǎn)水霧的惡劣環(huán)境下很難看清周?chē)�環(huán)境。

比如，裝載相機(jī)和裝載激光雷達(dá)的自動(dòng)駕駛車(chē)輛在大霧天氣無(wú)法正常工作，搜救機(jī)器人也無(wú)法在滿(mǎn)是煙霧和灰塵的火災(zāi)現(xiàn)場(chǎng)展開(kāi)救援。

射頻，指的是可以輻射到空間的電磁頻率，其頻率范圍位于 300KHz 到 30GHz 之間。在上述惡劣環(huán)境之中，射頻傳感器能夠?qū)崿F(xiàn)既有效又可靠的工作。這是因?yàn)樯漕l傳感器所依賴(lài)的無(wú)線(xiàn)電波，能夠輕易地穿過(guò)懸浮在空氣中的微小粒子，其背后原理和人們?cè)诖箪F天仍能收聽(tīng)廣播是一個(gè)道理。

此前，已有不少學(xué)者開(kāi)始利用射頻傳感器的上述特點(diǎn)來(lái)進(jìn)行射頻成像，以便為機(jī)器人提供魯棒可靠的感知方式。然而，當(dāng)前的自動(dòng)駕駛汽車(chē)和配送機(jī)器人依然嚴(yán)重依賴(lài)于相機(jī)和激光雷達(dá)，這是因?yàn)楝F(xiàn)有射頻傳感器的分辨率往往較低。要知道相機(jī)能夠?qū)崿F(xiàn)百萬(wàn)像素甚至千萬(wàn)像素的高分辨率圖像，但是由于分辨率較低射頻傳感器只能給出一團(tuán)團(tuán)的反射圖像，因此它很難辨別周?chē)�環(huán)境和周?chē)�物體。

為了讓射頻傳感器既能保持可靠魯棒的特性，又能像激光雷達(dá)一樣提供高分辨率的成像結(jié)果，該團(tuán)隊(duì)開(kāi)始了本次研究。

成像質(zhì)量能與激光雷達(dá)相媲美

前面提到，在與激光雷達(dá)這種光學(xué)傳感器相比時(shí)，射頻成像傳感器的分辨率有著明顯差距。此外，大部分現(xiàn)有技術(shù)在掃描時(shí)耗時(shí)較長(zhǎng)，這在動(dòng)態(tài)應(yīng)用中顯然是不切實(shí)際的。盡管部分雷達(dá)商品已能取得較高的分辨率，但是它們價(jià)格十分昂貴，而且只能提供二維的平面信息，而這不僅會(huì)增加部署成本，還會(huì)限制獲取信息的維度。

因此，亟需一種新方法來(lái)突破射頻成像在移動(dòng)機(jī)器人中的瓶頸。一次偶然的機(jī)會(huì)，研究人員注意到了電腦中旋轉(zhuǎn)的散熱風(fēng)扇。這讓他們聯(lián)想到或許可以通過(guò)旋轉(zhuǎn)的方式，來(lái)以快速、穩(wěn)定的方式擴(kuò)大天線(xiàn)陣列，從而提升成像分辨率。

基于此，他們定下這一研究方向：設(shè)計(jì)一套以旋轉(zhuǎn)雷達(dá)為基礎(chǔ)的高分辨率射頻成像系統(tǒng)。

為了驗(yàn)證上述構(gòu)想的可行性，他們先是開(kāi)發(fā)出一款原型系統(tǒng)。一開(kāi)始他們使用了一個(gè)非常簡(jiǎn)單的旋轉(zhuǎn)裝置——即商店里常見(jiàn)的小型商品展示轉(zhuǎn)臺(tái)。這套慢速旋轉(zhuǎn)平臺(tái)雖然看起來(lái)很“原始”，但是在靜止環(huán)境之下他們成功生成了一個(gè)房間輪廓的射頻圖像，這說(shuō)明旋轉(zhuǎn)雷達(dá)的基本想法是可行的。

接著，他們將上述慢速旋轉(zhuǎn)平臺(tái)移植到移動(dòng)機(jī)器人平臺(tái)上，并引入一臺(tái)工業(yè)電機(jī)，從而能在實(shí)現(xiàn)快速旋轉(zhuǎn)的同時(shí)還能提高成像效率。然而，他們發(fā)現(xiàn)機(jī)器人在運(yùn)動(dòng)時(shí)，成像質(zhì)量會(huì)受到嚴(yán)重干擾。后來(lái)，他們發(fā)現(xiàn)這是因?yàn)閷?duì)于雷達(dá)成像來(lái)說(shuō)，它需要極高的天線(xiàn)位置精度，而機(jī)器人的運(yùn)動(dòng)會(huì)破壞信號(hào)的相位一致性。

為解決這一問(wèn)題，他們針對(duì)機(jī)器人提出一種基于多普勒效應(yīng)的運(yùn)動(dòng)估計(jì)和補(bǔ)償方法，從而讓本次 PanoRadar 能在動(dòng)態(tài)環(huán)境中實(shí)現(xiàn)高精度成像。

這時(shí)，PanoRadar 已經(jīng)能在水平方向和深度方向上達(dá)到較高的分辨率。但是，為了實(shí)現(xiàn)真正的高分辨率三維成像，他們打算進(jìn)一步提升 PanoRadar 的垂直分辨率。在三維環(huán)境結(jié)構(gòu)特性的啟發(fā)之下，課題組使用數(shù)據(jù)驅(qū)動(dòng)的方法，并通過(guò)引入大模型，進(jìn)而利用三維空間中物體表面連續(xù)性和與地面的支撐關(guān)系，來(lái)增強(qiáng) PanoRadar 在垂直方向的分辨率。這一改進(jìn)大幅提高了 PanoRadar 的整體成像質(zhì)量，甚至能與激光雷達(dá)的成像質(zhì)量相媲美。

保潔大爺和“警報(bào)事件”

研究中，數(shù)據(jù)采集是一個(gè)重要環(huán)節(jié)。為了驗(yàn)證 PanoRadar 的性能，他們需要在建筑樓道和實(shí)驗(yàn)室周邊等真實(shí)場(chǎng)景中運(yùn)行機(jī)器人。

由于 PanoRadar 配備了旋轉(zhuǎn)雷達(dá)，這種新穎的設(shè)計(jì)總是會(huì)吸引人們駐足圍觀。尤其是當(dāng)人們看到雷達(dá)隨著機(jī)器人的移動(dòng)不斷旋轉(zhuǎn)時(shí)都會(huì)好奇地問(wèn)：“這是在干嘛呢？”每次面對(duì)這樣的疑問(wèn)，他們都會(huì)耐心解釋說(shuō)這是一個(gè)科研用的移動(dòng)機(jī)器人，能夠用于復(fù)雜環(huán)境下的高分辨率成像。

特別是當(dāng)他們提到它甚至可以在煙霧、塵埃等惡劣條件下清晰地感知周?chē)�環(huán)境時(shí)，大家的表情總是充滿(mǎn)驚訝和贊嘆。盡管這些互動(dòng)打斷了數(shù)據(jù)采集進(jìn)度，但也成為了讓人開(kāi)心的小插曲。

最有趣的是，課題組幾乎每次采集數(shù)據(jù)時(shí)都會(huì)遇到一位固定的“老熟人”——一位負(fù)責(zé)清潔的保潔大爺。保潔大爺一開(kāi)始也和其他人一樣，非常好奇研究人員到底在干什么。

但是隨著大家逐漸熟悉，保潔大爺甚至還記住了他們。有一次保潔大爺看到他們推著機(jī)器人走過(guò)來(lái)直接招呼道：“又出來(lái)采集數(shù)據(jù)啦？”這種小小的日常問(wèn)候讓為科研工作增添了一份生活的溫度。

除了進(jìn)行數(shù)據(jù)采集，還要進(jìn)行煙霧實(shí)驗(yàn)。為了測(cè)試 PanoRadar 在空氣懸浮粒子（如煙霧、灰塵）中的成像能力，課題組買(mǎi)了一臺(tái)便攜式霧汽發(fā)生器——這是一個(gè)可以快速產(chǎn)生濃霧的小設(shè)備。

某天晚上，他們打算在實(shí)驗(yàn)室樓的走廊里進(jìn)行測(cè)試。當(dāng)時(shí)，周?chē)鷽](méi)有太多人，環(huán)境也比較安靜。該團(tuán)隊(duì)把機(jī)器人放置在走廊中央，并使用霧汽發(fā)生器在它周?chē)鷩娚錆忪F，以此來(lái)模擬大霧環(huán)境。

實(shí)驗(yàn)一開(kāi)始的時(shí)候效果非常好，能讓人清晰地看到射頻成像穿透煙霧的能力，數(shù)據(jù)表現(xiàn)也完全符合預(yù)期。正當(dāng)他們興奮地記錄數(shù)據(jù)時(shí)，意外發(fā)生了：由于霧氣過(guò)于濃烈，觸發(fā)了建筑物內(nèi)的煙霧報(bào)警器。頓時(shí)，整個(gè)樓道里警鈴大作、震耳欲聾！

一開(kāi)始他們還沒(méi)意識(shí)到發(fā)生了什么，直到看到走廊盡頭的警報(bào)燈閃爍，才意識(shí)到是這次實(shí)驗(yàn)引發(fā)了警報(bào)。幸運(yùn)的是，那天晚上樓里幾乎沒(méi)有人，教室也空蕩蕩的，沒(méi)造成太大的騷動(dòng)。

盡管如此，他們還是立刻關(guān)閉設(shè)備，打開(kāi)窗戶(hù)透氣，并迅速清理現(xiàn)場(chǎng)。后來(lái)回想起來(lái)，這段“警報(bào)事件”也成了團(tuán)隊(duì)的一個(gè)笑談。自此以后，他們對(duì)于實(shí)驗(yàn)環(huán)境和實(shí)驗(yàn)方法也更加謹(jǐn)慎。

而為了避免再次觸發(fā)警報(bào)，他們使用激光切割亞克力板做了一個(gè)小箱子罩在設(shè)備上，從而讓濃霧限制在箱子之內(nèi)。

在項(xiàng)目接近尾聲之時(shí)，課題組決定將代碼和數(shù)據(jù)進(jìn)行開(kāi)源。他們希望通過(guò)共享這些資源，進(jìn)一步推動(dòng)射頻成像技術(shù)在自動(dòng)駕駛、機(jī)器人和其他領(lǐng)域的發(fā)展。

日前，相關(guān)論文以《在射頻中實(shí)現(xiàn)視覺(jué)識(shí)別》（Enabling Visual Recognition at Radio Frequency）為題發(fā)在移動(dòng)計(jì)算與網(wǎng)絡(luò)會(huì)議（MobiCom，Mobile Computing and Networking）上 [1]。Haowen Lai 是第一作者，美國(guó)賓夕法尼亞大學(xué) Mingmin Zhao 教授擔(dān)任通訊作者。

圖 | 相關(guān)論文（來(lái)源：MobiCom）

為了更好地展示本次成果，他們將整套機(jī)器人和射頻成像系統(tǒng)搬到會(huì)議現(xiàn)場(chǎng)進(jìn)行實(shí)時(shí)演示。演示中，該團(tuán)隊(duì)重點(diǎn)展示了 PanoRadar 在濃霧環(huán)境下的高分辨率成像能力。在現(xiàn)場(chǎng)他們利用一臺(tái)霧汽發(fā)生器來(lái)模擬濃霧條件。在這種情況下常規(guī)的光學(xué)傳感器和激光雷達(dá)往往會(huì)完全失效，以至于無(wú)法捕捉到有效信息。而 PanoRadar 卻能清晰地恢復(fù)周?chē)�環(huán)境的細(xì)節(jié)，并能執(zhí)行一系列的下游視覺(jué)識(shí)別任務(wù)。研究人員將 PanoRadar 的結(jié)果與激光雷達(dá)在濃霧環(huán)境下的結(jié)果進(jìn)行對(duì)比，鮮明的效果差距讓許多參會(huì)者印象深刻。

在現(xiàn)場(chǎng)許多與會(huì)者特別好奇他們?nèi)绾瓮ㄟ^(guò)旋轉(zhuǎn)雷達(dá)和射頻信號(hào)實(shí)現(xiàn)如此高的成像分辨率，還有人詢(xún)問(wèn)是否有計(jì)劃將系統(tǒng)商業(yè)化。更讓他們激動(dòng)的是，這次演示還讓他們贏得了會(huì)議最佳演示獎(jiǎng)。此外，該團(tuán)隊(duì)的博士生 Haowen Lai 也在本次會(huì)議的學(xué)生研究比賽獲得了第一名。

將與業(yè)界伙伴探索 PanoRadar 的物流配送應(yīng)用

基于本次成果，該團(tuán)隊(duì)將進(jìn)一步探索高分辨率射頻成像系統(tǒng)的潛力。

其一，將探索室內(nèi)的應(yīng)用潛力。

在一些災(zāi)后環(huán)境或危險(xiǎn)環(huán)境中，例如地震廢墟和火災(zāi)濃煙區(qū)域，搜救機(jī)器人需在能見(jiàn)度極低的條件下來(lái)定位受困人員。而 PanoRadar 可以穿透煙霧和灰塵，為機(jī)器人提供清晰的環(huán)境感知能力。因此，他們希望將 PanoRadar 集成到搜救機(jī)器人中，并驗(yàn)證其在真實(shí)搜救場(chǎng)景中的性能。

其二，將探索在同步定位與地圖構(gòu)建算法的應(yīng)用潛力。在動(dòng)態(tài)和復(fù)雜的室內(nèi)環(huán)境中，機(jī)器人需要同時(shí)完成自身定位與環(huán)境地圖的構(gòu)建。PanoRadar 的高分辨率成像能力不僅能夠提供細(xì)致的環(huán)境輪廓，還能在無(wú)全球定位系統(tǒng)（GPS，Global Positioning System）信號(hào)的環(huán)境下支持魯棒性定位�；�于此，課題組將探索如何利用射頻圖像來(lái)直接提升同步定位與地圖構(gòu)建算法（SLAM，Simultaneous Localization and Mapping）的精度與可靠性。

其三，將探索在轉(zhuǎn)角成像與隱蔽物體探測(cè)中的潛力。即利用射頻信號(hào)的反射特性，讓機(jī)器人實(shí)現(xiàn)“繞角”探測(cè)，例如可以在拐角處提前識(shí)別目標(biāo)物體或潛在威脅，從而避免發(fā)生碰撞。針對(duì)此，該團(tuán)隊(duì)計(jì)劃設(shè)計(jì)一款專(zhuān)用算法，以便開(kāi)發(fā)更智能的探測(cè)功能。

其四，將探索在室外應(yīng)用中的潛力。

在復(fù)雜的戶(hù)外環(huán)境中，無(wú)人駕駛車(chē)輛需要在夜間、強(qiáng)光、雨霧天氣等光學(xué)傳感器失效的情況下保持安全行駛。為此，課題組計(jì)劃將 PanoRadar 的射頻成像能力用于無(wú)人駕駛平臺(tái)之中，以便為其提供全天候的環(huán)境感知能力，特別是實(shí)現(xiàn)惡劣天氣條件下的應(yīng)用。

其五，將探索在物流配送機(jī)器人中的應(yīng)用潛力。在室外運(yùn)送貨物時(shí)，物流機(jī)器人常常面臨障礙物和環(huán)境光線(xiàn)的多變性，而 PanoRadar 能夠顯著提高機(jī)器人對(duì)于周?chē)�環(huán)境的適應(yīng)能力，從而保障物流機(jī)器人的正常運(yùn)行。下一步，他們也將與業(yè)界伙伴探索 PanoRadar 在物流配送場(chǎng)景中的應(yīng)用，包括將其用于復(fù)雜的城市道路和園區(qū)路徑等。

參考資料：

1.Lai, H., Luo, G., Liu, Y., & Zhao, M. (2024, May). Enabling Visual Recognition at Radio Frequency. InProceedings of the 30th Annual International Conference on Mobile Computing and Networking (pp. 388-403).

排版：多加