Amazon Go終于來了,“拿了就走”的技術(shù)是怎么實(shí)現(xiàn)的?
亞馬遜無人收銀零售店Amazon Go終于開張了!
本周一,占地面積1800平方英尺的Amazon Go正式在西雅圖向公眾開放。“不用排隊(duì),不用結(jié)賬,沒有收銀臺”,Amazon Go會顛覆零售行業(yè)嗎?
Amazon Go的自白
1. Amazon Go是什么?
Amazon Go是一種無需結(jié)賬臺的新型商店。我們創(chuàng)造了世界上最先進(jìn)的購物技術(shù),所以你不必排隊(duì)等候。通過我們的Just Walk Out購物體驗(yàn),只需使用Amazon Go應(yīng)用程序進(jìn)入商店,購買想要的產(chǎn)品即可。無需在結(jié)賬柜臺前排長隊(duì)等待。
2. Amazon Go如何運(yùn)作?
計(jì)算機(jī)視覺,傳感器融合和深度學(xué)習(xí)等用在自動駕駛汽車中的相同技術(shù)使我們的免結(jié)賬購物體驗(yàn)成為可能。我們的Just Walk Out技術(shù)能夠自動檢測商品何時從貨架上取下或被重新放回,并在虛擬購物車中跟蹤貨物。當(dāng)你完成購物,你可以離開商店。不久之后,我們會向您發(fā)送收據(jù)并向您的亞馬遜賬戶收費(fèi)。
3.在Amazon Go能買到什么?
我們提供美味的即食早餐,午餐,晚餐和小吃。我們選的必需品包括:面包和牛奶等主食,以及手工做的奶酪和巧克力。對于快速的家常晚餐,拿起我們廚師設(shè)計(jì)的亞馬遜膳食套件之一,30分鐘就能做出兩人份的一頓飯。
4. 如何在Amazon Go購物?
你只需要一個亞馬遜賬戶、免費(fèi)的Amazon Go應(yīng)用程序,以及最新一代的iPhone或Android手機(jī)。您可以在Apple App Store,Google Play和Amazon Appstore上找到Amazon Go應(yīng)用程序。
當(dāng)你到達(dá)的時候,使用Amazon Go應(yīng)用程序進(jìn)入商店,然后就可以不需要用手機(jī)了。然后就像在任何其他商店一樣瀏覽和購物吧。你完成購物后,不需要排隊(duì)結(jié)賬。
5. 哪兒有Amazon Go?
我們的商店位于華盛頓州西雅圖市第七大道2131號,靠近第七大道和Blanchard的拐角處。
6. 什么時間開放?
周一到周五,早上7點(diǎn)到晚上9點(diǎn)。
7. Amazon Go有多大?
大約1800平方英尺。
8. Amazon Go里有人工作嗎?
有人。員工在商店里準(zhǔn)備原料、制作速食食品、整理貨架、并幫助客戶。
9. 為什么要建立這個Amazon Go?
我們問自己:如果我們能夠創(chuàng)造一個不需要排隊(duì)結(jié)賬的購物體驗(yàn),會怎么樣?我們能否推動計(jì)算機(jī)視覺和機(jī)器學(xué)習(xí)的界限來創(chuàng)造一個商店,客戶可以隨心所欲地去拿他們想要的貨物,然而就走?我們對這些問題的回答是Amazon Go和Just Walk Out Shopping技術(shù)。
全景式體驗(yàn)Amazon Go, 身臨其境體驗(yàn)智能零售
注:無人超市入口是一排電子“門衛(wèi)”
超市的入口感覺就好像你正在進(jìn)入一個地鐵站,一排電子大門位于商店的入口,被只允許擁有該商店智能手機(jī)應(yīng)用的人進(jìn)入。
西雅圖亞馬遜總部辦公樓下的全球首家無人商店是一個1800平方英尺的小型超市,進(jìn)入超市,購物者會迎接一系列的沙拉、三明治和飲料,以及即食的三餐食品。
Amazon Go還提供小瓶裝的啤酒、葡萄酒以及肉類,甚至所有餐具都是亞馬遜自制的。繼亞馬遜收購Whole Foods之后,還有一部分售賣區(qū)域?qū)iT擺放薯片,餅干和堅(jiān)果,這些都來自雜貨商365 Everyday Value品牌。
超市內(nèi)再無購物車,所有結(jié)賬過程都是自動的,商品可直接裝入購物袋內(nèi)。亞馬遜說,每當(dāng)顧客從貨架上取貨時,產(chǎn)品就會自動放入他們在線賬戶的購物車中。如果顧客把商品放回貨架上,亞馬遜會將其從虛擬購物籃中移除。
Amazon Go使用相機(jī)和傳感器網(wǎng)絡(luò)來動態(tài)監(jiān)控客戶,并通過智能手機(jī)應(yīng)用程序自動為他們從商店中取出的物品進(jìn)行計(jì)費(fèi)。亞馬遜并沒有多說這個系統(tǒng)是如何工作的,只是說它涉及到復(fù)雜的計(jì)算機(jī)視覺和機(jī)器學(xué)習(xí)軟件。
安裝在天花板上的數(shù)十個方形黑色攝像機(jī)持續(xù)監(jiān)控客戶行為,該系統(tǒng)對個人購物者來說效果不錯,但仍然在努力準(zhǔn)確地收集那些正在群體中移動的人們,比如那些帶著小孩的家庭。 Go的工程師一直在研究一起購物的家庭,并調(diào)整傳感器,以識別孩子在商店里閑逛時是否吃東西。
無人超市并不意味著完全沒有工作人員,超市的入口有迎賓人員,一名身份證檢查員在酒吧附近駐扎,至少有六名工人在廚房內(nèi)可見。
最后的結(jié)賬部分也是相當(dāng)便捷,拿好貨物走出超市,沒有排隊(duì)幾乎瞬間完成收費(fèi)過程。
亞馬遜的核心技術(shù),專家怎么看?
Amazon Go 宣傳視頻發(fā)布后,在業(yè)界引起了強(qiáng)烈反響,在新智元人工智能核心微信群中,各位專家也進(jìn)行了熱烈的討論。那么,專家們怎么看亞馬遜這一激動人心的嘗試?
專家1 (資深技術(shù)人員,與Amazon Go項(xiàng)目內(nèi)部人員很熟):里面有N 多攝像頭和3D攝像頭,做了3D人體建模和行為分析??梢哉f,Amazon Go絕對不是 PR,做這個小店有千萬美元級別的投入。
專家2 (機(jī)器人公司董事長):拍腦袋分析一下,進(jìn)門掃完碼后,后臺系統(tǒng)通過3D攝像頭把人體特征值與賬戶ID進(jìn)行綁定,然后對取貨的動作視頻進(jìn)行分析(通過深度學(xué)習(xí)來正確辨識人類取放商品的動作細(xì)節(jié))來實(shí)時更新虛擬購物車,出門后自動支付。如果店內(nèi)人流密集的化,感覺后臺的實(shí)時運(yùn)算量極其巨大。進(jìn)門的閘機(jī)確保了客戶ID能被有效辨識,但是如果是一個大人帶著一個小孩,出店的時候小孩也拿著東西,而且與大人分開較遠(yuǎn)的話,系統(tǒng)可能就無法自動結(jié)賬,不過可以出報警。
專家3(工程師):如果問題縮小到只是進(jìn)出閘機(jī)那會整個人的識別, 只做一進(jìn)一出的對應(yīng)及出閘機(jī)時身上攜帶商品(用 RFID之類補(bǔ)充確認(rèn))的感應(yīng)識別, 那似乎還在可腦補(bǔ)范圍之內(nèi)。
核心技術(shù) Amazon Rekognition
根據(jù)官網(wǎng)介紹,Amazon Go 主要的識別技術(shù)叫做 Amazon Rekognition,能夠在消費(fèi)者購物流程中進(jìn)行一系列不同類型的識別,以判斷多種不同的購物場景。
六張圖看懂 Amazon Go 消費(fèi)過程
或許看了視頻和上面的說明還稍嫌眼花繚亂,美國報紙 US Today 對 Amazon Go 的購物消費(fèi)過程做了更賤簡單易懂的可視化展示,下面具體看一下:
首先,消費(fèi)者用手機(jī)像地鐵刷卡那樣,進(jìn)入店鋪——當(dāng)然,手機(jī)上得注冊有亞馬遜的賬戶。與此同時,位于入口處的攝像頭會進(jìn)行人臉識別,識別的技術(shù)主要是 Amazon Rekognition。
當(dāng)消費(fèi)者在貨架前停下來時,攝像頭會捕捉并記錄消費(fèi)者拿起的商品,以及再次放回去的那些。
放置在貨架上的攝像頭會通過手勢識別,消費(fèi)者是拿起了一件商品(購買)還是拿起一件商品看了看又放回貨架(不購買)。
店內(nèi)麥克風(fēng)會根據(jù)周圍環(huán)境聲音判斷消費(fèi)者所處的位置。
貨架上的紅外傳感器、壓力感應(yīng)裝置(記錄商品被取走),以及荷載傳感器(記錄商品被放回)會記錄下消費(fèi)者取走了哪些商品以及放回了多少商品。同時,這些數(shù)據(jù)會實(shí)時傳輸給 Amazon Go 商店的信息中樞,每位顧客都不會有延遲。
在離店時,傳感器會掃描并記錄下消費(fèi)者購買的商品,同時自動在消費(fèi)者的賬戶上結(jié)算金額。
利用這些技術(shù),Amazon Go 究竟如何實(shí)現(xiàn)“未來購物過程”?專利文件揭露答案
國外網(wǎng)站上,有人翻出了亞馬遜兩年前申請專利時發(fā)布的文件。
亞馬遜提交的專利文件的描述中,提到這一系統(tǒng)使用了包括 RFID(無線射頻識別)在內(nèi)的技術(shù),在探測購物者是否從貨架上拿下了商品,然后把數(shù)據(jù)傳輸?shù)揭慌_手持設(shè)備上。
這也意味著,在購物者繼續(xù)購物的同時,系統(tǒng)已經(jīng)對商品狀態(tài)進(jìn)行了同步,這免去了傳統(tǒng)排隊(duì)結(jié)賬的方式。當(dāng)消費(fèi)者從商店的”過渡區(qū)“走出商店時,系統(tǒng)會感應(yīng)到消費(fèi)者已經(jīng)離開,隨后對他們帶走的物品進(jìn)行統(tǒng)計(jì),并在顧客的亞馬遜賬戶進(jìn)行扣款。
消費(fèi)者需要使用智能手機(jī)驗(yàn)證進(jìn)入商店
專利示意圖:
可以看出,位于店內(nèi)有各種傳感器,包括商場安裝的攝像頭、商品上的重量感應(yīng)器。
消費(fèi)者購物過程中的具體識別過程
專利文件寫道:
例如,如果消費(fèi)者在零售店內(nèi)購物,他不需要停下來,用現(xiàn)金或者與收銀員溝通,或是使用自動結(jié)賬臺來完成付款,因?yàn)樗谏痰陜?nèi)選擇的商品已經(jīng)被系統(tǒng)記錄,并通過與消費(fèi)者本人相關(guān)的商品確認(rèn)清單確認(rèn),所以,他們能帶著選購的商品直接走出商店。
系統(tǒng)會探測到消費(fèi)者走出店門,隨著消費(fèi)者通過出口(也就是過渡區(qū)域),系統(tǒng)會自動對消費(fèi)者挑選的商品進(jìn)行結(jié)賬,期間消費(fèi)者不用做任何的停留,也就避免了等待和排隊(duì)。
專利文件表明,系統(tǒng)可以使用消費(fèi)者過去的購買記錄,來幫助確認(rèn)消費(fèi)者在購物時選擇的某一商品。
例如,如果貨存清單管理系統(tǒng)不能確定消費(fèi)者所選擇的到底是一瓶番茄醬還是芥末,它可能會參考這位顧客過去的消費(fèi)記錄,或者這位顧客是否已經(jīng)選擇過相同的商品。舉個例子,如果顧客的消費(fèi)歷史記錄顯示他只購買番茄醬,那么這些信息可能會被用于確認(rèn)消費(fèi)者選擇的就是一瓶番茄醬。
亞馬遜使用的技術(shù)包括多傳感器融合,從不同傳感器上獲得的數(shù)據(jù)增加了判斷的可信度和準(zhǔn)確率。以下是專利文件對多傳感器數(shù)據(jù)匯合的描述。
在一些配置條件下,來自其他輸入設(shè)備的數(shù)據(jù)可能會被用于幫助確定某一商品是否已經(jīng)被選中或者被放回到貨架上。比如,如果系統(tǒng)判斷一件商品已經(jīng)被放回到貨架上,除了圖像分析外,基于形狀和壓力的傳感器,以及稱重設(shè)備上的數(shù)據(jù),系統(tǒng)會對該商品生成一個權(quán)重。圖像分析也許能有助于將貨架上匹配的商品數(shù)量減小到一個更小的清單,提高匹配率。
貨架上商品的權(quán)重會與可能匹配的每個商品被存儲在系統(tǒng)內(nèi)的權(quán)重進(jìn)行比較,來確定商品是否真的已經(jīng)被放回到貨架上。結(jié)合多個來源的輸入,系統(tǒng)會生成一個高置信度的數(shù)字,來提升系統(tǒng)確認(rèn)某一商品是被從貨架上拿走還是被放回的準(zhǔn)確率。
這一專利文件是在兩年前公布的,現(xiàn)在亞馬遜很可能也做了很多的改變。但是,從視頻上可以看到,基本思路還是沿襲了專利文件中的描述。