在新零售場(chǎng)景中，線(xiàn)下的行為數(shù)據(jù)是潛藏的寶礦。如何進(jìn)行數(shù)字化升級(jí)，更好輔佐商家和消費(fèi)者，成為擺在我們眼前的重要課題。

下面，搜索事業(yè)部的算法專(zhuān)家京五將為大家詳細(xì)介紹阿里在線(xiàn)下場(chǎng)景的客流數(shù)字化探索與應(yīng)用。

在互聯(lián)網(wǎng)時(shí)代，數(shù)據(jù)是所有應(yīng)用的基礎(chǔ)，淘寶的商家可以基于商品歷史的點(diǎn)擊成交量來(lái)判斷店內(nèi)各個(gè)商品的情況，并做出相應(yīng)的運(yùn)營(yíng)行為，淘寶的買(mǎi)家會(huì)根據(jù)商品歷史的成交數(shù)據(jù)，評(píng)論數(shù)據(jù)等，來(lái)輔助自己判斷是否進(jìn)行購(gòu)買(mǎi)，同時(shí)我們平臺(tái)也會(huì)基于用戶(hù)和商品的歷史數(shù)據(jù)，來(lái)訓(xùn)練模型，預(yù)測(cè)各個(gè)商品的點(diǎn)擊率，預(yù)測(cè)各個(gè)用戶(hù)的偏好，使展示的結(jié)果更符合用戶(hù)的需求?？梢钥闯?，數(shù)據(jù)對(duì)于各個(gè)不同的角色都有很重要的作用。

在互聯(lián)網(wǎng)中，獲取數(shù)據(jù)相對(duì)容易，反觀(guān)線(xiàn)下零售場(chǎng)景，大部分?jǐn)?shù)據(jù)都是缺失的，商家并不知道店內(nèi)多少商品被瀏覽了，多少商品被試穿了，買(mǎi)家也不知道各件商品的歷史數(shù)據(jù)。

因此，我們的客流數(shù)字化相關(guān)的探索，就是要將線(xiàn)下的用戶(hù)和商品的行為數(shù)據(jù)收集起來(lái)，讓線(xiàn)下的行為也能有跡可循，為商業(yè)決策和市場(chǎng)運(yùn)營(yíng)提供準(zhǔn)確有效的數(shù)據(jù)支撐，將傳統(tǒng)零售中的導(dǎo)購(gòu)經(jīng)驗(yàn)逐漸數(shù)字化成可量化和統(tǒng)計(jì)的數(shù)字指標(biāo)，能夠輔助商家運(yùn)營(yíng)，同時(shí)幫助用戶(hù)進(jìn)行決策。基于這些數(shù)據(jù)，也能夠讓算法在線(xiàn)下發(fā)揮更大的作用。

整體方案

整體方案如下圖所示，方案涉及場(chǎng)外的選品策略指導(dǎo)，線(xiàn)下引流，進(jìn)店的人群畫(huà)像，顧客軌跡跟蹤，人貨交互數(shù)據(jù)沉淀，試衣鏡互動(dòng)/推薦，以及離店后的線(xiàn)上二次觸達(dá)。從場(chǎng)外到場(chǎng)內(nèi)再到線(xiàn)上，構(gòu)成了整體全流程的產(chǎn)品方案。

客流數(shù)字化探索

在門(mén)店客流數(shù)字化的探索中，硬件部署上，我們使用了門(mén)店已有的監(jiān)控?cái)z像頭和RFID標(biāo)簽，并結(jié)合視覺(jué)及射頻相關(guān)技術(shù)，通過(guò)在門(mén)店部署GPU終端進(jìn)行計(jì)算。技術(shù)方案上，我們基于人臉識(shí)別技術(shù)，識(shí)別進(jìn)店用戶(hù)的性別，年齡，新老客等基礎(chǔ)屬性，并通過(guò)行人檢測(cè)跟蹤與跨攝像頭的行人重識(shí)別技術(shù)跟蹤用戶(hù)在門(mén)店內(nèi)的動(dòng)線(xiàn)變化，同時(shí)得到整體門(mén)店各個(gè)區(qū)域的熱力圖分布，此外，還通過(guò)攝像頭與RFID 多傳感器融合的技術(shù)識(shí)別用戶(hù)在門(mén)店內(nèi)的行為，包括翻動(dòng)，試穿等，精確定位門(mén)店內(nèi)各個(gè)商品的瀏覽與試穿頻次以及用戶(hù)在線(xiàn)下的偏好。下面會(huì)主要介紹其中的行人檢測(cè)，行人重識(shí)別和動(dòng)作識(shí)別這3個(gè)技術(shù)方向相關(guān)的優(yōu)化。

行人檢測(cè)

在新零售的客流數(shù)字化場(chǎng)景中，我們需要通過(guò)監(jiān)控?cái)z像頭對(duì)門(mén)店客流的進(jìn)店頻次、性別、動(dòng)作、行為軌跡、停留時(shí)間等全面的記錄和分析。要達(dá)到我們的目標(biāo)，首先需要能夠檢測(cè)并識(shí)別出攝像頭中的行人。

雖然目前YOLO等目標(biāo)檢測(cè)算法可以做到近乎實(shí)時(shí)的計(jì)算性能，但其評(píng)估環(huán)境都是Titan X、M40等高性能GPU，且只能支持單路輸入。無(wú)論從硬件成本或是計(jì)算能力方面考慮，這些算法都無(wú)法直接應(yīng)用到真實(shí)場(chǎng)景中。當(dāng)然YOLO官方也提供了像YOLOv3-Tiny這種輕量級(jí)的模型方案，但模型性能衰減過(guò)大，在COCO上mAP下降超過(guò)40%。同時(shí)現(xiàn)有目標(biāo)檢測(cè)方案的泛化能力還比較弱，不同場(chǎng)景的差異對(duì)模型性能會(huì)造成較大的影響。門(mén)店場(chǎng)景下的視角、光線(xiàn)、遮擋、相似物體干擾等情況與開(kāi)源數(shù)據(jù)集差異較大，直接使用基于VOC、COCO數(shù)據(jù)集訓(xùn)練的模型對(duì)該場(chǎng)景進(jìn)行檢查，效果非常不理想。我們分別針對(duì)模型的性能和在實(shí)際數(shù)據(jù)集的效果兩方面做了相應(yīng)的優(yōu)化。

網(wǎng)絡(luò)結(jié)構(gòu)精簡(jiǎn)與優(yōu)化

我們?cè)赮OLO框架的基礎(chǔ)上對(duì)模型進(jìn)行改進(jìn)，實(shí)現(xiàn)了一種輕量級(jí)實(shí)時(shí)目標(biāo)檢測(cè)算法，在服飾門(mén)店的真實(shí)場(chǎng)景下，和YOLOv3相比，模型性能下降不超過(guò)2%，模型大小縮小至原來(lái)的1/10，在Tesla P4上對(duì)比FPS提升268%，可直接部署到手機(jī)、芯片等邊緣設(shè)備上，真實(shí)業(yè)務(wù)場(chǎng)景中一臺(tái)GTX1070可以同時(shí)支持16路攝像機(jī)同時(shí)檢測(cè)，有效節(jié)約了門(mén)店改造的經(jīng)濟(jì)成本。

標(biāo)準(zhǔn)YOLOv3的網(wǎng)絡(luò)結(jié)構(gòu)有106層，模型大小有237M，為了設(shè)計(jì)一個(gè)輕量級(jí)的目標(biāo)檢測(cè)系統(tǒng)，我們使用Tiny DarkNet來(lái)作為骨干網(wǎng)絡(luò)，Tiny DarkNet是一個(gè)極簡(jiǎn)的網(wǎng)絡(luò)結(jié)構(gòu)，最大通道數(shù)為512，模型大小僅4M，該模型結(jié)構(gòu)比YOLO官方的YOLOv3-Tiny的骨干網(wǎng)絡(luò)還要精簡(jiǎn)，但精簡(jiǎn)網(wǎng)絡(luò)會(huì)造成特征抽取能力的衰減，模型性能下降劇烈，在我們?nèi)斯?biāo)注的2萬(wàn)多張服飾門(mén)店場(chǎng)景數(shù)據(jù)集上，替換后的Tiny DarkNet + FPN結(jié)構(gòu)較原生結(jié)構(gòu)的AP-50(IOU=0.5)下降30%。我們?cè)谔卣鞒槿【W(wǎng)絡(luò)之后進(jìn)行Spatial Pyramid Pooling[10]，與原特征一起聚合，之后通過(guò)下采樣與反卷積操作將不同層級(jí)特征合并，希望將底層的像素特征和高層的語(yǔ)義特征進(jìn)行更充分的融合來(lái)彌補(bǔ)特征抽取能力的下降，整體網(wǎng)絡(luò)結(jié)構(gòu)如下圖所示，精簡(jiǎn)后的檢測(cè)模型大小約為原來(lái)的1/10。

目標(biāo)檢測(cè)網(wǎng)絡(luò)結(jié)構(gòu)

知識(shí)蒸餾進(jìn)一步優(yōu)化

知識(shí)蒸餾[2]通過(guò)Teacher Network輸出的Soft Target來(lái)監(jiān)督Student Network學(xué)習(xí)網(wǎng)絡(luò)中Dark Knowledge，以實(shí)現(xiàn)Knowledge Transfer的目的，與量化、剪枝、矩陣近似等方法常被用來(lái)實(shí)現(xiàn)對(duì)模型的壓縮。但蒸餾與量化等方法之間又是可以互相結(jié)合的，而且蒸餾本身對(duì)模型的修改更加透明，無(wú)需特殊的依賴(lài)及執(zhí)行框架。

知識(shí)蒸餾網(wǎng)絡(luò)結(jié)構(gòu)

上圖是我們網(wǎng)絡(luò)蒸餾的模型結(jié)構(gòu)設(shè)計(jì)，蒸餾時(shí)我們采用原生YOLOv3作為T(mén)eacher Network，雖然YOLOv3擁有較好的檢測(cè)性能，且結(jié)構(gòu)上與我們的模型比較相似，但直接在二者輸出層之間建立L2約束，無(wú)法克服Teacher Network中的噪聲及回歸預(yù)測(cè)的波動(dòng)，結(jié)果反而抑制了Student Network的學(xué)習(xí)。實(shí)驗(yàn)中發(fā)現(xiàn)Hint Layer的損失設(shè)計(jì)和回歸預(yù)測(cè)的不確定性是蒸餾效果的核心問(wèn)題，強(qiáng)行在對(duì)應(yīng)Channel之間建立損失約束的方式過(guò)于嚴(yán)苛。對(duì)于普通卷積而言，我們無(wú)需要求Teacher / Student Network的Input Channel順序保持一致，僅需要整個(gè)輸入的分布是一致的。每個(gè)Channel相當(dāng)于一次采樣結(jié)果，相同的分布，采出的樣本順序可能多種多樣，但整體結(jié)果符合相同分布，同時(shí)經(jīng)過(guò)激活函數(shù)的Channel分布不再穩(wěn)定，需要進(jìn)行歸一處理。為了避免Teacher Network回歸預(yù)測(cè)本身的不穩(wěn)定，回歸損失設(shè)計(jì)時(shí)仍以Ground Truth為目標(biāo)，將Teacher Network的Output作為Bound，僅對(duì)誤差大于Teacher Network的部分進(jìn)行約束，本質(zhì)上是在借Teacher Network來(lái)進(jìn)行Online Hard Example Mining。

行人重識(shí)別

行人重識(shí)別(Person Re-identification)問(wèn)題是指在跨攝像頭場(chǎng)景下，給定待查找的行人圖片，查找在其他攝像頭是否出現(xiàn)該人。一般用來(lái)解決跨攝像頭追蹤。在線(xiàn)下門(mén)店場(chǎng)景中，每個(gè)門(mén)店都會(huì)在各個(gè)不同的區(qū)域安裝攝像頭，當(dāng)顧客在店內(nèi)逛時(shí)，我們需要了解用戶(hù)是如何在各個(gè)區(qū)域之間活動(dòng)，了解各個(gè)區(qū)域客流的去向與來(lái)源，因此需要將各個(gè)不同攝像頭中同一個(gè)行人進(jìn)行關(guān)聯(lián)。

行人特征提取

行人重識(shí)別的難點(diǎn)在于，多個(gè)攝像頭下拍攝行人的角度不同，圖像中的行人可能72變，同時(shí)還有可能會(huì)有不同程度的遮擋，導(dǎo)致直接使用整體的行人特征來(lái)做重識(shí)別非常具有挑戰(zhàn)性，那能不能用人臉識(shí)別做行人重識(shí)別?理論上是可以的，但是在實(shí)際場(chǎng)景中非常難應(yīng)用，首先，廣泛存在后腦勺和側(cè)臉的情況，做正臉的人臉識(shí)別難，其次，攝像頭拍攝的像素可能不高，尤其是遠(yuǎn)景攝像頭里面人臉截出來(lái)很可能都沒(méi)有32x32的像素。所以人臉識(shí)別在實(shí)際的重識(shí)別應(yīng)用中存在很大的限制。

行人重識(shí)別問(wèn)題中，如何學(xué)得一個(gè)魯棒的行人特征表示成為了一個(gè)很關(guān)鍵的問(wèn)題。學(xué)得行人特征表示最直觀(guān)的方式是直接以整張行人圖片作為輸入，提取一個(gè)全局特征，全局特征的目標(biāo)是學(xué)到能夠區(qū)分不同行人之間最突出的信息，比如衣服顏色等，來(lái)區(qū)分這個(gè)行人。然而監(jiān)控場(chǎng)景的復(fù)雜性，使得這樣的方法的準(zhǔn)確性受到了很大的限制，比如，各個(gè)攝像頭之間存在色差，并且門(mén)店的不同區(qū)域的光照條件會(huì)有差異，此外，還有很多穿相似服裝的行人。同時(shí)由于目前行人重識(shí)別數(shù)據(jù)集在體量及豐富性上有比較大的欠缺，一些不突出，不頻繁出現(xiàn)的細(xì)節(jié)特征在全局特征的訓(xùn)練中很容易被忽略。

要解決上面提到的問(wèn)題，使用局部特征替換全局特征是一個(gè)比較好的解決方案，基于局部特征的行人重識(shí)別方法將原始輸入表示成多個(gè)特征塊，每一個(gè)特征塊代表一個(gè)局部的特征，基于局部特征的方法能夠更關(guān)注行人的局部細(xì)節(jié)方面的特征。

基于局部特征的方法，也存在一些問(wèn)題，這一類(lèi)方法將行人劃分為各個(gè)獨(dú)立的語(yǔ)義分塊，并沒(méi)有考慮各個(gè)局部特征之間的關(guān)聯(lián)，因此，在我們的方案中，我們使用到了多級(jí)局部特征的融合方案，在考慮各個(gè)局部特征的同時(shí)考慮多個(gè)局部特征的關(guān)聯(lián)關(guān)系，具體網(wǎng)絡(luò)結(jié)構(gòu)如下圖所示，在原始的局部特征的基礎(chǔ)之上增加了多個(gè)不同尺度的局部特征以及全局特征，學(xué)到的特征不僅能夠表示各個(gè)部位的細(xì)節(jié)特征，還能表達(dá)不同部位融合在一起的特征，相較原始版本更加豐富化。

目前基于此版本模型還在持續(xù)優(yōu)化中，在Market數(shù)據(jù)集上Rank@1能達(dá)到96.19%，使用同樣骨干網(wǎng)絡(luò)結(jié)構(gòu)的情況下提取全局特征的版本的Rank@1只能達(dá)到89.9%,而僅使用local特征的版本Rank@1能夠達(dá)到92.5%，融合的方案相比兩個(gè)版本均有較明顯的提升。

跨數(shù)據(jù)集的行人重識(shí)別的探索與嘗試

由于線(xiàn)下場(chǎng)景的特殊性，我們的模型需要部署到各家不同的門(mén)店，各個(gè)門(mén)店的光線(xiàn)，環(huán)境存在很大的差異，不同門(mén)店的攝像頭安裝的角度也會(huì)有些許不同，因此我們?cè)谝粋€(gè)數(shù)據(jù)集上訓(xùn)練的模型可能并不適用于所有門(mén)店，然而我們又不可能逐家門(mén)店去做數(shù)據(jù)的標(biāo)注，因此，我們想通過(guò)一種方式，讓我們的模型能夠自適應(yīng)到新的門(mén)店的數(shù)據(jù)中。

在門(mén)店中，由于顧客是在一個(gè)封閉空間，因此顧客在各個(gè)攝像頭之間的轉(zhuǎn)移是存在一定的規(guī)律的，比如說(shuō)：顧客肯定是最先出現(xiàn)在門(mén)口的攝像頭，顧客只能在相鄰的兩個(gè)區(qū)域之間進(jìn)行轉(zhuǎn)移等，基于門(mén)店場(chǎng)景的特性，我們首先嘗試了基于攝像頭時(shí)空信息的混合模型，參考[7]，模型結(jié)構(gòu)如下圖所示：

混合模型首先基于原始的視覺(jué)特征的分類(lèi)器來(lái)計(jì)算各個(gè)攝像頭以及不同時(shí)間間隔之間轉(zhuǎn)移的概率分布，再使用時(shí)空信息與原始分類(lèi)器結(jié)合得到最終的結(jié)果。

人貨動(dòng)作檢測(cè)

除了基礎(chǔ)的客流動(dòng)線(xiàn)數(shù)據(jù)以外，顧客在門(mén)店中的行為數(shù)據(jù)也是非常有價(jià)值的，我們嘗試使用視覺(jué)結(jié)合RFID射頻信號(hào)的融合方案，試圖解決顧客在門(mén)店中與貨物的交互問(wèn)題，即哪個(gè)顧客在什么地點(diǎn)翻動(dòng)/拿起了哪一件商品，比較類(lèi)似線(xiàn)上的點(diǎn)擊數(shù)據(jù)。

人貨交互的數(shù)據(jù)在線(xiàn)下是很重要的一個(gè)環(huán)節(jié)，人貨交互的數(shù)據(jù)可以讓商家知道哪些商品被翻動(dòng)的多，了解哪些商品比較能夠吸引顧客，哪一類(lèi)顧客更喜歡哪些風(fēng)格的商品，同時(shí)這一部分?jǐn)?shù)據(jù)也完善了整個(gè)門(mén)店的漏斗轉(zhuǎn)化，以前商家僅僅能根據(jù)成交來(lái)判定每個(gè)商品的受歡迎程度，而有些潛在暢銷(xiāo)款可能是由于擺放的位置不恰當(dāng)，導(dǎo)致可能根本沒(méi)有顧客仔細(xì)看到，導(dǎo)致最終成交額較低，同時(shí)有的商品雖然成交筆數(shù)不少，但是實(shí)際上被顧客拿起的次數(shù)也特別多，可能是因?yàn)檫@件商品在一個(gè)更顯眼的位置，相比同樣成交筆數(shù)的拿起次數(shù)較少的商品，實(shí)際轉(zhuǎn)化率更低。補(bǔ)全這個(gè)環(huán)節(jié)的數(shù)據(jù)對(duì)商家的線(xiàn)下運(yùn)營(yíng)有很關(guān)鍵的作用，同時(shí)這一部分行為數(shù)據(jù)在商家線(xiàn)上線(xiàn)下商品打通之后為線(xiàn)上服務(wù)起到最重要的作用。

人貨交互的數(shù)據(jù)是目前線(xiàn)下數(shù)據(jù)缺失的比較嚴(yán)重的環(huán)節(jié)，商家一般都能很容易的拿到商品的成交的統(tǒng)計(jì)數(shù)據(jù)，而人貨交互的數(shù)據(jù)由于發(fā)生更頻繁，且不易判斷，因此整體數(shù)據(jù)的收集難度比較高，此外人貨交互的數(shù)據(jù)需要精確到具體的SKU，單純的顧客發(fā)生了動(dòng)作并沒(méi)有太大的意義，因此在人貨動(dòng)作檢測(cè)的方案上，我們?cè)O(shè)計(jì)了一套結(jié)合視覺(jué)技術(shù)和RFID射頻信號(hào)的融合方案，得到最終的人貨交互數(shù)據(jù)。下圖為整體方案：

門(mén)店中裝配有監(jiān)控?cái)z像機(jī)設(shè)備與RFID接收器設(shè)備，分別錄制實(shí)時(shí)視頻與RFID標(biāo)簽受激反射的 時(shí)序信號(hào)，首先基于回傳的RFID信號(hào)與檢測(cè)哪些RFID標(biāo)簽可能被翻動(dòng)了，由于店鋪服務(wù)員已經(jīng)將RFID標(biāo)簽的EPC編號(hào)與商品的 SKU編號(hào)關(guān)聯(lián)入庫(kù)，基于被翻動(dòng)的標(biāo)簽EPC編號(hào)可以取到對(duì)應(yīng)商品的SKU，同時(shí)，使用回傳的顧客圖片檢測(cè)出疑似有在翻動(dòng)商品的顧客，并根據(jù)顧客的圖像坐標(biāo)進(jìn)行坐標(biāo)變換，得到該顧客的真實(shí)物理坐標(biāo)，最后，將檢測(cè)出的疑似被翻動(dòng)的商品與疑似有翻動(dòng)商品動(dòng)作的顧客進(jìn)行關(guān)聯(lián)，得到商品與行人的最佳匹配。

其中基于RFID射頻技術(shù)的商品動(dòng)作識(shí)別是一個(gè)比較新的嘗試。當(dāng)顧客翻動(dòng)衣服時(shí)，衣服上的RFID標(biāo)簽會(huì)隨之發(fā)生微小抖動(dòng)，RFID接收機(jī)設(shè)備記錄標(biāo)簽反射的信號(hào)RSSI，Phase等特征值的變化，回傳到后臺(tái)，算法通過(guò)對(duì)每個(gè)天線(xiàn)回傳的信號(hào)值進(jìn)行分析判斷商品是否發(fā)生翻動(dòng)?；赗FID信號(hào)判斷商品翻動(dòng)存在諸多問(wèn)題，包括信號(hào)自身噪聲、環(huán)境多徑效應(yīng)、偶然電磁噪聲、貨柜對(duì)信號(hào)遮擋的影響等。同時(shí)RFID反射信號(hào)的大小與接收器離標(biāo)簽距離遠(yuǎn)近存在非線(xiàn)性關(guān)系，

其中，d代表RFID標(biāo)簽與接收器之間距離，

受Multipath和當(dāng)前環(huán)境的影響，

表示各種靜態(tài)設(shè)備誤差帶來(lái)的偏移。從公式中可以看出，接收器安裝的位置，商店環(huán)境等都會(huì)給RFID信號(hào)帶來(lái)很大影響，尋找統(tǒng)一的可以適用于不同商店、不同位置接收器的翻動(dòng)判斷算法存在很大挑戰(zhàn)。最初的版本我們使用RSSI和Phase的原始值作為特征值來(lái)訓(xùn)練模型，這樣的模型存在一個(gè)問(wèn)題，在我們的樣本不充足的情況下，受環(huán)境的影響較大，在真實(shí)環(huán)境中往往不能達(dá)到離線(xiàn)測(cè)試的結(jié)果，因此，我們?cè)噲D基于原始的信號(hào)值產(chǎn)生于空間位置不那么強(qiáng)相關(guān)的特征值來(lái)輔助動(dòng)作的判斷。

雖然頻率信息中的幅度信息與空間位置存在關(guān)系，但是當(dāng)我們只關(guān)注于頻率分布(不同頻率成份的占比)時(shí)，可以將頻率信息也當(dāng)成與空間位置信息無(wú)關(guān)的特征。頻率信息的獲取需要對(duì)RSSI信號(hào)與Phase信號(hào)進(jìn)行離散傅利葉變換, 然后統(tǒng)計(jì)頻率信號(hào)與相位信號(hào)的分布圖。對(duì)得到的分布圖，計(jì)算當(dāng)前分布與前一個(gè)時(shí)刻分布的JS散度(相對(duì)于KL散度，JS散度具有加法的對(duì)稱(chēng)性，因此可以用來(lái)衡量多個(gè)分布之間的相對(duì)距離)。

基于相鄰時(shí)刻前后兩個(gè)樣本的JS散差異的版本在我們的測(cè)試數(shù)據(jù)上能夠達(dá)到94%的識(shí)別精度，相比最初版本基于原始的RSSI值和phase值作為特征的版本的91.9%的精度，有一定的提升。

基于圖像的顧客動(dòng)作檢測(cè)是經(jīng)典的分類(lèi)問(wèn)題，為了減小對(duì)計(jì)算能力的需求，我們使用了：MobileNet[12]對(duì)行人檢測(cè)的圖像進(jìn)一步分類(lèi)，并根據(jù)模型Logits輸出進(jìn)行了最優(yōu)化參數(shù)尋優(yōu)，在保持分類(lèi)精度時(shí)，提高正例召回率，確保正例盡可能被召回，如下圖所示。

我們通過(guò)時(shí)間關(guān)聯(lián)程度與動(dòng)作可疑程度兩個(gè)維度同時(shí)進(jìn)行匹配，使得最終的匹配行人與翻動(dòng)商品的準(zhǔn)確率達(dá)到85.8%。

客流數(shù)字化應(yīng)用

客流數(shù)字化產(chǎn)出的客流相關(guān)數(shù)據(jù)不僅僅用于商家的線(xiàn)下運(yùn)營(yíng)，同時(shí)我們也基于這部分?jǐn)?shù)據(jù)在線(xiàn)下場(chǎng)的流量分發(fā)上有一些初步應(yīng)用，淘寶是線(xiàn)上的一個(gè)很大的流量分發(fā)的入口，淘寶的搜索和推薦決定了消費(fèi)者當(dāng)前能看到哪些商品，也同時(shí)影響了各個(gè)商家和商品的整體流量情況，搜索和推薦就是將商家、商品和用戶(hù)做匹配，將適當(dāng)?shù)纳唐氛故窘o合適的用戶(hù)，滿(mǎn)足消費(fèi)者的購(gòu)物體驗(yàn)的同時(shí)，也平衡各個(gè)商家商品的流量分配，避免流量的浪費(fèi)，實(shí)現(xiàn)流量的最大化的價(jià)值。

在線(xiàn)下商場(chǎng)，也有一樣的流量分發(fā)的需求。但是線(xiàn)下場(chǎng)相比線(xiàn)上，有兩個(gè)比較大的挑戰(zhàn)：1) 線(xiàn)下目前沒(méi)有統(tǒng)一的入口，類(lèi)似線(xiàn)上的搜索和推薦應(yīng)用，無(wú)法觸達(dá)到用戶(hù);2) 線(xiàn)下沒(méi)有類(lèi)似線(xiàn)上豐富的日志和行為數(shù)據(jù)，沒(méi)有數(shù)據(jù)支撐比較難做到精準(zhǔn)的個(gè)性化，無(wú)法優(yōu)化效果。

在線(xiàn)下場(chǎng)的流量分發(fā)的探索中，我們使用商場(chǎng)已有的互動(dòng)屏幕、門(mén)店的互動(dòng)屏幕作為流量分發(fā)的出口，同時(shí)，利用前文提到的客流數(shù)字化沉淀的數(shù)據(jù)來(lái)支撐線(xiàn)下場(chǎng)的個(gè)性化流量分發(fā)。

場(chǎng)外引流屏

場(chǎng)外引流屏的作用，是進(jìn)行第一級(jí)的流量分發(fā)，首先需要通過(guò)不同的互動(dòng)玩法，營(yíng)銷(xiāo)活動(dòng)吸引用戶(hù)，再通過(guò)屏幕對(duì)用戶(hù)進(jìn)行個(gè)性化的優(yōu)惠券投放，引導(dǎo)用戶(hù)進(jìn)入不同的門(mén)店。

在傳統(tǒng)商場(chǎng)中，用戶(hù)剛進(jìn)來(lái)商場(chǎng)，可能會(huì)隨機(jī)地在這個(gè)樓層進(jìn)行活動(dòng)，當(dāng)看到感興趣的品牌完成進(jìn)店的活動(dòng)，或者用戶(hù)會(huì)基于導(dǎo)覽屏，大概了解商場(chǎng)樓層的品牌分布情況，再進(jìn)行有一定針對(duì)性的瀏覽。而我們的引流屏的作用是將合適的優(yōu)惠推薦給對(duì)應(yīng)的人，從而引導(dǎo)用戶(hù)進(jìn)店，相當(dāng)于在商場(chǎng)中島進(jìn)行整體的流量分發(fā)，將集中在中島的用戶(hù)往各個(gè)不同的方向進(jìn)行引導(dǎo)。整體方案如下圖所示：

整體方案依賴(lài)三部分的數(shù)據(jù)，分別是基于用戶(hù)的圖像特征產(chǎn)出的人群屬性數(shù)據(jù)，以及各個(gè)店鋪的進(jìn)店人群分布數(shù)據(jù)和店鋪的其他統(tǒng)計(jì)量的特征，基于用戶(hù)當(dāng)前的屬性特征與店鋪的人群分布進(jìn)行匹配，可以得到初步的個(gè)性化的店鋪推薦結(jié)果，此外，使用店鋪本身的統(tǒng)計(jì)量特征作為輔助信息，在同等匹配條件下額外考慮各個(gè)店鋪本身的熱度，效率等維度特征，以及當(dāng)前所提供的優(yōu)惠券的力度信息，得到最終的優(yōu)惠券的排序，并展示給用戶(hù)。

場(chǎng)內(nèi)試衣屏

場(chǎng)內(nèi)試衣屏的作用是做第二層的流量分發(fā)，即用戶(hù)進(jìn)店后，需要推薦哪些商品展示給用戶(hù)。在傳統(tǒng)的門(mén)店中，用戶(hù)進(jìn)店后會(huì)在店內(nèi)進(jìn)行隨機(jī)的瀏覽，對(duì)于感興趣的衣服會(huì)找導(dǎo)購(gòu)員提供試穿，試穿后導(dǎo)購(gòu)員也會(huì)對(duì)顧客進(jìn)行推薦。整個(gè)過(guò)程中存在一些問(wèn)題，首先，用戶(hù)對(duì)于商品的瀏覽和商品擺放的位置關(guān)系很大，櫥窗的商品會(huì)更容易吸引用戶(hù)注意，而部分較密集的衣架區(qū)，用戶(hù)可能沒(méi)有辦法注意到部分貨品;其次，試穿之后導(dǎo)購(gòu)進(jìn)行的推薦也會(huì)因人而異，和導(dǎo)購(gòu)本身的素質(zhì)關(guān)系也較大，有些經(jīng)驗(yàn)豐富的導(dǎo)購(gòu)員可以根據(jù)你個(gè)人的長(zhǎng)相氣質(zhì)推薦更適合你的商品，而更多的導(dǎo)購(gòu)員只能簡(jiǎn)單的基于當(dāng)前的熱銷(xiāo)款來(lái)進(jìn)行推薦，無(wú)法做到因人而異。

試衣屏推薦要解決的就是上述的兩個(gè)問(wèn)題，整體展現(xiàn)形式如下圖：

在用戶(hù)進(jìn)行試穿時(shí)，會(huì)在鏡子側(cè)方顯示商品的詳情信息，包括目前商品是否有折扣等，同時(shí)會(huì)基于用戶(hù)的試穿行為，推薦相關(guān)商品與搭配商品，給部分商品一次額外的展示機(jī)會(huì)，同時(shí)也能夠基于用戶(hù)的試穿以及用戶(hù)當(dāng)前的圖像特征給出個(gè)性化的推薦結(jié)果，方便用戶(hù)的選購(gòu)，即使用戶(hù)暫時(shí)沒(méi)有這個(gè)消費(fèi)習(xí)慣，鏡子屏幕上的推薦結(jié)果也能對(duì)導(dǎo)購(gòu)員進(jìn)行一些輔助決策，能夠幫助導(dǎo)購(gòu)員給用戶(hù)推薦更加個(gè)性化更加豐富的商品。

整體算法方案如下圖所示：

考慮到隱私問(wèn)題，在我們的應(yīng)用中，我們不去嘗試通過(guò)人臉關(guān)聯(lián)到對(duì)應(yīng)的id，僅在場(chǎng)內(nèi)通過(guò)用戶(hù)的行為和其他用戶(hù)行為的相似性進(jìn)行推薦。

工程實(shí)現(xiàn)

AI inference是GPU終端計(jì)算重要的一環(huán)，最開(kāi)始探索的時(shí)候，AI inference采用串行模式：

通過(guò)觀(guān)察測(cè)試數(shù)據(jù)，我們驚訝地發(fā)現(xiàn)，雖然程序已經(jīng)處于視頻流圖片處理飽和的狀態(tài)，但是6核心CPU的使用率才到150%，GPU的使用率才到30%，也就是說(shuō)，超過(guò)一半的硬件資源處于閑置狀態(tài)。 為了使得原本間歇性閑置的資源得到重新的利用，我們改造成了流水線(xiàn)模式，結(jié)構(gòu)圖如下所示：

在多進(jìn)程實(shí)現(xiàn)的流水線(xiàn)方案中，由于每個(gè)進(jìn)程的數(shù)據(jù)都是相互獨(dú)立的，一個(gè)進(jìn)程產(chǎn)生或修改的數(shù)據(jù)對(duì)另一個(gè)進(jìn)程而言它是無(wú)感知。如何提高進(jìn)程間的數(shù)據(jù)傳遞是能否高效實(shí)現(xiàn)并發(fā)的關(guān)鍵點(diǎn)。 我們采用了基于mmap ctypes實(shí)現(xiàn)的共享內(nèi)存，對(duì)比管道、socket多進(jìn)程通訊機(jī)制，共享內(nèi)存在多進(jìn)程數(shù)據(jù)通訊方案中是非常高效和靈活，參考multiprocessing Value的解決方案，使用ctypes內(nèi)置的基本數(shù)據(jù)結(jié)構(gòu)來(lái)實(shí)現(xiàn)我們的數(shù)據(jù)模型，非常方便的進(jìn)行內(nèi)存切分并轉(zhuǎn)換成可用的數(shù)據(jù)結(jié)構(gòu)。

結(jié)合業(yè)務(wù)情況，我們的流水線(xiàn)工作模式會(huì)將各個(gè)階段分割為子任務(wù)，我們還設(shè)計(jì)了圖片共享隊(duì)列，整個(gè)過(guò)程只需要寫(xiě)入一次圖片數(shù)據(jù)，各個(gè)階段只需要從這個(gè)共享隊(duì)列讀取圖片即可，等所有流程都操作完之后再?gòu)膱D片隊(duì)列刪除這個(gè)圖片數(shù)據(jù)，這樣就能保證圖片操作的正確性和高效性。通過(guò)測(cè)試發(fā)現(xiàn)，我們實(shí)現(xiàn)的共享內(nèi)存隊(duì)列在讀取數(shù)據(jù)上比pipe方式快了300多倍。

業(yè)務(wù)效果

目前我們客流數(shù)字化的數(shù)據(jù)已經(jīng)沉淀到相應(yīng)的產(chǎn)品，以下是基礎(chǔ)客流的示意圖，品牌商可以看到門(mén)店每日的基礎(chǔ)客流量以及分時(shí)段的客流情況，了解各個(gè)門(mén)店當(dāng)前的經(jīng)營(yíng)狀況。

下圖為區(qū)域熱力圖和區(qū)域動(dòng)線(xiàn)圖，區(qū)域熱力圖展示了門(mén)店在一天內(nèi)各個(gè)小時(shí)各個(gè)區(qū)域的人流量密度情況，我們將各個(gè)不同攝像頭的數(shù)據(jù)進(jìn)行整合，最終映射到門(mén)店的平面CAD圖上展示區(qū)域熱力，讓門(mén)店能夠更直觀(guān)的看到各個(gè)區(qū)域的熱度，區(qū)域動(dòng)線(xiàn)圖展示了各個(gè)區(qū)域客流的去向和來(lái)源的占比，基于區(qū)域熱力和動(dòng)線(xiàn)數(shù)據(jù)，商家能夠清晰的了解到門(mén)店各個(gè)區(qū)域的密度情況以及各個(gè)區(qū)域之間顧客的轉(zhuǎn)移情況，目前合作的品牌商也會(huì)基于區(qū)域的數(shù)據(jù)對(duì)店內(nèi)的陳列做適當(dāng)?shù)恼{(diào)整，甚至有門(mén)店基于動(dòng)線(xiàn)的數(shù)據(jù)重新調(diào)整整個(gè)門(mén)店的區(qū)域分布情況。

下圖為門(mén)店進(jìn)店客流的人群畫(huà)像，展示了門(mén)店每天進(jìn)店客流的性別和年齡的分布，商家會(huì)基于進(jìn)店的人群畫(huà)像數(shù)據(jù)與當(dāng)前品牌的目標(biāo)人群進(jìn)行對(duì)比，并基于實(shí)際進(jìn)店客流的分布調(diào)整門(mén)店陳列商品的品類(lèi)結(jié)構(gòu)以及不同類(lèi)型商品的占比。