隨著智能制造的不斷升級(jí)和落地，工廠內(nèi)的智能搬運(yùn)和智慧物流也越來越被關(guān)注，將AI技術(shù)引入到機(jī)器人和 AMR 部署的工廠內(nèi)各種場景逐步成為新趨勢?，F(xiàn)階段如何將視覺技術(shù)更方便、實(shí)用、安全、穩(wěn)定地部署到應(yīng)用中，將成為 AI 結(jié)合機(jī)器人應(yīng)用的關(guān)鍵點(diǎn)。

而仙工智能（SEER）全感知 AI 物流系統(tǒng) RoboView 在解決這些關(guān)鍵點(diǎn)，具有自己的“見解”。

全感知 AI 物流系統(tǒng) RoboView 的視覺應(yīng)用

由于工業(yè)場景的復(fù)雜性，將前沿的視覺技術(shù)引入作業(yè)場景中并非易事，最關(guān)鍵的一點(diǎn)是如何將前沿的視覺技術(shù)方便地落實(shí)到實(shí)際應(yīng)用中，并讓客戶快速掌握使用技能。尤其是在 3D 視覺應(yīng)用中，要求精準(zhǔn)定位并評(píng)估 3D 場景下的物體，但現(xiàn)階段因較高的研發(fā)和部署難度，它的應(yīng)用往往不如 2D 技術(shù)普遍，可隨著科技技術(shù)的發(fā)展，3D 技術(shù)終將成為未來的趨勢，得到更多的應(yīng)用。如下圖 RoboView 在一個(gè)典型的3D應(yīng)用中的流程。 

 3D視覺在3D抓取任務(wù)中，需要識(shí)別目標(biāo)的位姿

比如說，在AGV物流倉儲(chǔ)中，為了對(duì)貨物進(jìn)行有效的管理，需要借助3D視覺技術(shù)來完成搬運(yùn)、堆疊任務(wù)，但由于實(shí)際工廠環(huán)境差異大(光照條件差異)，場景變化多，貨物本身的尺寸差異大(從幾百到幾千毫米)以及對(duì)搬運(yùn)、堆疊任務(wù)的精度要求差異大(毫米級(jí)到厘米級(jí))等原因，便需針對(duì)具體的客戶場景制定相對(duì)應(yīng)的方案，這給研發(fā)和部署都帶來較大難度。

為使這類應(yīng)用的部署更簡單、高效，仙工智能（SEER）將自己開發(fā)的視覺算法庫、相機(jī)庫和機(jī)器人庫融合到一整個(gè)視覺應(yīng)用平臺(tái)中，這樣在部署時(shí)即可靈活地選擇與應(yīng)用相對(duì)應(yīng)的相機(jī)和方案。比如，從十幾家廠家中的上百種甚至更多種類中選擇真正符合應(yīng)用的相機(jī)，并直接選擇對(duì)應(yīng)的算法和機(jī)器人，真正做到“量體裁衣”。

這個(gè)視覺應(yīng)用平臺(tái)就是仙工智能（SEER）全感知 AI 物流系統(tǒng) RoboView，在其強(qiáng)大的算法能力支撐下，通過一鍵部署，不僅可降低成本，還極大提高了部署效率。

RoboView 應(yīng)用庫

我們都知道，視覺技術(shù)的出現(xiàn)就是為了解決實(shí)際問題而存在。就目前的車間或工廠而言，遇到最大的問題是庫位管理效率低，而 RoboView 能夠?qū)煳还芾砀?ldquo;智慧”地融合到系統(tǒng)中，比如 AGV 的調(diào)度系統(tǒng)等，不僅使自動(dòng)化物流系統(tǒng)更流程化，還降低了管理成本，提高了管理效率。

實(shí)際上，RoboView 實(shí)現(xiàn)的庫位管理系統(tǒng)，只需要在需要進(jìn)行庫位管理的倉庫里部署幾臺(tái)相機(jī)和一臺(tái)視覺服務(wù)器并運(yùn)行 RoboView，即可完成庫位管理。此時(shí) RoboView 將負(fù)責(zé)庫位管理的全部任務(wù)，并和調(diào)度系統(tǒng)對(duì)接，在“悄無聲息”間完成庫位管理任務(wù)，如庫滿/空、出/入庫、錯(cuò)誤入庫及其他豐富的管理能力。

 RoboView 實(shí)現(xiàn)的庫位管理系統(tǒng)示意圖

另外，在一些密集倉儲(chǔ)的區(qū)域，即使在自動(dòng)叉車上安裝再多的傳感器也無法避免一些危險(xiǎn)情形，比如下圖的情形：

 密集倉儲(chǔ)的區(qū)域，可能遇到的一些危險(xiǎn)情形

由上圖可以看到，在人員和自動(dòng)叉車、AMR混用的場景中，在一些現(xiàn)場的設(shè)備、人員、貨物統(tǒng)一管理的難題，RoboView 便可為客戶解決這些難題。更多詳情邀您親臨 2021 ITES 深圳工業(yè)展 21-H41 展位，文末免費(fèi)索票，輕松參展。

全感知 AI 物流系統(tǒng) RoboView 的誕生

RoboView 的靈感來源于 RoboCup 小型組足球機(jī)器人比賽，作為 RoboCup 中最強(qiáng)調(diào)團(tuán)隊(duì)協(xié)作和對(duì)抗的組別，小型組采用了外部的視覺服務(wù)作為了機(jī)器人位置的主要感知方式，其典型場景如下：

 RoboCup 小型組足球機(jī)器人位置的主要感知方式示意圖

通過外部視覺感知和統(tǒng)一的大腦對(duì)場景內(nèi)的機(jī)器人進(jìn)行統(tǒng)一管理，從而實(shí)現(xiàn)各種復(fù)雜的協(xié)作與對(duì)抗。

 世界小型機(jī)器人足球比賽 Robocup 比賽現(xiàn)場

由此出發(fā)，仙工智能（SEER）在基于 SLAM 導(dǎo)航的體系外，創(chuàng)新性地提出全感知 AI 物流系統(tǒng) RoboView。

1、RoboView 架構(gòu)

RoboView 由感知平臺(tái)和感知節(jié)點(diǎn)共同構(gòu)成，其中感知平臺(tái)作為系統(tǒng)的核心是提供所有的視覺服務(wù)、為智能工廠及物流系統(tǒng)提供必要信息（包括庫位管理信息、車隊(duì)跟蹤信息、設(shè)備運(yùn)行狀態(tài)等）、小車作業(yè)視覺服務(wù)請(qǐng)求響應(yīng)、系統(tǒng)安全監(jiān)控信息等四大部分；感知節(jié)點(diǎn)包括固定或移動(dòng)式的圖像（2D）/點(diǎn)云（3D）采集設(shè)備及編組。

感知平臺(tái)為獨(dú)立運(yùn)行的視覺服務(wù)器，其主要提供視覺 AI 感知能力，通過 2D/3D 視覺的技術(shù)實(shí)現(xiàn)對(duì)感知區(qū)域內(nèi)的目標(biāo)進(jìn)行識(shí)別、定位和檢測。感知平臺(tái)只需要一份輸入，以及一個(gè)輸出定義（DOO, Definition Of Output），即可完成一次感知服務(wù)，因此它是多任務(wù)的，相互獨(dú)立的信息感知平臺(tái)。

感知節(jié)點(diǎn)是分布式部署的，分為固定節(jié)點(diǎn)和移動(dòng)節(jié)點(diǎn)。固定節(jié)點(diǎn)是指固定安裝的圖像（2D）/點(diǎn)云（3D）采集設(shè)備，如普通的監(jiān)控?cái)z像頭、ToF 相機(jī)、3D 激光雷達(dá)等都可以作為感知節(jié)點(diǎn)接入；移動(dòng)節(jié)點(diǎn)指這些安裝在移動(dòng)機(jī)器人上的各類視覺圖像（2D）/點(diǎn)云（3D）采集設(shè)備，通過仙工智能（SEER）的 SRC 核心控制器可以實(shí)現(xiàn)與 RoboView 的無縫對(duì)接。

感知節(jié)點(diǎn)可以通過 Roboshop 一站式布署軟件加入 SLAM 地圖中，并配置相應(yīng)的工作流，從而實(shí)現(xiàn)節(jié)點(diǎn)的快速設(shè)置布署。同時(shí)，全感知 AI 物流系統(tǒng) RoboView 與仙工智能企業(yè)數(shù)字化中臺(tái) SEED 配合，可以實(shí)現(xiàn)對(duì)場所內(nèi)的各個(gè)系統(tǒng)的部署、規(guī)劃和監(jiān)控，并實(shí)現(xiàn)對(duì) AMR 及無人叉車的安全監(jiān)控及作業(yè)規(guī)劃。

 仙工智能（SEER）全感知物流系統(tǒng)解決方案

2、AI 全感知技術(shù)

AI 全感知平臺(tái)融合了多項(xiàng)關(guān)鍵技術(shù)，為物流管理系統(tǒng)提供了豐富的信息。

【增強(qiáng)顯示】通過數(shù)個(gè)固定感知節(jié)點(diǎn)全方位“觀察”，結(jié)合多點(diǎn)視覺的配準(zhǔn)、拼接、融合技術(shù)，將整個(gè)倉庫的實(shí)時(shí)狀態(tài)盡收眼底，在原有監(jiān)控視頻的基礎(chǔ)上加入了 AR 增強(qiáng)信息，讓現(xiàn)場人員對(duì)設(shè)備狀態(tài)更加直觀清晰。

【車輛監(jiān)控】結(jié)合車輛自身信息，對(duì)場景內(nèi)的每一輛 AMR 及自動(dòng)叉車進(jìn)行實(shí)時(shí)定位和追蹤，捕獲并預(yù)測車輛的運(yùn)行軌跡，結(jié)合仙工智能企業(yè)數(shù)字化中臺(tái) SEED，對(duì)偏離作業(yè)任務(wù)的車輛及時(shí)發(fā)出調(diào)整指令并向平臺(tái)發(fā)出警告。

【目標(biāo)識(shí)別定位】RoboView 不僅僅包含常規(guī)的視覺感知算法，還包含了先進(jìn)的深度學(xué)習(xí)算法，大大地提高了系統(tǒng)的抗干擾性。目標(biāo)檢測技術(shù)，能夠?qū)崟r(shí)從視頻流中檢測出目標(biāo)物體，如小車或人；3D 點(diǎn)云的分割技術(shù)，能夠直接從點(diǎn)云中提取目標(biāo)物體，并給出尺寸、位置等重要信息，使算法更加穩(wěn)定、可靠。另外，通過圖像語義分割技術(shù)，還可以為倉庫的管制標(biāo)記、道路標(biāo)識(shí)和作業(yè)車等進(jìn)行一次性分割、提取，為控制平臺(tái)提供了另一項(xiàng)重要信息。

【庫位管理】通過部署在場景中的多臺(tái)固定感知節(jié)點(diǎn)，感知平臺(tái)能夠?qū)崟r(shí)獲取場景里的所有庫位信息，并通過 2D 識(shí)別技術(shù)，識(shí)別&定位出庫位的有效信息，包括但不限于有無貨物、有無小車、有無異物侵入等信息，并將這些信息發(fā)布出去（根據(jù)物流系統(tǒng)的配置，可能發(fā)送給物流系統(tǒng)和小車），物流系統(tǒng)或小車能夠根據(jù)這些信息做有效的決策，大大提升了倉庫管理效率。

【安全監(jiān)控】主要涉及場景內(nèi)的所有狀態(tài)實(shí)時(shí)監(jiān)控，其內(nèi)容包括：外來異物（非作業(yè)人員、作業(yè)人員進(jìn)入非安全區(qū)域、小車脫離預(yù)設(shè)任務(wù)軌跡、非作業(yè)小車等）侵入監(jiān)控、貨物狀態(tài)監(jiān)控、小車路線障礙物檢測、其他聯(lián)動(dòng)設(shè)備的監(jiān)控（如大型貨架，升降電梯等）。