木牛予智具身智能行業(yè)大動(dòng)作模型（MN-LAM） 將多模態(tài)間距端到端技術(shù)與工業(yè)生產(chǎn)實(shí)際需求結(jié)合，多模到端率先實(shí)現(xiàn)無人平衡重叉車產(chǎn)品面對(duì)窄板及側(cè)翻板運(yùn)輸車的態(tài)端緊貼碼放，突破行業(yè)性能極限，木牛達(dá)到室內(nèi)外裝卸窄板及側(cè)翻板運(yùn)輸車的機(jī)器要求。

那么什么是人突多模態(tài)+端到端？窄板及側(cè)翻板運(yùn)輸車的緊貼碼放到底難在哪兒？為什么木牛機(jī)器人的多模態(tài)+端到端技術(shù)能解決緊密碼放問題？一篇文章帶你詳細(xì)了解！

多模態(tài)+端到端技術(shù)

成為具身智能的破窄大腦

多模態(tài)+端到端技術(shù)指面對(duì)是一項(xiàng)復(fù)雜的任務(wù)，采集輸入多種模態(tài)形式的板及板運(yùn)數(shù)據(jù)，由多種規(guī)劃控制的側(cè)翻多種路徑組合來實(shí)現(xiàn)，不需要人為干預(yù)就能找到最優(yōu)解并且執(zhí)行好該任務(wù)的輸車技術(shù)。簡單說來，裝車多模態(tài)模型+端到端神經(jīng)網(wǎng)絡(luò)模型間距融合，它的多模到端存在很像你感到餓了，大腦會(huì)控制你就會(huì)去觀察周圍，態(tài)端尋找食物，木牛并且控制身體去完成進(jìn)食的過程，因此，可以理解為它是具身智能的“機(jī)械腦”。

在多模態(tài)+端到端技術(shù)之前，傳統(tǒng)機(jī)器人大體都是基于視覺、雷達(dá)或其他傳感器獲取環(huán)境數(shù)據(jù)，再通過一個(gè)個(gè)有規(guī)則的子模塊連接而成，相當(dāng)于一個(gè)個(gè)工作車間，對(duì)不同傳感器收集到的信息進(jìn)行判斷加工，最后輸出動(dòng)作指令。流水線架構(gòu)的優(yōu)點(diǎn)是分工明確，如果發(fā)現(xiàn)問題，可以分步驟檢查解決。但是缺點(diǎn)也很明顯：上限很低，在面對(duì)復(fù)雜任務(wù)的時(shí)候，會(huì)有明顯智能程度不夠。

以目前機(jī)器人開發(fā)大多采用的ROS系統(tǒng)為例，它是通訊機(jī)制、工具軟件包、機(jī)器人高層技能以及機(jī)器人生態(tài)系統(tǒng)集合體，具有靈活復(fù)用性高的優(yōu)勢(shì)，缺點(diǎn)是每一個(gè)運(yùn)算節(jié)點(diǎn)是一個(gè)獨(dú)立進(jìn)程，系統(tǒng)資源消耗大、 實(shí)時(shí)性差，僅支持上位機(jī)、 無法處理復(fù)雜任務(wù)。

ROS定義的通訊機(jī)制，靈活但是管理復(fù)雜，系統(tǒng)資源消耗大

多模態(tài)+端到端技術(shù)利用任務(wù)指令、視覺識(shí)別，雷達(dá)和各類傳感器，在一端匯集不同模態(tài)（文本、圖像、聲音、視頻）的數(shù)據(jù)，另一端直接輸出動(dòng)作指令。去掉了信息在流水線上傳遞這一過程，誤差和延遲都大大減少，因此可以實(shí)現(xiàn)跨模態(tài)的感知、理解和生成，它打破了單一模態(tài)數(shù)據(jù)的限制，使得AI系統(tǒng)能夠更加全面準(zhǔn)確的理解人類信息，可以應(yīng)用于具身智能機(jī)器人較好的完成復(fù)雜任務(wù)。

多模態(tài)+神經(jīng)網(wǎng)絡(luò)模型

目前主流的具身智能解決方案主要包括以特斯拉Optimus機(jī)器人、Physical Intelligence等知名具身智能公司采用的端到端神經(jīng)網(wǎng)絡(luò)方案具身智能解決方案和以Figure 01、EVE/NEO和智元機(jī)器人遠(yuǎn)征A1等產(chǎn)品為代表的多模態(tài)大模型+神經(jīng)網(wǎng)絡(luò)控制模型具身智能解決方案。目前這些機(jī)器人多以各類機(jī)械臂、靈巧手和人形機(jī)器人為主，除部分機(jī)械臂外，大多產(chǎn)品處于DEMO階段，規(guī)劃的主要應(yīng)用場(chǎng)景是汽車生產(chǎn)制造、物流等工廠中的簡單重復(fù)性生產(chǎn)環(huán)節(jié)。

行業(yè)內(nèi)機(jī)器人常見形態(tài)

多模態(tài)大模型可以更加全面高效的感知環(huán)境信息，生成式端到端大模型直接生成一條執(zhí)行軌跡，最大的優(yōu)勢(shì)是決策效率高，可以通過更全面的信息輸入不需要人工參與就能完成的決策執(zhí)行，為解決現(xiàn)實(shí)世界復(fù)雜問題奠定基礎(chǔ)。但是由于缺少實(shí)際應(yīng)用場(chǎng)景，目前的很多機(jī)器人產(chǎn)品存在訓(xùn)練數(shù)據(jù)不夠豐富、訓(xùn)練不到位或模型與實(shí)際場(chǎng)景需求不匹配等問題，表現(xiàn)為過度擬合訓(xùn)練數(shù)據(jù),導(dǎo)致其在新數(shù)據(jù)上的性能不佳，出現(xiàn)很多莫名其妙的“幻覺”，這也是我們說的多模態(tài)加端到端雖然效果上限很高，但是呈現(xiàn)的機(jī)器人表現(xiàn)下限很低。市面上可以用于實(shí)際生產(chǎn)生活的智能機(jī)器人幾乎沒有。

上限高 下限低 機(jī)器人出現(xiàn)“幻覺”導(dǎo)致任務(wù)失敗

窄板及側(cè)翻板運(yùn)輸車緊密碼放場(chǎng)景

多模態(tài)+端到端的典型應(yīng)用

作為黑燈工廠智慧物流的最后一環(huán)，原料入庫與成品出庫始終是全流程智能化中的“最后100米”難題。需要傳統(tǒng)叉車抱車工人參與作業(yè)，其中窄板及側(cè)翻板運(yùn)輸車裝車難度尤為凸顯。

窄板及側(cè)翻板的運(yùn)輸車緊密碼放裝車主要難點(diǎn)體現(xiàn)在：

1叉車本體體積大、自重高導(dǎo)致本體精準(zhǔn)控制難度極大：

平衡重叉車車體自重高達(dá)十噸，載重五噸以上，運(yùn)行速度可達(dá)4m/s，毫秒級(jí)的計(jì)算偏差也會(huì)產(chǎn)生較大誤差；采用抱夾式屬具，抱取圓柱體需要先計(jì)算紙卷圓心，精準(zhǔn)控制抱夾過圓心抓取，此類機(jī)器人本體要滿足1cm誤差的緊密碼放，對(duì)算法有極高要求。

2窄板車及側(cè)翻板運(yùn)輸車裝載面受限，裝車精度要求極高：

窄板及側(cè)翻板運(yùn)輸車由于車型狹小，通常寬度不超過2.45米；還要留出側(cè)邊翻板閉合的空間，實(shí)際有效裝車面積通常只有2.35米左右；而出廠的紙卷直徑通常在1.2米左右，甚至達(dá)到1.25米，長度為13.7米的車輛，常規(guī)需要裝載18~20垛紙卷，兩列并排難度極大，需要通過更科學(xué)的交錯(cuò)跺型規(guī)劃和緊密碼放來完成。從而確保紙卷不超出板車邊緣位置，不影響翻板關(guān)閉，同時(shí)不會(huì)將對(duì)側(cè)或旁邊紙卷推走。

窄板車及側(cè)翻板車擋板影響裝載空間 需要提前規(guī)劃交錯(cuò)碼放、緊密貼合

3緊密貼合且不損紙的高成功率作業(yè)要求難度極大：

在裝車過程中既要考慮交錯(cuò)碼放，又要考慮緊密貼合。要求叉車機(jī)器人將碼放精度控制在1cm之內(nèi)，紙卷剛好貼合旁邊紙卷且紙卷間不能有大的壓力，否則紙卷放下時(shí)會(huì)產(chǎn)生貨損。目前純視覺和激光雷達(dá)方案均無法做到“剛剛貼上”這個(gè)叉車司機(jī)才有的微妙手感。

多模態(tài)+端到端智能提升

首發(fā)抱夾式無人平衡重叉車

性能突破行業(yè)極限

木牛機(jī)器人創(chuàng)新型采用多模態(tài)+端到端模型解決了這個(gè)問題。

我們與行業(yè)伙伴攜手進(jìn)入真實(shí)作業(yè)現(xiàn)場(chǎng)，接入多模態(tài)+端到端技術(shù)，可以通過更全面的攝像頭、雷達(dá)和傳感器采集環(huán)境信息，將質(zhì)量極高的真實(shí)數(shù)據(jù)在一端進(jìn)行輸入，將決策方式從模仿人的動(dòng)作轉(zhuǎn)換到根據(jù)環(huán)境與任務(wù)要求，對(duì)所有規(guī)劃可能性進(jìn)行高效分析并完成決策篩選，在另一端形成最優(yōu)解決方案，完成純視覺和激光雷達(dá)方案無法完成的窄板及側(cè)翻板運(yùn)輸車在室外復(fù)雜環(huán)境裝車任務(wù)。這個(gè)從照貓畫虎的模仿者變成邏輯推理的決策者的轉(zhuǎn)變，可以讓機(jī)器人達(dá)到最佳性能，從效果上做到了下限有兜底，作業(yè)更流暢。

木牛予智行業(yè)大動(dòng)作模型MN-LAM全面接入多模態(tài)+端到端技術(shù)，在此平臺(tái)上研發(fā)的無人平衡重叉車可以實(shí)現(xiàn)“高載重、快速度、高精度”同時(shí)滿足的不可能三角，可以實(shí)現(xiàn)載重量高達(dá)5噸及以上，行駛速度達(dá)到4m/s，碼放精度誤差不超過1cm。

碼放精度再獲突破

實(shí)現(xiàn)窄板及側(cè)翻板運(yùn)輸車緊貼碼放裝車

基于領(lǐng)先技術(shù)，近期木牛無人平衡重叉車在碼放精度上，實(shí)現(xiàn)重大技術(shù)突破。升級(jí)后的新一代無人平衡重叉車在窄板及側(cè)翻板運(yùn)輸車上碼放誤差不超過1cm，足以滿足造紙行業(yè)中成品紙卷裝車需求，解決智慧物流最后“100米裝卸車難題”。在行業(yè)內(nèi)率先做到“無人裝車，裝完即走”。

無人裝車 裝完即走

目前，「木牛機(jī)器人」已與造紙行業(yè)智能制造系統(tǒng)和智能倉儲(chǔ)物流系統(tǒng)的龍頭企業(yè)--中輕長泰（市場(chǎng)份額超過80%）、國家工業(yè)互聯(lián)網(wǎng)應(yīng)用創(chuàng)新體驗(yàn)中心（紡織行業(yè)）-江蘇格羅瑞科技等眾多領(lǐng)域的智能制造節(jié)點(diǎn)型企業(yè)深度合作，為行業(yè)提供無人平衡重叉車和更多符合生產(chǎn)需求的機(jī)器人智能化解決方案。

以無人駕駛平衡重載機(jī)器人為基礎(chǔ)，木牛機(jī)器人將不斷探索和突破，為客戶提供更智能、更安全、更高效的機(jī)器人產(chǎn)品及智能物流解決方案，為中國工業(yè)企業(yè)高質(zhì)量發(fā)展提供新動(dòng)力。

很贊哦!（52）