數(shù)字管家 | 智慧道路數(shù)據(jù)接入架構(gòu)的演進(jìn)之路
隨著我國(guó)智慧城市建設(shè)及新基建的推進(jìn),對(duì)城市道路智慧化建設(shè)提出新的要求。智慧道路是借助物聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能等新一代信息技術(shù),構(gòu)建以數(shù)據(jù)為核心,以信息的收集、處理、分析和發(fā)布為主線,實(shí)現(xiàn)道路基礎(chǔ)設(shè)施數(shù)字化、管理科學(xué)化、運(yùn)行高效化和服務(wù)品質(zhì)化,從而解決交通問(wèn)題、降低運(yùn)行能耗、提升出行體驗(yàn)的新型道路。而智慧道路平臺(tái)離不開(kāi)各種類(lèi)型的物聯(lián)設(shè)備,如智能桿、信息屏、燈控、攝像頭、井蓋,WIFI,智能電源、環(huán)境監(jiān)測(cè)器等,這些設(shè)備產(chǎn)生和采集的數(shù)據(jù)如何安全、高效、穩(wěn)定的接入平臺(tái),一直是智慧道路工程師們關(guān)注和探索的問(wèn)題。
在此背景下,深圳市城市交通規(guī)劃設(shè)計(jì)研究中心(以下簡(jiǎn)稱(chēng)“深城交”)深入探索涵蓋路段、路口、路面的全空間智慧道路集成化解決方案,面向大數(shù)據(jù)存儲(chǔ)、計(jì)算與通訊需求,兼顧性能要求和經(jīng)濟(jì)性,針對(duì)百萬(wàn)路視頻結(jié)構(gòu)化的分析技術(shù)瓶頸,構(gòu)建“云-邊-端”分布式存儲(chǔ)及協(xié)同調(diào)度的交通大數(shù)據(jù)智能計(jì)算平臺(tái)架構(gòu),經(jīng)歷了三次大的數(shù)據(jù)接入框架升級(jí),從而可以支持TB級(jí)別數(shù)據(jù)的秒級(jí)計(jì)算,在車(chē)路協(xié)同場(chǎng)景下能保證數(shù)據(jù)計(jì)算時(shí)延在毫秒級(jí)別,對(duì)提升業(yè)務(wù)賦能,支撐精準(zhǔn)管控與品質(zhì)服務(wù)起到了較大的作用。
數(shù)據(jù)接入1.0框架
智慧道路發(fā)展初期階段,主要桿件掛載設(shè)備是視頻攝像頭,燈控,信息屏等,種類(lèi)及生產(chǎn)廠家比較單一。1.0框架通過(guò)創(chuàng)建一個(gè)數(shù)據(jù)接入處理工程來(lái)實(shí)現(xiàn)所有桿件設(shè)備的數(shù)據(jù)接入處理,整套數(shù)據(jù)均采用同一家廠商的同一種型號(hào)設(shè)備產(chǎn)生的,這樣做法的好處是有效減少了數(shù)據(jù)不兼容問(wèn)題,在創(chuàng)建好的工程服務(wù)里對(duì)接入的數(shù)據(jù)進(jìn)行解析處理,接著再把處理好的數(shù)據(jù)寫(xiě)入數(shù)據(jù)庫(kù),即可完成數(shù)據(jù)接入工作,見(jiàn)圖1。
圖1
1.0的框架部署簡(jiǎn)單,不存在任何的技術(shù)壁壘,大多數(shù)情況下只需要一個(gè)工程包和一套成熟的技術(shù)棧就可以滿(mǎn)足智慧道路平臺(tái)日常數(shù)據(jù)接入工作。但該框架缺點(diǎn)也是很明顯的,如系統(tǒng)啟動(dòng)慢, 一個(gè)進(jìn)程包含了所有設(shè)備數(shù)據(jù)接入的業(yè)務(wù)邏輯,涉及到的啟動(dòng)模塊過(guò)多,導(dǎo)致系統(tǒng)的啟動(dòng),重啟周期邊長(zhǎng);系統(tǒng)錯(cuò)誤隔離性差,可用性差,任何一個(gè)模塊的錯(cuò)誤可能導(dǎo)致整個(gè)系統(tǒng)的宕機(jī);可伸縮性差,系統(tǒng)的擴(kuò)容只能對(duì)整個(gè)應(yīng)用擴(kuò)容,不能做到對(duì)單個(gè)功能點(diǎn)進(jìn)行擴(kuò)容;線上問(wèn)題修復(fù)時(shí)間長(zhǎng),任何一個(gè)線上問(wèn)題修復(fù)需要對(duì)整個(gè)應(yīng)用系統(tǒng)進(jìn)行全面升級(jí),同時(shí)隨著智能燈桿掛載設(shè)備種類(lèi)及生產(chǎn)廠商的增加,每家廠商接入方式都不一樣,導(dǎo)致工程包越來(lái)越大擴(kuò)大了該框架的缺點(diǎn)。
為此,深城交的智慧道路平臺(tái)的架構(gòu)師們精研技術(shù),對(duì)1.0架構(gòu)進(jìn)行調(diào)整升級(jí),引入微服務(wù)架構(gòu)的概念對(duì)不同類(lèi)型設(shè)備數(shù)據(jù)接入服務(wù)組件化。
數(shù)據(jù)接入2.0框架
2.0框架,一種將單一應(yīng)用程序開(kāi)發(fā)為一組小型服務(wù)的方法,每個(gè)服務(wù)運(yùn)行在自己的進(jìn)程中,服務(wù)間通信采用的輕量級(jí)通信機(jī)制(通常為HTTP資源API),服務(wù)圍繞業(yè)務(wù)能力構(gòu)建可通過(guò)全自動(dòng)部署機(jī)制獨(dú)立部署、公用一個(gè)最小型的集中式的管理。另外服務(wù)可用不同的語(yǔ)言進(jìn)行開(kāi)發(fā),使用不同的數(shù)據(jù)儲(chǔ)存技術(shù),大大提高開(kāi)發(fā)和數(shù)據(jù)管理的協(xié)調(diào)性。其中,對(duì)于不同類(lèi)型的設(shè)備接入,建立不同的微服務(wù)工程進(jìn)行數(shù)據(jù)接入處理,見(jiàn)圖2。
圖2
與1.0框架相比,2.0框架易于開(kāi)發(fā),一個(gè)服務(wù)工程只對(duì)接處理一個(gè)類(lèi)型設(shè)備進(jìn)行入庫(kù),有獨(dú)立的代碼庫(kù),開(kāi)發(fā)任務(wù)可以同時(shí)獨(dú)立進(jìn)行,避免了單一工程協(xié)作沖突,提高了開(kāi)發(fā)效率。同時(shí)也加強(qiáng)了系統(tǒng)健壯性和可維護(hù)性,某個(gè)服務(wù)出問(wèn)題不影響其他服務(wù)正常運(yùn)行,保障了系統(tǒng)的高可用性,不會(huì)出現(xiàn)大面積癱瘓,某個(gè)微服務(wù)修改只需要部署修改的微服務(wù)就行,不影響其他服務(wù);單個(gè)服務(wù)啟動(dòng)塊,單個(gè)服務(wù)代碼量少;技術(shù)棧不受限,可以結(jié)合業(yè)務(wù)和團(tuán)隊(duì)的特點(diǎn),合理選用技術(shù)棧;資源按需收縮,可根據(jù)需求,實(shí)現(xiàn)細(xì)粒度的擴(kuò)展,例如,系統(tǒng)中的某個(gè)微服務(wù)遇到了瓶頸,可以結(jié)合微服務(wù)的特點(diǎn),增加內(nèi)存,升級(jí)CPU或增加節(jié)點(diǎn)。在這種模式下,更多的服務(wù)意味著更多的運(yùn)維人力投入,運(yùn)維成本會(huì)有所增加。
另外,同一類(lèi)型的設(shè)備來(lái)自不同的廠商,接入方式也存在差異,但最終寫(xiě)入的表是一致的,為此將共性重復(fù)的工作抽取出來(lái)封裝成公共服務(wù)組件,將數(shù)據(jù)接入過(guò)程分工層級(jí)化,明確了各層的職責(zé),這里將數(shù)據(jù)接入處理服務(wù)過(guò)程拆分為兩步進(jìn)行,見(jiàn)圖3:
(1) 數(shù)據(jù)接入轉(zhuǎn)換:將不同產(chǎn)商某類(lèi)型設(shè)備接入的數(shù)據(jù)進(jìn)行統(tǒng)一數(shù)據(jù)格式轉(zhuǎn)換
(2) 數(shù)據(jù)處理中心:對(duì)每個(gè)類(lèi)型設(shè)備提供寫(xiě)入服務(wù)接口
圖3
在這種策略下,不同廠商的設(shè)備的數(shù)據(jù)格式達(dá)到了統(tǒng)一,再通過(guò)調(diào)用數(shù)據(jù)處理中心的服務(wù)接口將數(shù)據(jù)寫(xiě)入數(shù)據(jù)庫(kù)中,極大減少了寫(xiě)入過(guò)程的工作量,提高了開(kāi)發(fā)效率。
但是,在該種模式下仍然不可避免當(dāng)處理中心服務(wù)器出現(xiàn)問(wèn)題后,存在數(shù)據(jù)無(wú)法自動(dòng)寫(xiě)入數(shù)據(jù)庫(kù),為了補(bǔ)錄數(shù)據(jù),需要人工檢查日志,手動(dòng)錄入等弊端。因此,深城交智慧道路平臺(tái)的架構(gòu)師基于2.0架構(gòu),繼續(xù)迭代升級(jí),引入高性能、持久化、多副本備份、分布的kafka消息隊(duì)列,進(jìn)一步進(jìn)行分工層級(jí)化,將架構(gòu)升級(jí)到3.0版本。
數(shù)據(jù)接入3.0框架
3.0框架將接入的數(shù)據(jù)進(jìn)行統(tǒng)一格式轉(zhuǎn)換后推送到kafka消息隊(duì)列集群,再對(duì)數(shù)據(jù)處理中心進(jìn)行改造,按推送數(shù)據(jù)類(lèi)型監(jiān)聽(tīng)不同主題進(jìn)行消費(fèi),將數(shù)據(jù)寫(xiě)入數(shù)據(jù)庫(kù),圖4。
圖4
在3.0框架下,由于數(shù)據(jù)先暫存在kafka消息隊(duì)列上,當(dāng)數(shù)據(jù)處理中心服務(wù)出現(xiàn)問(wèn)題或需要停機(jī)升級(jí)改造部署時(shí),采集的數(shù)據(jù)當(dāng)服務(wù)恢復(fù)了可以再次自動(dòng)寫(xiě)入,防止數(shù)據(jù)丟失,提升了數(shù)據(jù)接入服務(wù)質(zhì)量。另外,kafka消息隊(duì)列還支持?jǐn)?shù)據(jù)共享,可以讓需要的服務(wù)端訂閱數(shù)據(jù)進(jìn)行數(shù)據(jù)分析研究;同時(shí)支持大量數(shù)據(jù)入庫(kù),根據(jù)數(shù)據(jù)接入量,彈性伸縮部署多個(gè)數(shù)據(jù)處理中心,進(jìn)行數(shù)據(jù)寫(xiě)入,從而保證數(shù)據(jù)寫(xiě)入的實(shí)時(shí)性;數(shù)據(jù)的安全性也有了大幅度提升,通過(guò)將轉(zhuǎn)換后的數(shù)據(jù)進(jìn)行加密推送,訂閱方再按配對(duì)的秘鑰進(jìn)行解密,從而保證數(shù)據(jù)安全,在深信投,三龍灣,龍泉驛等智慧道路項(xiàng)目都進(jìn)行了推廣實(shí)際應(yīng)用。
通過(guò)三次大的技術(shù)框架升級(jí),可以支持千萬(wàn)級(jí)的數(shù)據(jù)寫(xiě)入,同時(shí)預(yù)留無(wú)限擴(kuò)展的空間,可以根據(jù)數(shù)據(jù)量進(jìn)行彈性伸縮部署,同時(shí)也支持新增場(chǎng)景類(lèi)型數(shù)據(jù)的功能擴(kuò)展,在深信投多功能智能桿項(xiàng)目(見(jiàn)圖5)上應(yīng)用了3.0技術(shù)框架接入了9644根桿,近1萬(wàn)多套設(shè)備的數(shù)據(jù)接入,每天處理上百萬(wàn)條數(shù)據(jù)接入,保障了深圳全市多功能智能桿及掛載 設(shè)備的運(yùn)行監(jiān)測(cè)、運(yùn)維管控、數(shù)據(jù)匯聚,為全市多功能智能桿發(fā)展政策研究和行業(yè)監(jiān)管、桿體建設(shè)、產(chǎn)業(yè)發(fā)展等提供管控手段和數(shù)據(jù)支撐,支撐建設(shè)智慧城市基礎(chǔ)管控系統(tǒng)。
圖5
在佛山三龍灣智慧道路項(xiàng)目(見(jiàn)圖6)上也進(jìn)行了應(yīng)用,接入了水浸、智能井蓋、智慧照明、環(huán)境氣象等1千多套設(shè)備的數(shù)據(jù)接入,每天處理三十多萬(wàn)條數(shù)據(jù)接入,支持了三龍灣大道以多功能智慧燈桿為核心打造的智慧道路管理平臺(tái),集成智慧照明、視頻AI、信息發(fā)布、環(huán)境氣象檢測(cè)等多種設(shè)備于一體,實(shí)現(xiàn)了多部門(mén)設(shè)施共享共建和集約化管理系。
圖6
同時(shí)此技術(shù)框架也支持未來(lái)“N”種智慧應(yīng)用延展見(jiàn)圖7,支持更多場(chǎng)景應(yīng)用的數(shù)據(jù)接入,助力深城交打造出更優(yōu)秀的產(chǎn)品,成為全球領(lǐng)先的城市交通整體解決方案提供者。
圖7
智慧道路數(shù)據(jù)接入架構(gòu)演進(jìn),我們一直在努力,未來(lái)我們希望建立支持更多數(shù)據(jù)接入方式,功能組件豐富,快速低成本開(kāi)發(fā),數(shù)據(jù)流監(jiān)控清晰,易部署運(yùn)維,安全穩(wěn)定的數(shù)據(jù)接入管理平臺(tái),讓交通與城市更美好,一直在路上。
結(jié)語(yǔ)
深城交擁有一支涵蓋交通、城規(guī)、建筑、景觀、工程、智慧等多專(zhuān)業(yè)協(xié)同的技術(shù)團(tuán)隊(duì),以“讓交通與城市更美好”為使命,致力于為城市提供先進(jìn)的交通技術(shù)服務(wù)和整體解決方案,成為全球領(lǐng)先的城市交通整體解決方案提供者。
未來(lái)將持續(xù)發(fā)揮多專(zhuān)業(yè)融合的優(yōu)勢(shì),立足于國(guó)際視野,開(kāi)展城市軌道交通領(lǐng)域多項(xiàng)研究,覆蓋軌道交通客流預(yù)測(cè)、線網(wǎng)規(guī)劃、運(yùn)營(yíng)組織、成本規(guī)制、戰(zhàn)略研究及TOD開(kāi)發(fā)等。為相關(guān)政策出臺(tái)、規(guī)劃編制提供有力技術(shù)支撐。
交通信息與模型院
撰寫(xiě):嚴(yán) 偉
審核:吳情平、屈新明
審定:丘建棟