|
作者：Real-Time Innovations公司首席應(yīng)用工程師 Sumeet Shendrikar 在利用基于MCU的傳感器和移動(dòng)設(shè)備構(gòu)建新的連接互聯(lián)網(wǎng)的云時(shí)，很少有人會(huì)考慮如何管理這些傳感器云。在本文中，RTI公司的Sumeet Shendrikar介紹了如何通過(guò)具有態(tài)勢(shì)感知功能的分布式數(shù)據(jù)管理來(lái)做到這一點(diǎn)。在Michael Lewis的《點(diǎn)球成金(Moneyball)》一書中，他記錄了使用Sabermetrics指導(dǎo)管理棒球隊(duì)的策略。雖然重點(diǎn)在于組建棒球隊(duì)的分析方面，但其基本理念是利用歷史信息(先前的統(tǒng)計(jì)數(shù)據(jù))改變當(dāng)前的策略(上場(chǎng)擊球、防御態(tài)勢(shì)或陣容決定)。 《點(diǎn)球成金》討論的重點(diǎn)是由統(tǒng)計(jì)分析得出的意外決策，經(jīng)常有悖于長(zhǎng)期棒球?qū)＜业摹暗诹小薄５@本書也表明，成功地使用Sabermetrics有3點(diǎn)要求：(1)了解過(guò)去發(fā)生了什么；(2)認(rèn)識(shí)當(dāng)前態(tài)勢(shì)；(3)應(yīng)用歷史知識(shí)驅(qū)動(dòng)當(dāng)前策略。 這種統(tǒng)計(jì)趨勢(shì)可以在許多其它領(lǐng)域見到。例如，經(jīng)濟(jì)貿(mào)易應(yīng)用所依據(jù)的模型需要使用歷史數(shù)據(jù)進(jìn)行校準(zhǔn)。很像棒球世界那樣，模型的成功取決于能夠多快地根據(jù)當(dāng)前市場(chǎng)活動(dòng)發(fā)掘機(jī)會(huì)。如果實(shí)時(shí)市場(chǎng)數(shù)據(jù)由于任何理由被推遲了，那么機(jī)會(huì)將減少，甚至丟失。 最近在斯坦福大學(xué)商學(xué)院舉行的Big Data會(huì)議上，與會(huì)者討論了所有產(chǎn)業(yè)中Big Data的增長(zhǎng)趨勢(shì)，包括工業(yè)、汽車、消費(fèi)、醫(yī)療，不僅只是棒球或經(jīng)濟(jì)產(chǎn)業(yè)。或者更準(zhǔn)確地講，Big Data已經(jīng)是下一件世界大事，商業(yè)伙伴分析他們的系統(tǒng)中產(chǎn)生的龐大信息是明智的。 然而，經(jīng)常被人忽略的是如何真實(shí)地收集這些龐大的數(shù)據(jù)，或更準(zhǔn)確地說(shuō)，如何將數(shù)據(jù)從產(chǎn)生地移動(dòng)到需要它的其它不同地方。 這種關(guān)聯(lián)實(shí)時(shí)數(shù)據(jù)與歷史數(shù)據(jù)實(shí)現(xiàn)態(tài)勢(shì)感知，并將原始數(shù)據(jù)轉(zhuǎn)換成信息的能力正在快速變成許多大規(guī)模分布式系統(tǒng)的必備能力。 Big Data的興起表明，傳統(tǒng)的RDBMS數(shù)據(jù)庫(kù)已經(jīng)無(wú)法跟上這些大型分布式系統(tǒng)所展現(xiàn)的數(shù)據(jù)速率，也不足以應(yīng)對(duì)獲得重要信息所需的各種咨詢。最近虛擬化技術(shù)和基于云的數(shù)據(jù)管理系統(tǒng)的爆發(fā)式增長(zhǎng)使得我們能夠以創(chuàng)新的方式解決這些問(wèn)題。 本文余下部分將簡(jiǎn)要介紹如何使用所謂的NoSQL數(shù)據(jù)庫(kù)方法將聯(lián)網(wǎng)設(shè)備與系統(tǒng)組成的分布式網(wǎng)絡(luò)連接到基于云的數(shù)據(jù)管理工具，從而實(shí)現(xiàn)態(tài)勢(shì)感知。同時(shí)使用了多個(gè)領(lǐng)域的不同例子說(shuō)明如何通過(guò)整合實(shí)時(shí)數(shù)據(jù)與歷史數(shù)據(jù)給分析師提供完整的新生態(tài)勢(shì)描述以及后事件分析。 保留實(shí)時(shí)數(shù)據(jù) 無(wú)論何時(shí)將永久數(shù)據(jù)管理增加到實(shí)時(shí)分布式系統(tǒng)，主要考慮因素都是保持運(yùn)營(yíng)技術(shù)(OT)的關(guān)鍵性能特征。面向物理設(shè)備的技術(shù)是由工程部門實(shí)現(xiàn)和支持的，一般有許多設(shè)備與嵌入式系統(tǒng)設(shè)計(jì)。 在任何大型企業(yè)中，OT一般獨(dú)立于涉及數(shù)據(jù)管理的信息技術(shù)(IT)部門完成，包括在生產(chǎn)線上或已部署系統(tǒng)中的嵌入式設(shè)備產(chǎn)生的數(shù)據(jù)，OT和IT之間很少有實(shí)時(shí)交互。 在這種分布式系統(tǒng)中，永久存儲(chǔ)器性能低于易失性存儲(chǔ)器，雖然有跡象表明這兩種存儲(chǔ)器可能會(huì)統(tǒng)一(也就是固態(tài)硬盤)。 實(shí)時(shí)數(shù)據(jù)管理由多個(gè)同時(shí)進(jìn)行的活動(dòng)組成： 1. 存儲(chǔ)(寫入) 2. 查詢、關(guān)聯(lián)和獲取 3. 發(fā)布 OT(實(shí)時(shí))數(shù)據(jù)管理與傳統(tǒng)IT領(lǐng)域的區(qū)別在于，所有這些活動(dòng)都是同時(shí)發(fā)生的。數(shù)據(jù)的產(chǎn)生、存儲(chǔ)、關(guān)聯(lián)、獲取和重新發(fā)布是根據(jù)實(shí)時(shí)要求進(jìn)行的。 在實(shí)時(shí)系統(tǒng)中，數(shù)據(jù)以各種速率產(chǎn)生，并以不同的優(yōu)先級(jí)發(fā)布。因此，數(shù)據(jù)管理系統(tǒng)最好也能劃分?jǐn)?shù)據(jù)優(yōu)先級(jí)，并能夠靈活處理任意存儲(chǔ)負(fù)荷。 來(lái)自傳感器的信息就是在典型實(shí)時(shí)分布式系統(tǒng)中一個(gè)非常好的數(shù)據(jù)產(chǎn)生例子。傳感器數(shù)據(jù)一般是以一致并且已知的速率產(chǎn)生的。雖然通常以低優(yōu)先級(jí)發(fā)布，但同一數(shù)據(jù)能夠很快變成最高優(yōu)先級(jí)——數(shù)據(jù)緊急性是動(dòng)態(tài)的。 比如考慮汽車發(fā)動(dòng)機(jī)中的溫度傳感器。大多數(shù)時(shí)候溫度在正常工作范圍內(nèi)，這個(gè)信息可以設(shè)置為低優(yōu)先級(jí)。但當(dāng)溫度達(dá)到規(guī)定閾值時(shí)，立即向系統(tǒng)報(bào)警就非常重要。 存儲(chǔ)性能可以分成截然不同的兩大類——完整的和部分的。如果數(shù)據(jù)管理系統(tǒng)能夠以分布式系統(tǒng)的峰值吞吐速率存儲(chǔ)數(shù)據(jù)，那就能實(shí)現(xiàn)完整存儲(chǔ)。對(duì)于部分存儲(chǔ)而言，系統(tǒng)設(shè)計(jì)師有兩種選擇： 1. 減慢數(shù)據(jù)發(fā)生速率 2. 有選擇的丟棄數(shù)據(jù) 值得注意的是，簡(jiǎn)單的緩沖處理是不夠的，因?yàn)槿魏尉彌_器容量都是有限的。緩沖只是簡(jiǎn)單地推遲了不可避免的問(wèn)題，在實(shí)時(shí)系統(tǒng)中是不合適的。 由于是分布式實(shí)現(xiàn)，NoSQL數(shù)據(jù)庫(kù)寫入性能會(huì)受復(fù)制策略以及基礎(chǔ)硬件的影響。對(duì)系統(tǒng)設(shè)計(jì)師來(lái)說(shuō)，理解數(shù)據(jù)庫(kù)實(shí)現(xiàn)方法并選擇一種最適合應(yīng)用的方法很重要。舉例來(lái)說(shuō)，Apache Cassandra的主要強(qiáng)項(xiàng)之一是良好的寫入性能，這種性能得益于非常高效的復(fù)制策略。 存檔服務(wù) 存檔服務(wù)可以給實(shí)時(shí)數(shù)據(jù)保證適當(dāng)?shù)姆⻊?wù)質(zhì)量(QoS)，因此可以提供最好的數(shù)據(jù)存儲(chǔ)。在基本實(shí)現(xiàn)中，存檔服務(wù)使用NoSQL數(shù)據(jù)庫(kù)API向云中的任意節(jié)點(diǎn)發(fā)出寫命令。NoSQL數(shù)據(jù)庫(kù)實(shí)現(xiàn)從那里保留和復(fù)制數(shù)據(jù)。根據(jù)一致性配置，在達(dá)到設(shè)定的一致性時(shí)，數(shù)據(jù)庫(kù)將通知存檔服務(wù)。 更加先進(jìn)的存檔服務(wù)實(shí)現(xiàn)能以負(fù)載均衡的方式寫入云的不同段，從而實(shí)現(xiàn)最佳寫入吞吐量。存檔服務(wù)在不能提供完整數(shù)據(jù)存儲(chǔ)時(shí)可以檢測(cè)出來(lái)，并相應(yīng)調(diào)整云資源。 在不破壞實(shí)時(shí)系統(tǒng)條件下的簽約能力是存檔服務(wù)的基本特征。OT系統(tǒng)對(duì)時(shí)間特別敏感。數(shù)據(jù)發(fā)送的任何延時(shí)都可能導(dǎo)致系統(tǒng)故障。雖然訂閱數(shù)據(jù)看起來(lái)價(jià)值不高，而且是非侵入式的，但傳統(tǒng)公司IT系統(tǒng)經(jīng)常是犧牲反應(yīng)時(shí)間來(lái)確保接收到所有數(shù)據(jù)。 這種平衡措施是將運(yùn)營(yíng)技術(shù)與存儲(chǔ)及其它常用IT系統(tǒng)集成在一起時(shí)的常見挑戰(zhàn)。為了確保非侵入式訂閱，數(shù)據(jù)的發(fā)布必須激活被動(dòng)觀察，并且不能降低數(shù)據(jù)產(chǎn)生器或任何其它數(shù)據(jù)傳輸?shù)乃俣取?br /> 數(shù)據(jù)庫(kù)架構(gòu) NoSQL數(shù)據(jù)庫(kù)的基本屬性是模式自由，因此特別適合OT系統(tǒng)。大型實(shí)時(shí)分布式系統(tǒng)都有數(shù)據(jù)模式，而且非常復(fù)雜，還是動(dòng)態(tài)的。 這個(gè)產(chǎn)業(yè)很大程度上在遠(yuǎn)離固定的單數(shù)據(jù)模型概念(如CORBA)，原因有很多，而集成度和前向兼容性是其中最重要的兩個(gè)。在現(xiàn)代OT系統(tǒng)中，數(shù)據(jù)模式必須實(shí)時(shí)動(dòng)態(tài)的發(fā)現(xiàn)，并且必須是可擴(kuò)展和/或容易改變。 這些模式不僅必須被數(shù)據(jù)管理系統(tǒng)捕獲，而且還可能被檢查以供分析使用。換句話說(shuō)，元數(shù)據(jù)和數(shù)據(jù)對(duì)態(tài)勢(shì)感知來(lái)說(shuō)同樣重要。 數(shù)據(jù)關(guān)聯(lián)、查詢和獲取 實(shí)現(xiàn)態(tài)勢(shì)感知(SA)要求關(guān)聯(lián)實(shí)時(shí)數(shù)據(jù)與歷史數(shù)據(jù)。從技術(shù)角度講，這意味著當(dāng)數(shù)據(jù)流寫入NoSQL數(shù)據(jù)庫(kù)時(shí)，必須對(duì)這些數(shù)據(jù)流進(jìn)行連續(xù)的預(yù)編譯和動(dòng)態(tài)查詢。 所有態(tài)勢(shì)感知查詢都是由某些實(shí)時(shí)事件的發(fā)生進(jìn)行觸發(fā)，例如安全性的價(jià)格變化。一旦實(shí)時(shí)事件發(fā)生，查詢數(shù)據(jù)需要關(guān)聯(lián)歷史數(shù)據(jù)，并確定采取哪種措施(如果有的話)。 內(nèi)容發(fā)布 NoSQL數(shù)據(jù)庫(kù)已經(jīng)征服了按需內(nèi)容發(fā)布世界。Netflix使用Apache Cassandra實(shí)現(xiàn)流服務(wù)這個(gè)事實(shí)也許是最生動(dòng)的例證。 查詢結(jié)果分成兩類：警告和內(nèi)容獲取。警告發(fā)布在大多數(shù)情況下都不是很重要，只是一個(gè)高優(yōu)先級(jí)的消息。在數(shù)據(jù)獲取情況下，發(fā)布成為一個(gè)重要因素。來(lái)自查詢的數(shù)據(jù)結(jié)構(gòu)需要及時(shí)地被取回、排序并發(fā)布給消費(fèi)者。 使用案例：發(fā)電 全球范圍內(nèi)建好的風(fēng)力發(fā)電廠已有數(shù)百個(gè)。假如風(fēng)力發(fā)電廠建構(gòu)為分層的分布式系統(tǒng)。 在層次化結(jié)構(gòu)的最底層，每個(gè)風(fēng)機(jī)本身就是一個(gè)分布式系統(tǒng)：它有一個(gè)巨大的傳感器陣列，用于產(chǎn)生有關(guān)當(dāng)前發(fā)電的信息以及結(jié)構(gòu)數(shù)據(jù)和環(huán)境數(shù)據(jù)，這些數(shù)據(jù)用來(lái)使風(fēng)機(jī)安全高效地運(yùn)行。 這些數(shù)據(jù)也自動(dòng)與電廠控制中心共享。控制中心負(fù)責(zé)保持與其它電廠的聯(lián)系，并鏈接到兩個(gè)重要的外部系統(tǒng)：電網(wǎng)和氣象系統(tǒng)。 以風(fēng)機(jī)檢測(cè)到突發(fā)和意外的強(qiáng)大陣風(fēng)為例，根據(jù)過(guò)去幾周的精確測(cè)量結(jié)果以及過(guò)去幾年更全面的測(cè)量結(jié)果，風(fēng)機(jī)會(huì)判斷這陣風(fēng)不正常。 由于具有潛在的危害性，風(fēng)機(jī)將轉(zhuǎn)換到故障防護(hù)模式。然后向命令中心發(fā)送警告，然后根據(jù)每個(gè)風(fēng)機(jī)的當(dāng)前狀態(tài)使用連續(xù)實(shí)時(shí)控制方法仔細(xì)地調(diào)整其它渦輪的性能。命令中心也可以警告下游電廠，以便他們可以能夠及時(shí)調(diào)整性能。 另外一種場(chǎng)景涉及到來(lái)自能源貿(mào)易的實(shí)時(shí)報(bào)價(jià)更新。電網(wǎng)和能源交換可以提供有關(guān)負(fù)荷、需求和電量報(bào)價(jià)方面的信息。 如果需求和價(jià)格低于當(dāng)前輸出電能，電廠能夠自動(dòng)將產(chǎn)生的電能重定向到存儲(chǔ)或停止發(fā)電。如果需求和價(jià)格高于當(dāng)前所產(chǎn)電能，電廠能夠轉(zhuǎn)向峰值產(chǎn)能，并銷售存儲(chǔ)的電能。就像安全交易一樣，有可能設(shè)計(jì)出算法來(lái)檢測(cè)發(fā)電和配電的有益模式。氣象系統(tǒng)也能采取算法統(tǒng)計(jì)分析方法，并從與風(fēng)力發(fā)電廠的雙向通信中受益。一方面，電廠成為氣象數(shù)據(jù)的重要實(shí)時(shí)傳感器站；另一方面，電廠依靠氣象系統(tǒng)的天氣預(yù)報(bào)進(jìn)行仔細(xì)調(diào)整性能來(lái)實(shí)現(xiàn)最優(yōu)輸出。 發(fā)電和氣象系統(tǒng)中使用的算法都需要及時(shí)地訪問(wèn)實(shí)時(shí)事件和歷史趨勢(shì)。如果由于某種原因延遲了數(shù)據(jù)，造成的結(jié)果可能從不足輸出導(dǎo)致收入減少，到災(zāi)難性的故障和基礎(chǔ)設(shè)施損毀(甚至可能危及人類生命安全)。 前瞻性維護(hù) 前瞻性維護(hù)和資產(chǎn)管理是先進(jìn)的OT/IT集成可能直接影響收入的例子。就像預(yù)防性維護(hù)一樣，這種方法能夠降低成本，因?yàn)楣ぷ髦辉谛枰獣r(shí)開展。前瞻性維護(hù)是通過(guò)連續(xù)的實(shí)時(shí)監(jiān)視在線設(shè)備預(yù)測(cè)何時(shí)要求維護(hù)來(lái)實(shí)現(xiàn)的。 但只是監(jiān)視設(shè)備狀態(tài)是不夠的。就像風(fēng)力發(fā)電廠例子一樣，其自身實(shí)時(shí)數(shù)據(jù)不能提供足夠信息來(lái)判斷設(shè)備是否工作在正常范圍內(nèi)。傳感器指示高溫有可能是由于設(shè)備故障引起的，也可能是由于電廠輸出提高造成的。 為了進(jìn)行確認(rèn)，必須根據(jù)歷史信息分析監(jiān)視數(shù)據(jù)來(lái)判斷是否需要采取進(jìn)一步措施。用于解決維護(hù)問(wèn)題的相同技術(shù)和算法也可以用于提供長(zhǎng)期商業(yè)智能。除了防止意外的設(shè)備故障外，認(rèn)清設(shè)備使用方面的長(zhǎng)期趨勢(shì)也可以提高可用性，并延長(zhǎng)設(shè)備壽命。 干草堆中的細(xì)針 許多公司已經(jīng)成功展示使用Big Data技術(shù)篩選IT系統(tǒng)產(chǎn)生的龐大信息的價(jià)值。這種技術(shù)被證明非常適合用來(lái)尋找諺語(yǔ)式的干草堆細(xì)針。與此同時(shí)，有關(guān)部門剛開始認(rèn)識(shí)到OT系統(tǒng)產(chǎn)生的數(shù)據(jù)商業(yè)價(jià)值。 合并OT和IT數(shù)據(jù)是下一個(gè)合理的步驟，但這種整合面臨許多技術(shù)挑戰(zhàn)。OT系統(tǒng)會(huì)產(chǎn)生甚至更多的數(shù)據(jù)用于分析(更多的“干草”來(lái)隱藏細(xì)針)，而IT系統(tǒng)必須以不影響OT實(shí)時(shí)數(shù)據(jù)流的時(shí)間敏感性這種方式進(jìn)行集成。 通過(guò)選擇正確的技術(shù)整合方法可以解決數(shù)據(jù)管理問(wèn)題，OT和IT的能量可以同時(shí)釋放出來(lái)捕獲轉(zhuǎn)瞬即逝的機(jī)會(huì)。也就是說(shuō)，在細(xì)針落入干草堆之前就發(fā)現(xiàn)細(xì)針。 |
