當(dāng)前,制造過程中所產(chǎn)生的數(shù)據(jù)的規(guī)模、類型和速度正在呈指數(shù)級增長,帶來了巨大的發(fā)展機(jī)遇。通過認(rèn)真分析這些數(shù)據(jù),企業(yè)可獲得競爭優(yōu)勢、快速響應(yīng)不斷變化的市場動態(tài)、顯著提高制造利潤、生產(chǎn)力和效率。工廠車間中的設(shè)備會生成成千上萬種不同的數(shù)據(jù)類型,例如多個級別的單位生產(chǎn)數(shù)據(jù)、設(shè)備運(yùn)行數(shù)據(jù)、流程數(shù)據(jù)、人工操作員數(shù)據(jù)等。這些數(shù)據(jù)可以在存儲后用于數(shù)據(jù)分析。
盡管大型制造商多年來一直在使用統(tǒng)計流程控制和統(tǒng)計數(shù)據(jù)分析來優(yōu)化生產(chǎn),但當(dāng)今數(shù)據(jù)的復(fù)雜結(jié)構(gòu)成為部署新方案、基礎(chǔ)架構(gòu)和工具帶來了重大機(jī)遇。得益于更卓越的計算性能的涌現(xiàn)、開放標(biāo)準(zhǔn)的推出和廣泛可用的行業(yè)專長,制造業(yè)已經(jīng)準(zhǔn)備好充分利用大數(shù)據(jù)。此外,在學(xué)術(shù)研究的推動下,技能嫻熟的數(shù)據(jù)科學(xué)家數(shù)量龐大,他們將能夠在使用大數(shù)據(jù)方面為制造業(yè)提供更出色的支持。
借助全新的制造智能特性,制造商能夠提高質(zhì)量,增加產(chǎn)量,更準(zhǔn)確地了解制造問題的根本原因,以及減少機(jī)器故障和宕機(jī)情況。借助新的業(yè)務(wù)價值和技術(shù)能力,制造商將能夠改變業(yè)務(wù)模式和實(shí)踐,以優(yōu)化設(shè)計,實(shí)現(xiàn)出色的可制造性,從而改進(jìn)供應(yīng)鏈管理,并采用定制的制造服務(wù)縮短專為各地消費(fèi)者量身定制的產(chǎn)品的上市時間。
本文概述了英特爾一家制造工廠的物聯(lián)網(wǎng)(IoT)試點(diǎn)計劃,以說明將數(shù)據(jù)分析應(yīng)用于工廠設(shè)備和傳感器可如何提升制造流程的運(yùn)營效率并節(jié)約生產(chǎn)成本。在實(shí)施這一物聯(lián)網(wǎng)大數(shù)據(jù)分析項(xiàng)目的過程中,英特爾與Cloudera、戴爾、三菱電機(jī)和Revolution Analytics進(jìn)行了緊密的行業(yè)協(xié)作,預(yù)計每年將能夠節(jié)省數(shù)百萬美元,并帶來更高的投資回報。
挑戰(zhàn):如何從所有的制造數(shù)據(jù)中提煉價值?
大數(shù)據(jù)實(shí)質(zhì)上是包含各種數(shù)據(jù)類型的龐大數(shù)據(jù)集,可以分為結(jié)構(gòu)化、半結(jié)構(gòu)化或非結(jié)構(gòu)化,如表1所示。結(jié)構(gòu)化數(shù)據(jù)適合放在格式整齊的表格中,因此相對容易管理和處理。結(jié)構(gòu)化數(shù)據(jù)的優(yōu)勢是便于輸入、存儲、查詢和分析。相關(guān)示例包括關(guān)系數(shù)據(jù)庫中存儲的制造數(shù)據(jù),以及來自制造執(zhí)行系統(tǒng)和企業(yè)系統(tǒng)的數(shù)據(jù)。另一方面,非結(jié)構(gòu)化數(shù)據(jù)(例如圖片、文本、設(shè)備日志文件、人工操作員生成的值班報告和制造社交協(xié)作平臺文本等)可能為原始格式,需要經(jīng)過解碼才能提取數(shù)據(jù)值。半結(jié)構(gòu)化數(shù)據(jù)是結(jié)構(gòu)化數(shù)據(jù)的一種,其格式不符合關(guān)系數(shù)據(jù)庫或其他形式的數(shù)據(jù)表關(guān)聯(lián)的數(shù)據(jù)模型標(biāo)準(zhǔn)結(jié)構(gòu),但包含用于分隔語義要素的標(biāo)記或其他記號,并且數(shù)據(jù)中明確了記錄和字段層次結(jié)構(gòu)。在制造業(yè),要想發(fā)揮大數(shù)據(jù)技術(shù)的強(qiáng)大作用,需要將這些數(shù)據(jù)集類型進(jìn)行合并與關(guān)聯(lián),從中發(fā)現(xiàn)新的洞見,從而創(chuàng)造出色的業(yè)務(wù)價值。大數(shù)據(jù)技術(shù)的另一個價值定位就是,支持制造商以經(jīng)濟(jì)高效、可擴(kuò)展的方式聚合并集中各類數(shù)據(jù)。應(yīng)對挑戰(zhàn):英特爾制造部門使用大數(shù)據(jù)分析服務(wù)器和物聯(lián)網(wǎng)網(wǎng)關(guān)的物聯(lián)網(wǎng)試點(diǎn)計劃
面向大小型數(shù)據(jù)集的高級物聯(lián)網(wǎng)制造架構(gòu),這些數(shù)據(jù)集包含來源于制造車間和制造網(wǎng)絡(luò)、可供收集和聚合的各類數(shù)據(jù)。該架構(gòu)為通過數(shù)據(jù)可視化、監(jiān)控和挖掘創(chuàng)建新型商業(yè)智能提供了全新可能。
舉例來說,該架構(gòu)可以清理、提取和轉(zhuǎn)換來自現(xiàn)有數(shù)據(jù)庫的結(jié)構(gòu)化數(shù)據(jù)、來自工具傳感器的非結(jié)構(gòu)化數(shù)據(jù)以及來自傳統(tǒng)設(shè)備的日志文件,并將它們整合在一個數(shù)據(jù)存儲平臺(即Hadoop)中。然后,運(yùn)行在內(nèi)部服務(wù)器(即數(shù)據(jù)存儲服務(wù)器)上不同虛擬機(jī)的高級工廠應(yīng)用可對數(shù)據(jù)進(jìn)行可視化和分析。或者,用戶可使用網(wǎng)絡(luò)上的其他分析或監(jiān)控應(yīng)用訪問這些數(shù)據(jù)。其他增強(qiáng)功能包括在Hadoop或其他類型文件系統(tǒng)中進(jìn)行分析或在內(nèi)存中進(jìn)行分析以提升性能。分析結(jié)果可通過網(wǎng)絡(luò)商業(yè)智能層中的直觀可視化功能展示給用戶。
英特爾制造部門試點(diǎn)計劃中的大數(shù)據(jù)分析物聯(lián)網(wǎng)服務(wù)器設(shè)置
英特爾制造部門在其試點(diǎn)部署中使用的大數(shù)據(jù)分析服務(wù)器。戴爾的緊湊型系統(tǒng) PowerEdge*VRTX2被選作內(nèi)部服務(wù)器,以在私有云環(huán)境中托管大數(shù)據(jù)和分析軟件。該系統(tǒng)包含一個Dell PowerEdge VRTX機(jī)箱,配備25塊900GB硬盤和2臺Dell PowerEdgeM820刀片式服務(wù)器,每一臺服務(wù)器配備E5-4600產(chǎn)品家族中的4顆英特爾®至強(qiáng)?處理器。英特爾至強(qiáng)處理器E5-4600 產(chǎn)品家族提供了一款成本適宜的緊湊型四路處理器解決方案,最高支持8個內(nèi)核、20MB末級高速(L3)緩存和1. 5TB內(nèi)存容量,同時具備可快速轉(zhuǎn)移數(shù)據(jù)的信道。
兩臺M820 服務(wù)器可托管分析和應(yīng)用軟件,以及在多臺虛擬機(jī)中運(yùn)行的 Hadoop節(jié)點(diǎn)。Red Hat Enterprise Linux* forVirtual Datacenters操作系統(tǒng)為針對可擴(kuò)展、完全虛擬化數(shù)據(jù)中心而設(shè)計的服務(wù)器提供了一種全面的虛擬化軟件解決方案。
分析和應(yīng)用節(jié)點(diǎn)
軟件被如何分配至不同虛擬機(jī)(VM)。該節(jié)點(diǎn)托管著 5 臺虛擬機(jī),分別運(yùn)行著不同的分析和應(yīng)用工作負(fù)載。具體包括:
來自Revolution Analytics的Revolution REnterprise* 是一款基于強(qiáng)大的開源R統(tǒng)計語言的分析軟件。該軟件可在分析解決方案和企業(yè)軟件之間提供無縫、安全的數(shù)據(jù)橋,可解決采用基于R的分析功能及現(xiàn)有IT基礎(chǔ)架構(gòu)的企業(yè)所面臨的關(guān)鍵集成問題。
MonetDB*:一種面向列的開源數(shù)據(jù)庫管理系統(tǒng),旨在幫助高效完成對大型數(shù)據(jù)庫進(jìn)行的復(fù)雜查詢?nèi)蝿?wù),如將表格與數(shù)百個列和數(shù)百萬行進(jìn)行組合。MonetDB已使用在各種需要高性能的應(yīng)用中,如數(shù)據(jù)挖掘、在線分析處理(OLAP)、地理信息系統(tǒng)和流數(shù)據(jù)處理等。
PostgreSQL*:一款強(qiáng)大的開源對象關(guān)系型數(shù)據(jù)庫系統(tǒng),用于在線交易處理(OLTP)。
物聯(lián)網(wǎng)(IoT)網(wǎng)關(guān)
大數(shù)據(jù)分析案例
在過去的兩年中,英特爾開發(fā)了十幾個大數(shù)據(jù)項(xiàng)目,鞏固了運(yùn)營效率和收入。下方列出了幾個示例:
縮短產(chǎn)品測試時間
英特爾® 制造的每一枚芯片都要經(jīng)過徹 底的質(zhì)量檢查,通過多種復(fù)雜的測試。
英特爾發(fā)現(xiàn),利用制造過程中收集的歷史信息可以減少測試所需的產(chǎn)品數(shù)量,從而縮短測試時間。作為概念驗(yàn)證實(shí)施的這款解決方案在 2012 年為英特爾® 酷睿? 系列處理器節(jié)約了 300 萬美元的測試成本。將這款解決方案擴(kuò)展到更多產(chǎn)品后,英特爾 預(yù)計會節(jié)約3,000 萬美元的成本。
改善制造監(jiān)控
數(shù)據(jù)密集型流程也用于幫助英特爾在生產(chǎn)線上檢測故障,這是一個高度自動化的環(huán)境。英特爾從整個工廠網(wǎng)絡(luò)的制造工具和測試工具中提取日志文件,每小時多達(dá) 5 TB。通過捕獲和分析這些信息,英特爾能夠確定在制造流程中的哪個步驟開始偏離常規(guī)容差。
針對此處討論的當(dāng)前端到端平臺試點(diǎn)部署,英特爾與三菱電機(jī)、Cloudera、Revolution Analytics 和戴爾進(jìn)行了緊密合作,成功開發(fā)了許多卓越功能,在使用數(shù)據(jù)挖掘科學(xué)解決實(shí)際制造問題方面取得了巨大進(jìn)展,并通過成本節(jié)省和決策改進(jìn)為英特爾節(jié)約了數(shù)百萬美元。該項(xiàng)目的主要目標(biāo)是發(fā)掘數(shù)據(jù)和數(shù)據(jù)分析的價值,通過預(yù)測制造獲得更深刻的洞察力,并降低制造成本,同時不影響生產(chǎn)量或質(zhì)量。
下面詳述了英特爾通過集成面向制造物聯(lián)網(wǎng)的大數(shù)據(jù)分析和技術(shù)獲得了一些突破性成就和發(fā)現(xiàn)。
試點(diǎn)計劃成效:
使用案例1:通過監(jiān)控和分析設(shè)備參數(shù)值并在部件發(fā)生故障之前及時更換,減少不必要的產(chǎn)能損失。
背景
自動測試裝置(ATE)是專門用于在不同設(shè)備上執(zhí)行測試的機(jī)器,這些設(shè)備被稱作被測設(shè)備(DUT)。ATE 使用控制系統(tǒng)和自動化信息技術(shù)快速執(zhí)行測試,測量并評估被測設(shè)備。11 ATE 系統(tǒng)連接到稱為處理工具的自動更換工具上。該工具能夠物理更換測試接口單元(TIU)上的被測設(shè)備,以便接受該裝置的測試。
問題陳述
有缺陷的測試接口單元將會錯誤地將良品分類為次品,會對英特爾制造運(yùn)營成本造成負(fù)面影響。有缺陷的測試接口單元會導(dǎo)致對被測設(shè)備進(jìn)行錯誤分類,包括拒絕良品。英特爾制造部門的目的是檢測潛在的 TIU 缺陷,以便及時修理或更換單元,防止它們被錯誤分類。如果有缺陷的測試接口單元將良品錯誤分類為次品,該單元將作廢。在定期預(yù)防性維護(hù)期間,一些即便仍然運(yùn)轉(zhuǎn)正常的組件也會使用備件更換,以避免發(fā)生此類問題。
成效和優(yōu)勢
分析功能可在現(xiàn)有工廠聯(lián)機(jī)流程控制系統(tǒng)觸發(fā)之前,預(yù)測出高達(dá) 90% 的潛在測試接口單元故障。在此處的情況下,這可幫助及時更存在缺陷的 TIU 以免造成過度拒絕良品,將產(chǎn)能損失降低了 25%。
此外,英特爾還減少了在預(yù)防性維護(hù)過程中提前更換尚未故障的備件的需求,從而預(yù)計可以降低 20% 的備件成本。
使用案例2:通過在焊球焊接設(shè)備中消除和減少錯誤焊球裝配情況降低產(chǎn)能損失
背景
焊球焊接模塊是為基片表面涂抹焊膏的部件。焊球被放置到焊球焊接表面,然后焊膏將其固定在相應(yīng)位置上。整個封裝通過一個回流焊爐,將在其中融化基片表面上的焊膏和焊球。
焊球被真空吸附到貼裝頭的小孔上。系統(tǒng)將檢查該貼裝頭上的焊球是否過多或缺失。當(dāng)貼裝頭與基片對齊時,焊球被放置在基片的焊膏上。釋放焊球后,將檢查貼裝頭上是否殘留有任何焊球。最后,攝像頭成像系統(tǒng)將檢查基片上是否缺失焊球或焊球位置是否存在偏移。
問題陳述
缺失焊球的單元為有缺陷的材料,會造成產(chǎn)能損失。多種場景會導(dǎo)致單元缺失焊球,包括真空壓力不足等。
成效和優(yōu)勢
通過可視化處理傳感器讀數(shù)并將其與各種機(jī)器數(shù)據(jù)和執(zhí)行系統(tǒng)數(shù)據(jù)進(jìn)行關(guān)聯(lián),英特爾成功降低了產(chǎn)能損失,優(yōu)化了維護(hù)成本,并避免了設(shè)備突然宕機(jī)。這可幫助技術(shù)人員主動解決問題,朝著創(chuàng)建預(yù)測維護(hù)功能而努力。
使用案例3:使用圖像分析確定良品或次品
背景
機(jī)器視覺設(shè)備是一種模塊,可篩選單元并將其分類為良品和邊際單元。良品將傳送到加工流程,而邊際單元將接收制造專員的檢查并確定其優(yōu)劣。該手動流程較為耗時。
問題陳述
人工檢查并分類邊際單元的流程非常繁瑣,有時需要約8 小時才能成功將邊際單元與真正的不良品隔離。
這是因?yàn)閱卧瓦_(dá)操作員、然后傳送到隔離模塊、最后進(jìn)行隔離比較費(fèi)時。圖像分析可幫助迅速識別檢測模塊檢測到的不良品。
成效和優(yōu)勢
機(jī)器視覺設(shè)備模塊中記錄的邊際圖形經(jīng)過預(yù)處理。每一張圖像都是非結(jié)構(gòu)化數(shù)據(jù),需要修改尺寸、剪裁并轉(zhuǎn)化為灰度模式,然后將每個像素轉(zhuǎn)化為二進(jìn)制格式。此流程的下一階段涉及特征選擇,非結(jié)構(gòu)化圖像將由一系列不同的值定義。然后,將這些值賦予各種機(jī)器學(xué)習(xí)算法,用于區(qū)分真正不良品和邊際不良品。
圖像分析縮短了從大量邊際單元中分離真正不良品的時間。圖像分析確認(rèn)不良品的速度大約比人工方法快10倍。
數(shù)據(jù)流
基于英特爾凌動處理器的網(wǎng)關(guān)將實(shí)時獲取的機(jī)器數(shù)據(jù)和傳感器數(shù)據(jù)發(fā)送至大數(shù)據(jù)分析服務(wù)器(BDAS)。例如,焊球焊接模塊的機(jī)器數(shù)據(jù)通過機(jī)器界面端口收集,來自模擬傳感器的機(jī)器數(shù)據(jù)以數(shù)秒數(shù) MB 的速度進(jìn)行流傳輸。
收集到的所有工廠數(shù)據(jù)都存儲在 Hadoop* 中。以下不完全列表顯示了使用 Hadoop 的現(xiàn)有功能可實(shí)現(xiàn)的可能性:
- HTTP:大數(shù)據(jù)分析服務(wù)器展示一個支持對 HDFS 進(jìn)行操作的經(jīng)驗(yàn)證的 REST HTTP 端點(diǎn)。
- Apache Sqoop* 提供了連接工具, 用于將非 Hadoop 數(shù)據(jù)存儲(如關(guān)系數(shù)據(jù)庫和數(shù)據(jù)倉庫)中的數(shù)據(jù)遷移至 Hadoop。
- Flume* 能夠接收持續(xù)的日志數(shù)據(jù)。
本部分上述使用案例中的特定數(shù)據(jù)格式為逗號分隔值(CSV) 文件或原始圖像。盡管 Hadoop 生態(tài)系統(tǒng)包含多種數(shù)據(jù)攝入途徑(如上所述),但一些工廠機(jī)器的網(wǎng)絡(luò)傳輸能力有限,要求通過定制工程向 HDFS 提交數(shù)據(jù):
- FTP:物聯(lián)網(wǎng)網(wǎng)關(guān)擁有一個 FTP客戶端,定期連接到大數(shù)據(jù)分析服務(wù)器,并將最新獲取的數(shù)據(jù)直接傳輸?shù)?HDFS。也可以根據(jù)實(shí)時數(shù)據(jù)流和分析要求使用 MQTT 和 REST 等其他數(shù)據(jù)流協(xié)議。
- CIFS 共享(Windows 共享):大數(shù)據(jù)分析服務(wù)器提供了一種 Windows/CIFS 共享目錄,網(wǎng)關(guān) 可將文件復(fù)制到該目錄中。
CSV 文件被使用 Pig 直接導(dǎo)入HBase*,而原始圖像會先使用計算機(jī)視覺技術(shù)和 map-reduce 任務(wù)進(jìn)行預(yù)處理,生成圖像的文本數(shù)據(jù)表示。
根據(jù)操作要求,數(shù)據(jù)將在三個數(shù)據(jù) 庫中的一個進(jìn)行存儲:NoSQL (Hadoop)、RDMS/SQL或 Coli/ OLAP。
數(shù)據(jù)庫可使用各種工具訪問和處理, 包括 AquaFold、專門報告、工作流調(diào)度、ETL 和數(shù)據(jù)庫集成。同時, Cloudera Distribution for Hadoop 可對數(shù)據(jù)實(shí)施各種操作。
處理過的數(shù)據(jù)使用專為工廠應(yīng)用設(shè)計的Revolution Analytics 工具進(jìn)行進(jìn)一步分析。
這些數(shù)據(jù)在易于理解的儀表盤中向用戶展示。
經(jīng)驗(yàn)總結(jié)和結(jié)論
英特爾使用物聯(lián)網(wǎng)網(wǎng)關(guān),借助從英特爾自身制造網(wǎng)絡(luò)和設(shè)備及傳感器提取的數(shù)據(jù),集成并驗(yàn)證了大數(shù)據(jù)分析內(nèi)部服務(wù)器解決方案,從而證實(shí)了物聯(lián)網(wǎng)對于制造業(yè)的出色業(yè)務(wù)價值。采用了三菱電機(jī) MELSEC-Q 系列 C 語言控制器。試點(diǎn)計劃的實(shí)施有賴于工廠工程師、IT 部門和來自 Cloudera、戴爾、三菱電機(jī)和 Revolution Analytics 的行業(yè)專家的通力合作。團(tuán)隊(duì)首先采用現(xiàn)有機(jī)器性能和監(jiān)控數(shù)據(jù),然后使用大數(shù)據(jù)分析和建模功能獲取用于預(yù)測潛在偏移和故障的數(shù)據(jù)。機(jī)器組件故障預(yù)測功能可支持工程師修復(fù)并防止偏移,從而通過避免浪費(fèi)生產(chǎn)部件、縮短維修時間和減少機(jī)器備件使用量節(jié)約大量資金。
使用了大數(shù)據(jù)分析服務(wù)器和物聯(lián)網(wǎng)網(wǎng)關(guān)上各種軟件構(gòu)建模塊的集成套件。尚未開始利用制造數(shù)據(jù)中包含的智能優(yōu)勢的制造商,可以應(yīng)用并實(shí)施此框架。已經(jīng)使用數(shù)據(jù)提升效率的制造商可以進(jìn)一步增強(qiáng)現(xiàn)有能力,以提高數(shù)據(jù)挖掘和分析能力。
對于英特爾而言,此試點(diǎn)計劃預(yù)計每年可節(jié)約數(shù)百萬美元,并能夠帶來更高的投資回報。優(yōu)勢包括延長設(shè)備組件正常運(yùn)行時間、最小化良品和次品錯誤分類(從而提高產(chǎn)能和生產(chǎn)力),支持預(yù)測維護(hù),同時減少組件故障。英特爾的制造環(huán)境和設(shè)備中還有多種其他類型的參數(shù)、度量法、產(chǎn)品和設(shè)備數(shù)據(jù)(結(jié)構(gòu)化和非結(jié)構(gòu)化),可以通過挖掘和分析這些數(shù)據(jù)獲取新的業(yè)務(wù)價值。通過利用這一機(jī)會,英特爾將能夠進(jìn)一步提高工廠的效率和生產(chǎn)力,建立出色競爭優(yōu)勢。