數據分析設計全文(5篇)

［摘要］伴隨著大數據、移動互聯網等信息技術的不斷成熟，數據支持決策已經影響到社會和生活的各個方面。我國的教育信息化在近年來也快速發展，“智慧校園”已經成為高校信息化建設的一致目標。在智慧校園視角下，高校將建立起豐富、多樣、繁雜的信息數據庫，如何利用這些數據，并且影響和支持決策將是“智慧校園”的重要突破點。通過對校園宏觀環境和用戶需求的深入分析，開展教學、服務、管理、科研四個方面的數據分析系統設計，建立基礎、決策、分析數據庫并研究分析模型，形成一套服務于教師、學生和校園管理者的數據分析系統整體方案。

［關鍵詞］數據分析；大數據；智慧校園；決策支持

1國內外研究開發現狀和發展趨勢

1．1現狀與趨勢

在當今大數據、云計算、物聯網和移動互聯網等新思路、新技術快速發展的又一歷史時期，高等教育面臨著前所未有的發展機遇，在經歷了網絡化、數字化、信息化管理階段之后，“智慧校園”將是在“互聯網＋教育”趨勢下最重要的發展思路。隨著計算機技術的不斷發展，各種系統結構化和非結構化數據以前所未有的驚人速度迅猛增長，“大數據”時代已經到來。大數據是指數據結構比較復雜、數據規模大的數據集合。其數據量已經遠遠超出了一般數據管理工具可以承受的處理時間以及數據處理及存儲管理能力。在當今大數據環境下，高校管理系統的數據結構及數據量發生了巨大的變化。在數據存儲、數據管理、數據分析及數據挖掘等方面面臨著巨大的機遇和挑戰。為了有效地利用大數據為高校決策分析提供更好的服務，必須基于大數據建立相應的數據分析系統。

1．2國內外研究與開發綜述

隨著大數據的發展和教育信息化的不斷深入，基于大數據開展的高校校園數據分析與應用逐步受到重視。對大數據的定義始終沒有形成統一的意見。維基百科對大數據（Bigdata）的定義是：所涉及的數據量規模巨大到無法通過人工，在合理時間內達到截取、管理、處理并整理成為人類所能解讀的信息。麥肯錫全球研究院將大數據定義為：無法在一定時間內使用傳統數據庫軟件工具對其內容進行獲取、管理和處理的數據集合。加特納（Gartner）于2012年修改了對大數據的定義：大數據是大量、高速、多變的信息資產，它需要新型的處理方式去促成更強的決策能力、洞察力與優化處理。而在高校學生數據的分析應用方面，國內外高校均有開展相關的研究。紐約州波基普西市瑪麗斯特學院（MaristCollege）與商業數據分析公司Pentaho合作發起開源學術分析計劃，旨在一門新課程開始的兩周內預測哪些學生可能會無法順利完成課程，它基于商業分析平臺開發了一個分析模型，通過收集分析學生的學習習慣，包括線上閱讀材料、論壇發言、完成作業時長等數據信息，來預測學生的學業情況，及時干預幫助問題學生，從而提升畢業率。上海財經大學基于校園信息化數據基礎，開發了校務決策支持系統，面向人才培養、內部管理、科學研究和師生服務等方面開展決策分析；華東師范大學利用校園信息化基礎數據，開展了校車人數與載客分布分析，提升了校車使用率；利用一卡通數據開展了貧困生的特征確定、潛在貧困生分析、后續跟蹤驗證，有效提升了幫困扶貧的工作效率。

摘要:畜產品安全與人們的生命安全和身體健康息息相關，近年來，畜牧業作為農業產業調結構、轉方式、提質量、增效益的主導產業和重要方向，基礎條件和發展模式發生深刻變化，進入產業化、規模化、集約化的高速增長新階段。在新的要求下，保證產品質量成為畜產品發展的首要要求，也是保障民生的重要內容，提高產品質量就要從提升畜產品檢驗檢測的工作質量上入手。文章對畜產品大數據分析系統的構建進行了全面的分析，為系統的開發提供理論的依據。

關鍵詞:畜產品;大數據;數據倉庫;監測分析

1畜產品大數據的現狀

在大數據時代下，人工智能、云平臺和高性能計算等技術的高速發展為畜產品智能檢測分析系統提供了重要的支撐。智能檢測分析系統的建構，有利于提升畜產品檢測的智能化，完善畜產品質量安全體系，推進農業信息化建設［1］。將畜產品檢測與大數據技術相結合，利用現代信息技術，通過采集海量碎片化的信息數據，準確的進行篩選、分析，并最終歸納、整理出政府和相關機構需要的資訊，構建一套畜產品檢測智能分析系統，實行及時有力的深度分析，整體提升畜產品檢測監管能力和水平，促進畜牧業產業健康、可持續發展。針對目前畜產品的檢測，其數據處理主要存在3個問題:(1)畜產品檢測注重檢測方法的使用和創新，檢測設備的培訓和升級，檢測人員的指導和培訓，而對檢測數據分析不夠重視，沒有深度發掘測試數據的潛在價值。(2)各類檢測機構眾多且互不統屬，有傳統的人工統計模式，還有利用軟件進行簡單分析的模式。此外實驗室所用大型儀器，廠家不同，操作軟件也不同，數據存儲和處理也不同，測試數據分散，導致數據收集困難。(3)畜產品數據的數據統計、分析與挖掘還比較滯后，需要向系統化、集成化、智能化的方向發展，缺乏相對應的畜產品檢測數據分析系統。

2大數據平臺的數據處理

2．1數據獲取

數據獲取是從數據源收集數據，數據源分為閉源數據和開源數據。閉源數據指的是和相關檢測機構合作獲取的內部數據，這部分數據可靠性比較高且不向外部公開，僅僅只作為分析統計使用，不能進行商業的應用。開源數據是指各檢測機構通過網絡的公開檢測數據，比較分散，可以利用爬蟲軟件進行抓取［2］。對開源數據進行收集時，首先是定時，每段時間對相關網站進行分析，觀察所檢測數據的更新情況。其次定量，要準確地識別出哪些是最新的、哪些是相關的內容。數據主要來源于國家、省、市、縣和具有檢測資質的企業等相關網站，這些數據都比較分散，需要進一步進行有意義信息的提取，比如:過濾冗余信息，集成互補性信息。這其中還存在很多問題，如信息的質量問題，哪些信息是有價值的、可信賴的。可以從可信溯源(信息的不同來源進行分析，省市級的信息比較重要和真實)、動態輪詢(根據后期分析和預測結果對數據源之前的重要性權重進行動態更新)做出判斷。采集數據分為結構化數據和非結構化數據，要區別對待。

摘要：隨著高校各類應用系統的發展，信息化建設將轉向大數據服務階段。如何有效利用分散在各系統中的數據，為學校的管理與決策提供數據支撐，是迫切需要解決的問題。文章闡述了數據采集整合過程和分布式存儲技術，設計了大數據分析平臺基礎架構和功能模塊，分析了相關數據模型。通過搭建大數據分析平臺，測試了數據采集功能和各分析模塊的展示情況。

關鍵詞：大數據分析平臺；Hadoop；數據采集

引言

隨著高校信息化建設快速推進，國內高校基本完成各類基礎應用系統的建設，在應用系統中也存儲了大量的數據，包括教師和學生的工作、生活、學習、教學和科研等數據，以及個系統的日志數據。由于各系統相對獨立無法進行系統間的數據共享，使得這些系統數據都閑置在各應用系統中。因為在學校的管理與決策中缺乏真實可靠的數據做支撐，所以研究如何將閑置的數據有效利用起來，對高校的信息化建設會更有意義。大數據分析平臺是在現有各應用系統的基礎上，對各系統匯集起的海量數據資源進行清洗、整理、挖掘、分析等操作后，數據標準化程度提高其利用價值也更大。大數據分析平臺的基礎是數據，核心是分析模型，目標是應用。本文將整合校園內各應用系統數據，并對其進行挖掘、整理、分析，然后通過構建數據模型，搭建統一的大數據分析平臺，實現對零散的數據進行整合分析，分析結果可以為學校及各部門的管理和決策提供數據支撐，數據的利用價值也更高。對師生在工作、生活、學習、教學和科研方面提供行為分析，分析結果為學校優化管理方式，提升服務水平提供指導，勾畫“千人千面”，讓學校真正了解師生。

1關鍵技術簡介

Hadoop[1]是一個分布式系統基礎架構，充分利用集群的優勢對數據進行運算和存儲。Hadoop由許多元素構成，底層是分布式文件系統（HadoopDistributedFileSystem，HDFS），用來存儲集群中所有存儲節點中的文件。HDFS上一層是Ma-pReduce引擎,為海量的數據提供高速計算。ETL（Extract-Transform-Load）[2]是用來描述將數據從源端經過抽取（Extract）、轉換（Transform）、加載（Load）到目的端的過程。使用ETL目的是將學校中分散、零亂、標準不統一的數據整合到一起，為學校管理決策提供數據支撐。Sqoop[3]是一款開源的工具，主要用于在Hadoop(Hive)與傳統的數據庫間進行數據的傳遞，可以將一個關系型數據庫中的數據導入HDFS，也可以將HDFS的數據回流到關系型數據庫中。Sqoop也為NoSQL數據庫它也提供了連接器。Nutch[4]是一個開源的高度可擴展和可伸縮性的分布式爬蟲框架。Nutch主要由爬蟲Crawler和查詢Searcher組成，Craw-ler主要用于從網絡上抓取網頁并建立索引，Searcher主要利用這些索引檢索用戶的查找關鍵詞來產生查找結果。兩者之間的接口是索引，所以除去索引部分，兩者之間的耦合度很低。

2基礎架構設計

摘要：為實現教育過程中的一站式在線服務，基于大數據分析技術設計包括數據資源庫、大數據分析層、智慧教育信息云服務層、應用服務層和表現層的智慧教育平臺。大數據分析層采用Hbase數據庫結合SQL計算執行引擎分析智慧教育數據，將分析得到的學生、教師以及資源信息等傳遞至智慧教育信息云服務層；智慧教育信息云服務層通過驗證用戶、服務綁定和服務提供，使平臺用戶享受平臺存儲文件、課程管理和課程等服務。智慧教育信息云服務層中在線學習模塊的管理員審核教師備課資料和學生學習資源、教師在線或錄播授課以及學生課程選擇與確定功能的實現，實現教師、管理員以及學生的在線信息交流。平臺測試結果表明，該平臺可根據學生個性化學習行為提供個性化教學和管理，實現教師、管理員與學生的在線交流，且平臺教育資源存儲服務和教育資源門戶服務均可實現，應用價值高。

關鍵詞：教育平臺設計；智慧教育；課程管理；大數據分析；在線學習；教育資源存儲

引言

當前由于存在海量教育資源，導致教育應用平臺建設資源分散和低水平重復建設問題嚴重，教育信息化雖在網絡環境和硬件建設方面取得一定成果，但尚未能實現大數據下的智能服務，造成教育平臺建設發展不均衡，無法向教師、管理員和學生提供一站式在線服務，成為影響教育信息化的重要難點。智慧教育是指將信息化理念運用在教育領域[1]，全面深入地運用現代信息技術，加快教育改革與發展進程。隨著大數據分析技術在教育領域的不斷深入，翻轉課堂、MOOC等一些新興教育模式逐漸興起，技術革新推動教育模式發生轉變，如何利用大數據分布式數據存儲特點[2]，構建大數據環境下的智慧教育平臺，克服學習障礙，實現智慧學習是眾多學者關注的熱點問題。大數據技術合理整合教育資源，向教育行業人員提供了虛擬服務，輔助教師和學生簡化智慧教育平臺開發部署過程，構建出適合教育和科學研究的智慧教育平臺，為平臺使用者提供存儲文件、課程管理和課程等服務。發展智慧教育云平臺能夠在為學生創建良好學習環境的同時，向教師、管理員和學生提供一站式在線服務[3]，因此，本文基于大數據分析技術設計智慧教育平臺。

1智慧教育平臺設計

1.1大數據分析技術平臺

智慧教育平臺采用大數據分析平臺的分布式框架。大數據分析技術平臺將大數據處理、數據交換與共享以及數據分析挖掘合理整合，用于智慧教育平臺設計過程中，大數據分析技術平臺框架如圖1所示。SQOOP數字交換工具通過同步學校以及外部存儲系統的教育資源數據，將教育資源數據保存在文件系統中，文件系統中海量教育數據傳輸到大數據分析層，大數據分析層采用HBase數據庫結合SQL計算執行引擎，分析海量智慧教育數據，業務層主要挖掘、分析和處理智慧教育信息數據。

摘要：我國正從工程教育大國轉向工程教育強國，案例教學是培養研究生工程能力的主要模式和方法。案例庫的建設成為案例教學成敗的關鍵。以大數據分析方向為例介紹了案例庫建設的目標、設計思路和內容框架，從真實應用出發，找出共性，主題分解。有利于學生“搭積木”式地構建自身的知識體系，“漸進式”提升解決復雜工程問題的能力，培養工程素質。

關鍵詞：案例庫；主題分解；案例設計；教學改革

1引言

案例教學是以學生為中心，以真實項目裁剪的案例為基礎，通過呈現案例場景，引導學生發現問題、分析問題和解決問題，從而在實踐中掌握理論、形成觀點、提高能力的一種教學方式。這是強化實踐能力培養，促進理論與實踐有機融合的重要途徑，是專業學位研究生教學改革的趨勢[1]。教育部早在2015年發文對加強專業學位研究生案例教學提出了指導性意見。目前案例教學是推動專業學位研究生培養模式改革、提高人才培養質量的重要手段[2]。案例的設計和使用必須考慮到課程和專業特征，在課程教學大綱框架下，從教學形式到教學內容均要受到相應的約束[3]。這就必須考慮選用的案例是否合適、與教學目標是否契合[4]。因此，系統地設計教學案例和案例庫顯得尤為重要。

2大數據分析案例庫設計目標

大數據方向專業學位研究生的培養目標是處理和分析大規模數據，從中獲取有用信息。然而這只是一個寬泛的知識性要求，對于專業學位研究生，還需要加強實際工程開發項目的訓練，提高解決復雜工程問題的能力，尤其是需要培養學生互聯網新業態中的大工程觀、互聯網從業人員的職業規范、工程倫理等工程素質。因此，大數據分析案例庫的設計目標是：通過知識點、簡單應用和綜合實踐案例的教學實踐，讓學生掌握大數據處理與分析領域的工程倫理、工程方法、工程創新思想和工程實踐技能，能獨立開發大數據處理及分析相關項目，掌握信息獲取、信息抽取、信息處理和智能分析等多種技術和方法，并能自覺地在項目實踐中考慮到信息安全等因素，以培養多學科交叉背景下大數據分析應用設計、研發和驗證、能夠為復雜工程問題提供可行的工程解決方案的能力。

3案例設計原則