碩士開題報告論文

時間：2024-10-02 07:28:43 開題報告我要投稿

碩士開題報告論文

　　在不斷進步的時代，報告的使用頻率呈上升趨勢，其在寫作上具有一定的竅門。你還在對寫報告感到一籌莫展嗎？以下是小編為大家整理的碩士開題報告論文，供大家參考借鑒，希望可以幫助到有需要的朋友。

碩士開題報告論文

碩士開題報告論文1

　　本課題來源于作者在學習和實習中了解到的兩個事實，屬于自擬課題。

　　其一，作者在20xx年7月在XXX公司調研，了解到現如今各行業都面臨著數據量劇增長，并由此帶來業務處理速度緩慢，數據維護困難等問題。為了應對此挑戰，很多企業開實施大數據發展戰略。現如今的大數據發展戰略可以概括為兩類，一類是垂直擴展。即采用存儲容量更大，處理能力更強的設備，此種方式成本較大，過去很多大公司一直采用此種方法處理大數據。但自從20xx年Google發布關于GFS，MapReduce和BigTable三篇技術論文之后，云計算開始興起，20xx年Apache Hadoop項目啟動。隨后從20xx年開始，隨著云計算和大數據的發展，Hadoop作為一種優秀的數據分析、處理解決方案，開始受到許多 IT企業的關注。相較于垂直擴張所需的昂貴成本，人們更鐘情于采用這種通過整合廉價計算資源的水平擴展方式。于是很多IT企業開始探索采用Hadoop框架構建自己的大數據環境。

　　其二，作者自20xx年4月在XXX實習過程中進一步了解到，因為關系數據庫在存儲數據格式方面的局限，以及其Schema機制帶來的擴展性上的不便，目前在大部分的大數據應用環境中都采用非結構化的數據庫，如列式存儲的Hbase，文檔型存儲的MangoDB，圖數據庫neo4j等。這些非結構化數據庫因為可擴展性強、資源利用率高，高并發、響應速度快等優勢，在大數據應用環境中得到了廣泛的應用。但此種應用只解決了前端的業務處理，要真正利用大數據實現商務智能，還需要為決策支持系統和聯機分析應用等提供一數據環境——數據倉庫。為此，導師指導本文作者擬此題目，研究基于Hadoop框架的數據倉庫解決方案。

　　二、研究目的和意義：

　　現如今，數據已經滲透到每一個行業，成為重要的生產因素。近年來，由于歷史積累和和數據增長速度加快，各行業都面臨著大數據的難題。事實上，大數據既是機遇又時挑戰。合理、充分利用大數據，將其轉變為海量、高增長率和多樣化的信息資產，將使得企業具有更強的決策力、洞察發現力和流程優化等能力。因此，很多IT企業都將大數據作為其重要的發展戰略，如亞馬遜、FaceBook已布局大數據產業，并取得了驕人的成績。事實上，不止谷歌、易趣網或亞馬遜這樣的大型互聯網企業需要發展大數據，任何規模的企業都有機會從大數據中獲得優勢，并由此構建其未來業務分析的基礎，在與同行的競爭中，取得顯著的優勢。

　　相較于大型企業，中小企業的大數據發展戰略不同。大公司可以憑借雄厚的資本和技術實力，從自身環境和業務出發，開發自己的軟件平臺。而中小企業沒有那樣的技術實力，也沒有那么龐大的資金投入，更傾向于選擇一個普遍的、相對廉價的解決方案。本文旨在分析大數據環境下數據庫的特點，結合當下流行的Hadoop框架，提出了一種適用于大數據環境的數據倉庫的解決方案并實現。為中小企業在大數據環境中構建數據倉庫提供參考。其具體說來，主要有以下三方面意義：

　　首先，目前主流的數據庫如Oracle、SQL Server都有對應自己數據庫平臺的一整套的數據倉庫解決方案，對于其他的關系型數據庫如MySQL等，雖然沒有對應數據庫平臺的數據倉庫解決方案，但有很多整合的數據倉庫解決方案。而對于非結構化的數據庫，因其數據模型不同于關系型數據庫，需要新的解決方案，本文提出的基于Hive/Pentaho的數據倉庫實現方案可以為其提供一個參考。

　　其次，通過整合多源非結構化數據庫，生成一個面向主題、集成的數據倉庫，可為大數據平臺上的聯機事務處理、決策支持等提供數據環境，從而有效利用數據資源輔助管理決策。

　　再次，大數據是一個廣泛的概念，包括大數據存儲、大數據計算、大數據分析等各個層次的技術細節，本文提出的“大數據環境下的數據倉庫解決方案及實現“豐富了大數據應用技術的生態環境，為大數據環境下的數據分析、數據挖掘等提供支撐。

　　三、國內外研究現狀和發展趨勢的簡要說明：

　　本文研究的主體是數據倉庫，區別于傳統基于關系型數據庫的數據倉庫，本文聚焦大數據環境下基于非結構數據庫的數據倉庫的構建與實現。因此，有必要從數據倉庫和大數據環境下的數據庫兩方面進行闡述。

　　(一) 數據倉庫國內外研究現狀

　　自從Bill Inmon 在1990年提出“數據倉庫”這一概念之后，數據倉庫技術開始興起，并給社會帶來新的契機，逐漸成為一大技術熱點。目前，美國30%到40%的公司已經或正在建造數據倉庫。現如今隨著數據模型理論的完善，數據庫技術、應用開發及挖掘技術的不斷進步，數據倉庫技術不斷發展，并在實際應用中發揮了巨大的作用。以數據倉庫為基礎，以聯機分析處理和數據挖掘工具為手段的決策支持系統日漸成熟。與此同時，使用數據倉庫所產生的巨大效益又刺激了對數據倉庫技術的需求，數據倉庫市場正以迅猛的勢頭向前發展。

　　我國企業信息化起步相對較晚，數據倉庫技術在國內的發展還處于積累經驗階段。雖然近年來，我國大中型企業逐步認識到利用數據倉庫技術的重要性，并已開始建立自己的數據倉庫系統，如中國移動、中國電信、中國聯通、上海證券交易所和中國石油等。但從整體上來看，我國數據倉庫市場還需要進一步培育，數據倉庫技術同國外還有很大差距。為此，我國許多科技工作者已開始對數據倉庫相關技術進行深入研究，通過對國外技術的吸收和借鑒，在此基礎上提出適合國內需求的技術方案。

　　(二) 非結化數據庫國內外研究現狀

　　隨著數據庫技術深入應用到各個領域，結構化數據庫逐漸顯露出一些弊端。如在生物、地理、氣候等領域，研究面對的數據結構并不是傳統上的關系數據結構。如果使用關系數據庫對其進行存儲、展示，就必須將其從本身的數據結構強行轉換為關系數據結構。采用此種方式處理非結構數據，不能在整個生命周期內對非關系數據進行管理，并且數據間的關系也無法完整的表示出來。在此背景下，非結構化數據庫應運而生。相較于關系數據庫，非結構數據庫的字段長度可變，并且每個字段的記錄又可以由可重復或不可重復的子字段構成。如此，它不僅可以處理結構化數據，更能處理文本、圖象、聲音、影視、超媒體等非結構化數據。近年來，隨著大數據興起，非結構數據庫開始廣泛應用，以支持大數據處理的多種結構數據。

　　目前，非結構化的數據庫種類繁多，按其存儲數據類型分，主要包含內存數據庫、列存儲型、文檔數據庫、圖數據庫等。其中，常見的內存數據庫有SQLite，Redis，Altibase等;列存儲數據庫有Hbase，Bigtable等;文檔數據庫有MangoDB，CouchDB，RavenDB等;圖數據庫有Neo4j等。近年來，我國非結構數據庫也有一定發展，其中最具代表的是國信貝斯的iBASE數據庫。可以預見在不久的將來，伴隨這大數據的`應用，非結構數據庫將會得到長足的發展和廣泛的應用。

　　四、主要研究內容和要求達到的深度：

　　本文研究的方向是數據倉庫，并且是聚焦于大數據這一特定環境下的數據倉庫建設，其主要內容包括以下幾點：

　　1. 非結構數據庫的數據倉庫解決方案：本文聚焦于大數據這一特定環境下的數據倉庫建設，因為大數據環境下的數據倉庫建設理論文獻很少，首先需要以研究關系數據庫型數據倉庫的解決方案為參考，然后對比關系數據庫和非結構數據庫的特點，最后在參考方案的基礎上改進，以得到適合非結構數據庫環境的數據倉庫解決方案。

　　2. 非結構數據庫和關系數據庫間數據轉換：非結構數據庫是對關系數據庫的補充，很多非結構數據庫應用環境中都有關系數據庫的身影。因此，非結構數據庫和關系數據庫間數據轉換是建立非結構數據庫需要解決的一個關鍵問題。

　　3. 基于非結構數據庫的數據倉庫構建：本文擬采用手禮網的數據，分析其具體的數據環境和需求，為其構建基于非結構數據庫的數據倉庫，主要包括非結構數據庫的數據抽取，Hive數據庫入庫操作和Pentaho前臺數據展現等。

　　五、研究工作的主要階段、進度和完成時間：

　　結合研究需要和學校教務管理的安排，研究工作主要分以下四階段完成：

　　第一階段：論文提綱：20xx年6月——7月

　　第二階段：論文初稿：20xx年8月——10月

　　第三階段：論文修改：20xx年11月——20xx年3月

　　第四階段：最終定稿：20xx年4月

　　六、擬采用的研究方法、手段等及采取的措施：

　　在論文提綱階段，本文擬采用調查統計的方法，收集目前大數據環境下數據庫應用情況，著重統計各類型數據庫的應用比例。同時采用文獻分析和個案研究的方法研究數據倉庫構建的一般過程和對應的技術細節，并提出解決方案。在論文初稿和修改階段，本文擬通過實證研究，依據提綱階段在文獻分析中收集到的理論，基于特定的實踐環境，理論結合實踐，實現某一具體數據倉庫的構建。最后采用定性和定量相結合的方法，詳細介紹大數據環境下數據庫和數據倉庫的特點，其數據倉庫實現的關鍵問題及解決方案，以及數據倉庫個例實現的詳細過程。

　　七、可能遇見的困難、問題及擬采取的解決辦法、措施：

　　基于本文的研究內容和特點分析，本文在研究過程中最有可能遇到三個關鍵問題。

　　其一，非結構數據庫種類繁多，每類數據庫又對應有不同的數據庫產品，由于當下非結構數據庫沒有統一標準，即便同類數據庫下不同產品的操作都不盡相同，難以為所有非結構數據庫提出解決方案。針對此問題，本文擬緊貼大數據這一背景，選擇當下大數據環境中應用最多的幾類數據庫的代表性產品進行實現。

　　其二，雖然經過二十年的發展，數據倉庫的理論已日趨完善，但大數據是近幾年才發展起來的技術熱點，大樹據環境下的數據倉庫建設理論文獻很少。針對此問題，本文擬參考現有的成熟的關系數據庫環境下數據倉庫構建方案和非結構化數據倉庫理論，研究適合非結構數據庫的數據倉庫構建方案，請導師就方案進行指導，然后再研究具體技術細節實現方案。

　　其三，基于大數據環境的數據倉庫實現是本文重要的組成部分，要完成此部分的工作需要企業提供數據支持，但現在數據在企業當中的保密級別都很高，一般企業都不會將自己的業務數據外傳。針對此問題，本文擬采用企業非核心業務數據進行數據倉庫實現。

　　八、大綱

　　本文的基本構想和思路，文章擬分為導論、大數據環境下的數據庫介紹、大數據下數據倉庫關鍵問題研究、基于XX電子商務的大數據下數據倉庫實現、結論五部分。

　　導論

　　一、研究背景

　　二、國內外研究現狀述評

　　三、本文的主要內容與研究思路

　　第一章大數據環境下的數據庫介紹

　　第一節大數據對數據庫的要求

　　第二節關系數據庫和非結構數據庫比較

　　第三節大數據下常用非結構數據庫介紹

　　小結

　　第二章大數據下數據倉庫關鍵問題研究

　　第一節非結構數據模型和關系數據模型的轉換

　　第二節基于多源非結構數據庫的數據抽取

　　第三節數據類型轉換

　　第四節數據倉庫前端展示

　　第三章大數據下數據倉庫實現方案

　　第一節大數據環境介紹

　　第二節實現方案

　　第二節 Hive介紹

　　第三節 Pentaho介紹

　　第四章基于XX電子商務的大數據下數據倉庫實現

　　第一節需求分析

　　第二節模型設計

　　第三節概要設計

　　第四節基于Hive的數據入庫操作實現

　　第五節基于Pentaho的數據倉庫前端展示實現

　　結論

碩士開題報告論文2

　　課題名稱：基于信任管理的WSN安全數據融合算法的研究

　　一、立論依據

　　課題來源、選題依據和背景情況、課題研究目的、理論意義和實際應用價值。

　　1、課題來源。

　　國家自然科學基金資助項目（60873199）。

　　2、選題依據。

　　無線傳感器網絡具有硬件資源（存儲能力、計算能力等）有限，電源容量有限，拓撲結構動態變化，節點眾多難于全面管理等特點，這些特點給理論研究人員和工程技術人員提出了大量具有挑戰性的研究課題，安全數據融合即為其一。雖然目前的研究已經取得了一些成果，但仍然不能滿足應用的需求。無線傳感器網絡是以數據為中心的網絡，如何保證其數據融合的安全性還是一個有待解決的問題。基于此，提出了本課題的研究。

　　3、背景情況。

　　、計算技術和無線通信等技術的進步，推動了低功耗多功能傳感器的快速發展，使其在微小體積內能夠集成信息采集、數據處理和無線通信等多種功能。無線傳感器網絡就是由部署在監測區域內大量的廉價微型傳感器節點組成，通過無線通信方式形成的一個多跳的自組織的網絡系統，其目的是協作地感知、采集和處理網絡覆蓋區域中感知對象的信息，并發送給數據處理中心或基站。傳感器網絡被廣泛的應用于軍事、環境監測和預報、健康護理、智能家居、建筑物狀態監控、復雜機械監控、城市交通，以及機場、大型工業園區的安全監測等領域。

　　傳感器網絡由大量傳感器節點組成，收集的信息量大，存在冗余數據。傳感器節點的計算能力、存儲能力、通信能量以及攜帶的能量都十分有限，數據融合就是針對冗余數據進行網內處理，減少數據傳輸量，是減少能耗地重要技術之一。傳感器網絡中，將路由技術與數據融合技術結合是一個重要的問題。數據融合可以減少數據量，減輕數據匯聚過程中的網絡擁塞，協助路由協議延長網絡的生存時間。因而可以數據為中心的路由技術中應用數據融合技術。在戰場等非可信環境或對可靠性要求非常高的環境中，數據融合也帶來了風險。例如，敵人可以俘獲節點獲取節點中的所有信息，從而完全控制節點的行為，偽造和篡改數據。傳統網絡中的安全技術需要大量的存儲空間和計算量，不適合能量、計算能力、存儲空間都十分有限的傳感器網絡。因此必須設計適合傳感器網絡具有較強安全性的數據融合技術。

　　4、課題研究目的。

　　通過對無線傳感器網絡安全數據融合技術的研究，消除傳感器中存在的、大量冗余數據，有效節省傳感器節點能量消耗，延遲節點和網絡的工作壽命，在有節點被捕獲成為惡意節點情況下，及時檢測惡意節點，消除惡意節點發送的惡意數據對數據融合的不良影響，保障了傳感器網絡數據融合過程的可靠性，維護傳感器網絡的正常工作。

　　5、理論意義。

　　無線傳感器網絡安全技術的研究涵蓋了非常多的研究領域，安全數據融合技術是其中一個重要研究課題。本文把信任管理機制加入到傳感器網絡安全數據融合過程中，研究設計一種傳感器節點信任值的計算方法，有效識別節點狀態，實現可靠的數據融合。

　　6、實際應用價值。

　　對于工作在敵方環境中的無線傳感器網絡，傳感器節點容易被地方捕獲成為惡意節點，節點內存儲的密鑰等加密暴露，導致傳統的基于加密和認證的無線傳感器網絡安全措施失效，在這種情況下，本研究可以可以及時識別惡意節點，保證傳感器網絡數據融合的可靠性，有效減少網絡負載，延長網絡工作壽命。

　　二、文獻綜述

　　國內外研究現狀、發展動態；所閱文獻的查閱范圍及手段。

　　1、國內外研究現狀、發展動態。

　　傳感器網絡與眾不同的特點導致傳感器網絡與傳統網絡有極大不同。傳感器網絡的安全數據匯聚是要解決加密傳輸和數據匯聚的協調問題，實現數據的安全處理和傳輸。傳統有線網絡和無線網絡的安全技術并不適用于傳感器網絡，這吸引了眾多研究人員研究適合傳感器網絡的安全技術，并且提出了許多適合傳感器網絡的安全技術。安全數據融合算法是WSN安全性研究的重要方面，一直以來受到研究人員的重視，并取得了一定的研究成果。目前已有的研究成果如下：

　　（1）PerrigA等人提出了一種有效的WSN數據加密方法和廣播認證方法，為WSN安全性研究作出了基礎性工作。

　　（2）CAMH等人提出了一種基于模式碼的能量有效安全數據融合算法，算法用簇頭節點通過自定義的模式碼的選取來組織傳感器節的發送冗余數據實現數據融合，并且使用同態加密體重保證了數據在傳輸過程中的機密性。改方法對于每類數據類型需要保存和維護一個查找表，一旦查找表信息暴露，該安全方案將會失效。

　　（3）PrzydatekB等人提出的基于數據統計規律的數據融合算法，算法使用高效的抽樣和迭代的證明來保證有多個惡意節點發送錯誤數據的情況下，保證基站能夠判定查詢結果的準確性。但是該方法對于每種聚集函數都需要一個復雜的算法，為證明數據準確性，聚集節點需向基站發送大量參數，能量消耗太大。

　　（4）MahimkarA等人研究在WSN中使用橢圓曲線密碼實現數據加密和安全數據融合。但是在傳感器節的十分有限的情況下，使用公鑰密碼體系使節點能量消耗更加迅速，縮短網絡的壽命。

　　WSN的信任管理是在WSN管理的基礎上提出的，主要研究對節點進行信任值評估，借助信任值增強WSN的安全性。傳統的基于密碼體系的安全機制，主要用來抵抗外部攻擊。假如節點被捕獲，節點存儲的密鑰信息將泄漏，使密碼體系失效。WSN信任管理作為密碼體系的補充可以有效的抵抗這種內部攻擊。將信任管理同WSN的安全構架相結合，可以全面提高WSN各項基礎支撐技術的安全性和可靠性。

　　近年來，WSN信任管理受到了越來越多的關注，取得了一定的研究成果。

　　（1）Ganeriwal等人提出的RFSN是一個較為完整的WSN信任管理系統，該模型使用直接信息和堅決信息來更新節點的信譽，節點根據得到的信譽信息來選擇是否和其他節點合作。可以建立僅由可信節點組成的網絡環境。

　　（2）Garth等人中將信任管理用于簇頭選舉，采取冗余策略和挑戰應答手段，盡可能的保證選舉出的簇頭節點為可信節點。

　　（3）Krasniewski提出了TIBFIT算法將信任用于WSN容錯系統，把信任度作為一個參數融入到數據融合的`過程中，提高對感知事件判斷的準確率，其提出的信任度計算方法比較的簡單。

　　無線傳感器網絡需要采取一定的措施來保證網絡中數據傳輸的安全性。就目前的研究來看，對無線傳感器網絡安全數據融合技術和信任管理機制都取得了一些研究成果，但是如何使用信任管理機制保證安全的數據融合的研究并不多見，許多問題還有待于進一步深入研究。

　　2、所閱文獻的查閱范圍及手段。

　　充分利用校內圖書館資源、網絡資源以及一些位于科技前沿的期刊學報。從對文獻的學習中掌握足夠的理論依據，獲得啟發以用于研究。

　　三、研究內容

　　1、研究構想與思路。

　　在本項目前期工作基礎上建立WSN三級簇結構模型，節點分為普通節點，數據融合節點（免疫節點），簇頭節點。在常規加密算法的基礎上完成節點身份認證，通過消息認證碼或數字水印技術保證傳感器節點傳送數據的真實性。上級節點保存下級節點的信任值，信任度的計算建立在傳送數據的統計分析之上。節點加入網絡后先初始化為一定的信任值，每輪數據發送時，接收節點收集數據后，量化數據的分布規律，主要包括單個節點歷史數據分布規律和節點間數據差異的分析，確定數據分布模型（如正態分布、beta分布等），建立計算模型以確定節點間的信任值。信任值確定后，數據融合節點將普通節點按照不同的信任度進行分類，選取可信節點傳送的數據按查詢命令進行數據融合，將結果傳送到簇頭。簇頭同樣計算融合節點的信任度，保證數據融合節點的可靠性，計算最終數據查詢結果，使用Josang信任模型給出結果的評價。各數據融合節點之間保持通信，通過對比數據的一致性確保簇頭節點的可靠。

　　2、主要研究內容。

　　（1）設計有效的節點信任值計算方法，網絡工作一段時間后，所有正常節點具有較高信任度，異常節點具有較低信任度，可初步判定為惡意節點。

　　（2）當融合節點或簇頭節點發生異常時能及時發現異常，并上報基站。

　　（3）過濾異常數據和惡意數據，盡量減少因節點被捕獲而對感知數據結果造成的影響。

　　（4）計算最終數據融合結果并且對最終數據融合結果做出評價來反映該結果的的可靠程度，供基站參考。

　　（5）進行算法的能量分析。

　　3、擬解決的關鍵技術。

　　（1）建立WSN一個簇內數據傳送的三層簇結構模型，節點密集部署。

　　（2）模擬工作過程中節點被捕獲成為惡意節點，惡意節點可能發送和真實數據差別較大的數據，也能發送和真實數據差別不大但會影響融合結果的數據。

　　（3）計算并更新傳感器節點的信任值，分析信任值的有效性。

　　（4）記錄各節點傳送數據值，并與實際值進行比較，分析融合數據的準確性。測試當有較多節點被捕獲時算法的工作效果。

　　4、擬采取的研究方法。

　　查閱國內外大量有關無線傳感器網絡數據融合技術和信任管理技術方面的文獻，分析當前無線傳感器網絡安全領域的發展現狀與未來。借鑒在該領域已經取得的研究成果和經驗，系統而深入的研究在無線傳感器網絡數據融合中使用信任管理機制的主要問題。通過對已有的安全數據融合技術進行總結和分析，結合無線傳感器網絡自身的特點，設計出一種基于信任管理的無線傳感器網絡安全數據融合算法。

　　5、技術路線。

　　本課題嘗試使用信任管理機制來保障在無線傳感器網絡中實現安全的數據融合，在現有的對無線傳感器網絡安全數據融合技術的研究基礎上，與信任管理技術相結合，期望能夠對傳感器網絡安全數據融合提出有效的解決方案。針對課題中的技術難點，通過查閱資料、向導師請教以及與項目組同學討論的形式來解決。

　　6、實施方案。

　　（1）在Windows平臺下使用omnet++進行仿真實驗。

　　（2）建立無線傳感器網絡一個簇內數據傳送的三層結構模型，節點密集部署。

　　（3）模擬無線傳感器網絡受到攻擊時時的數據發送，根據數據統計規律計算和更新節點信任值。

　　（4）把節點按信任值分類，檢測識別惡意節點。

　　（5）根據節點信任值選擇有效數據完成數據融合。

　　7、可行性分析。

　　（1）理論知識積累：通過廣泛閱讀無線傳感器網絡數據融合技術方面的文獻形成了一定量的理論知識儲備，為課題的研究奠定基礎。

　　（2）技術積累：熟悉OMNeT++網絡仿真軟件，具有一定的C++編程能力。

　　（3）技術合作：研究過程中遇到難以解決的問題時，可以向指導老師請教解決問題的基本思路。對項目相關課題有疑問時，可以向項目組同學請教。對實驗平臺的建立及使用有疑問時，可以和項目組同學共同討論解決。