時間:2023-04-06 18:33:35
導語:在大數據技術論文的撰寫旅程中,學習并吸收他人佳作的精髓是一條寶貴的路徑,好期刊匯集了九篇優秀范文,愿這些內容能夠啟發您的創作靈感,引領您探索更多的創作可能。

PDA也可以稱為個人數字化助理,簡稱為掌上行機,它的優點是形狀很小,攜帶很方便,可以把它放在手上或者口袋。很便于輸入數據,操作結構很簡單,使用起來很方便,可使用手接觸或者筆輸入信息,耗費功能很低,電池能使用的時間很長,通信里很強,可以使用藍牙、紅外接受發送信息,價格實惠。現在很多PDA使用windowsCE來進行操作,用來開發windowsCE系統功能,就像是在計算機的桌面進行開發軟件程序一樣,構建一個比較有相對性的移動設備。
2分析PDA和全站儀中的數據
2.1串口技術
使用Wicrosoftwindows開發串口系統,進行有以下方式:a.使用windows來進行通信函數.b.windowsAPI對端口進行讀寫或者開發其它程序,對串口實行操作步驟。C.串口中的組件通信,比如Activek控制MSCcomm。根據以上介紹的幾種方法,比如b需要熟悉電路結構,驅動層次比較深,需要有比較強的專業技能,如C方式簡便,不能使EmbeddedVisualC++所接受,該程序就是應用windowsAP來進行通信函數。
2.2串口施行步驟
windows的讀寫文件方式不一樣,它主要使用windows結構中的多線程,然后再后臺進行串口讀寫,正常使用程序就要在前臺進行。進行改善1/0的速度,使用windows結構中的多線程,可以使用它來進行開發非單一系統,windows不能操作1/0的異常操作,可以使用它來進行操作串口,使用異步的方法,可以提高系統的操作能力。工作效能比較高的串口是事件驅動。應用這種方法有比較高的時實性,主要是針對一些比較廣泛的串口,跟查詢的方式不一樣,不是只對那個串口進行查詢。是以中斷的形式來進行,一般運行中斷時,確定的事件發生變化時,windows系統就會發出信息,才能有針對性的進行處理,確保數據存在。
3開發通信程序
3.1串口通信應用API函數
⑴串口進行打開關閉。在應用程序中用Create-File函數把串口打開,注意事項主要有:A.串口名后面需要加個冒號(:)。B.PDA的串口就是全部已經打開的串口,只含COM1。C.應用的參數定為零,安全沒有危險性的參數定為NULL。應用Close-Handle可以把串口關閉。⑵對串口進行配置。串口配置與PDA通信中的參數進行配置一起,這樣才能達到通信的效能,因此配置也是比較重要的一個步驟。LPDCB主要是針對DCB結構,DCB結構是對串口的進一步描述,串口的波特率主要是由DCB中的BaudRate來確定,原因是CE對非二進制不能進行輸送,所以fBinary要設定為TRUE,ByteSize是指字節在進行發送時接受到的數據。Parity是奇偶校驗,StopBits是停止位數,⑶對串口進行讀寫。串口進行讀寫時可以使用ReadFile和WriteFile函數實現,主要是串口進行讀寫時速度不是很快,⑷對串口進行異步讀寫,CE不能進行操作輸入輸出的功能,因此只能應用讀寫進行重復操作。第一,設定串口EV_RXCHAR要用SetCommMask函數來實現,應用WaitCom-mEvent阻攔線程,指直到把事件EV_RX-CHAR設定好,字符要應用回調函數來進行處理,續等發生事件。
3.2隔開水平角、豎直角、距離及進行組合測量
在測量過后,需要測出水平角,偏心的水平角與距離不能合在一起測量,測量時要分開進行,因此應用程序能進行水平角和豎直角及距離分開測量以及組合測量,進行測角時不能僅僅依靠棱鏡。所以,可以應用水平角和、豎直角、距離重復選框來進行模擬。針對不一樣規模的全站儀,使用的方式也不一樣,索佳操作的模式只含有一種規模的全站儀,只需要點擊按鈕即可,假如選擇斜距就進行輸送測角距,沒有選中斜距進行輸送測角距,收到的數據后。在根據模塊來分析與選取有針對性的數據,拓撲康是第二種模式,在選中斜距時,還要在斜距中的復選框中進行點擊,在進行輸送時改變測量距離的模式,進行發送時。進行驅動測量,跟讀取指令是一樣的。
3.3處理已經接收到的字符串
⑴ASCII編碼是已經收到的字符串,可以使用MultiByteToWideChar函數轉變成Unicode編碼然,在進行處理。⑵測量指令在進行發送出去后,全站儀中的數據不是一次性發完,應該是分層次來進行發送,因此,字符串要直接連接到字符串,才能完成接受任務。⑶字符串的主要任務就是接收完后,要依據復合框進行有效的選擇,分析全站儀的字符串,也會顯示的很清楚。⑷拓撲康是第二種模式,符串后的任務就是接受,在輸送時顯示清楚。相反,就會把全站儀輸送數據全部給PDA,造成不良后果。
4應用在實際生活中
VC++2005smartdevice的MFCsmartdeviceApplication,PDA與全站儀中的通信主要依靠多線程來完成,使他們能夠穩定運行。根據太原市在進行測繪進行探索指出,外業進行采集時,效果是良好的。全站儀中的數據直接讀取,防止在讀、記方面存在有誤差。不過,對存在有誤差的數據要自動檢查,防止2C差、差互差、2C互差的影響產生誤差,而不能及時的進行檢查,而導致返工現象的發生,工作效率的提高,PDA儲存的文件就是測量的結果,外業任務完成之后把所得出的結果直接輸入到PC,經過對程序的進一步分析,能直接評估精準度及計算坐標,不使用人工來進行操作,從一定程度上減少了工作人員的工作量,也能減少造成不要的麻煩,有效的提高工作效率。
5結束語
大數據時代設計創新主要體現以互聯網為平臺的網絡終端創新,如智能手機、平板電腦、導航產品和電子支付等生活類產品及服務的創新設計,以及與此相關的后臺基礎設施創新,如云計算、通訊、軟件工程等技術領域。知名IT評論家謝文認為,目前網絡業創新過程中,對大數據的獲取可分為三種戰略:前臺、和后臺為主的模式。蘋果、Facebook和亞馬遜分別是這三類模式成功的典范。蘋果通過設計、銷售各種互聯網終端產品,通過Ios系統下的Itune網上商店將產品和服務集成來匯集數據,形成自成體系的規范數據標準平臺,這種商業模式讓蘋果獲得了巨大成功,表明工業設計有效利用大數據可實現產品和商業的成功。Facebook則抓住目前頗具人氣的網絡社交需求,依托Web2.0系統平臺的構建和運營來獲取各種標準化、結構化的用戶數據,形成開放、龐大的共享數據流。亞馬遜則通過建立強大的網絡營銷后臺獲取網絡用戶的各種需求數據,再結合電商形成開放平臺,為用戶提供量身定制的各類個性化服務,為電商提供行業所需的大數據。在口碑營銷成為王道的電商時代,借助互聯網提供的營銷數據,掌握消費者的需求,企業能夠及時調整設計、生產和制造策略,并通過3D打印快速實現消費者的個性化定制需求。這就需要通過網絡獲取用戶數據,同時用科學方法分析這些數據所體現的用戶消費心理、行為,最終轉換為有用的設計語言。傳統的產品設計、制造是一種線下行為,遠離互聯網,與消費者之間的溝通和交流存在時間差,獲取的消費者數據十分低效。“3D打印”技術的出現讓物質產品的設計、生產實現了數據化,傳統制造業和互聯網行業的高度融合,不但拓展了網絡行業的產業邊界,也為制造業的定制化服務提供了巨大空間。針對用戶的產品定制,借助強大的物聯網可實現低成本營銷,真正實現個性化設計和按需生產,這讓傳統制造業進入到大規模、打破時空界限的全新發展階段。這種借助互聯網、物聯網形成的新型產業鏈和商業模式改變了傳統制造業,讓企業從產業鏈上游及戰略規劃階段就可集成物質化產品設計、制造和流通過程所需的各類數據,這要求制造業企業必須具備互聯網思維,要求工業設計必須依靠網絡集成各種數據,及時獲取消費者需求。
二、大數據時代的工業設計
互聯網打造了全新的社會形態和生活方式,人們的工作、生活已離不開網絡,通過網絡消費者可實現交友,衣、食、住、行各種所需。謝文認為,未來通過網絡有望實現三方面創新,個人數據集成、公共服務數據集成及物質生產集成。如收集消費者在網絡上的言談舉止和生活中所有活動產生的數據,建立“數據人”模型,為線下的制造業提供人的需求數據;集成線上的公共服務數據為國家、政府和組織提供服務支持;集成物質生產數據實現制造業的數據化生存。對工業設計而言,網絡連接消費者、社會和物質產品組成的三維空間,融合各種大數據,可支持制造業的轉型與社會進步。這正是新形勢下工業設計的發展方向,即通過設計具體的服務產品,為消費者創造感性價值,實現消費者情感上對個性、品位和身份的追求。這些服務化產品在提供高品質服務的同時,以技術推動組織和社會創新,實現人、組織、社會和環境的可持續發展。此時的工業設計從“提供功能,方便使用”的問題解決方案,轉向“講述故事,創造意義”的“造意”階段,“造意”正成為當下產品設計新的關注點。借助網絡獲取用戶數據,讓產品滿足基本功能的同時,更多地向消費者講述故事,引起消費者的回憶和聯想,成為當下產品設計成功的關鍵。
三、結語
【關鍵詞】日語語料庫 日語學術論文 句末表達
一、序言
日語語言中書面語與口語在表達方式上有很大差異,日語學習者往往將重點放在練習口語表達上,而忽視了對日語書面語表達能力的訓練。學生語言基礎不扎實,影響了學術論文寫作的質量。在研究領域,學術論文一直是呈現新知識的重要渠道。學術論文作為一種特殊的體裁,有著它獨特的語篇結構。因此,系統性地歸納出學術論文的語言表達特點非常有必要,有利于幫助學生提高論文寫作能力。丸山指出句末表達是一句話的表達當中最為重要的一個要素,句末表達形式變化的豐富程度可以視為展示那一類文章所蘊含的豐富表現力的線索。因此,本文以句末表達形式為切入點進而分析日語學術論文的表達特點。
二、研究方法
1.語料采集。CiNii(http://ci.nii.ac.jp)是目前世界上最全的日本學術論文數據庫,收錄日本各學會出版的學術期刊文獻。本文從CiNii數據庫中采集2000年到2013年間發表的日語語言學論文,涵蓋語音學、詞匯學、語法學、教育學、中日對比研究、語用學、語義學及認知語言學等領域,共計50篇論文作為本次構建語料庫的文本素材。
2.語料處理。利用OCR文字識別軟件“e.Typist”將采集到的樣本轉換成txt文本格式。然后使用軟件“edamame”、“himawari”將樣本制作為可檢索的語料庫。
3.語料分析。本文旨在研究日語學術論文的句末表達形式,因此在建成的語料庫中將關鍵詞設置為“。”進行檢索,得到6512個結果。然后把檢索結果的前文按照五十音圖的順序重新排序,統計得到的句末表達形式,除去檢索結果中為論文引用的例句、注解以及謝辭的部分,最終得到4946句語料。將其分門別類,計算各自的比例進行分析。
三、研究結果
參照清水(2010)將句末表達按照語氣(モダリティ)進行分類,結果如表1所示。
ル型包括ル、テミル、テオク、テイク、テクル、ラレル、サセル、エル、ウル、テモラウ、テシマウ、テイル,有12種形式,占據比例最大,為52.9%。タ型包括タ、テイタ、サセタ、ラレタ、テキタ、テモラッタ、テミタ,有7種形式,比例為10.9%。タイ型包括タイ、テミタイ、テイキタイ、テオキタイ,有4種形式,比例1.7%。ウ/ヨウ型包括ウ/ヨウ、テミル+ウ/ヨウ、ラレル+ウ/ヨウ、テイク+ウ/ヨウ、テオク+ウ/ヨウ、ダ+ウ/ヨウ、デアル+ウ/ヨウ,有7種形式,比例3.3%。デアル型包括デアル、ノ+デアル、ワケ+デアル、モノ+デアル、コト+デアル、ヨウ+デアル、ハズ+デアル,有7種形式,比例16.2%。デアッタ型包括デアッタ、モノ+デアッタ、コト+デアッタ,有3種形式,比例1.0%。“其他”指的是形容詞、名詞、助詞、否定的句末表達形式,由于篇幅有限,本文不考察這些形式。ル型大約是タ型比例的5倍,デアル型約為デアッタ型比例的16倍,由此可見,在論文的句末表達中,ル型與タ型相比使用更為頻繁。從時態的角度來看,ル型表示現在和未來,タ型表示過去,在論文敘述中更多的是,使用表未來的ル型來進行論述作者當前的見解,以及引出下文將要論述的內容。通過觀察例句發現,使用タ型更多的是用來描述作者在過去進行了某項調查,相對于作者用于論述的筆墨而言占有的篇幅較少。表達作者語氣的表現形式占比例較小,タイ型和ウ/ヨウ型加起來也僅為5%,可見在重視客觀性的論文敘述當中,作者會盡量避免使用顯露作者本人語氣的語言表達,轉而使用表示斷定的句式來增添論文的可信度,力求保持中性的立場闡述客觀事實。
由于篇幅有限,僅簡短地分析一下比例超過半數的ル型。ル型當中比例較高的有ル形(如ある、なる)1342例,テイル形(如なっている)626例,以及ラレル形(如考えられる)457例,僅此三種形式就占據了ル型所有例句的92.6%。另外比例較高的只有デアル型中的デアル形580例,以及タ型中的タ形388例,這五種形式可以說是本次調查中學術論文的句末表達形式中最為常用的句型。
結果顯示,包含作者語氣的表達形式使用較少,使用更多的是斷定的句式。和表過去的タ型相比,ル型使用更為頻繁。句末表達形式中最常用的5種形式依此為ル形、テイル形、デアル形、ラレル形以及タ形。由于篇幅有限,本文未能就所獲得的數據進行全面分析,并且未與中國日語學習者所撰寫的論文進行比較分析,這些問題筆者將在今后的研究中繼續不斷努力,加以探索。
參考文獻:
[1]盛文淵.語料庫在日語專業畢業論文指導中的應用[J].讀與寫雜志2013(3):22-23.
統計學論文2300字(一):統計學方法的發展及其在大數據中的應用論文
【摘要】現階段,統計學方法在我國企業管理中有廣泛應用。本文嘗試對統計學方法的誕生以及發展情況進行了簡要的分析,同時還對統計學方法在現今大數據時代的應用情況進行了探索。
【關鍵詞】統計學方法發展大數據應用
對于統計學方法來說,誕生的最初只是為了進行單純的計數以及描述,隨著統計學方法的不斷發展,其所涉及到的內容更加多樣化。在統計學家以及各個領域專家的不懈努力之下,統計學方法正在不斷的進步以及完善,在實際應用的過程中也發揮出了較為理想的效果。在現階段大數據的時代背景之下,對統計學進行深入探究是非常重要的,會對今后多個行業的快速發展起到促進作用。
一、統計學基本發展探析
對世界統計學的發展情況進行分析,會發現,其與科學界的發展趨勢較為類似,隨著統計學的不斷完善,也開始與其他科學進行融合發展。對統計學進行總結,可以發現,其主要具備兩個基本結合趨勢,即與實質性學科結合的趨勢以及與計算機學結合的趨勢。對于統計學來說,其與經濟學結合發展我國有廣泛的應用,并且產生了經濟統計這一專業;而統計學與教育的結合產生了教育統計。對于這些分支學科來說,其具有雙重屬性。一方面是統計學的分支;另一方面是實質性學科的分支。隨著計算機信息技術的不斷發展,其運算能力不斷提升,這也使得大規模的統計調查工作在實際展開的過程中取得了理想效果,不僅保證了數據計算的準確性,同時也保證了計算的高效性。因此,在進行統計學技術研究發展的過程中,與計算機技術的深入結合應用是重要發展途徑。通過對計算機軟件的有效應用可以使統計計算過程中一些疑難的部分得到有效解決,同時也使得統計計算的展開更加方便。從現階段我國經濟類統計專業的教育情況來看,一方面在對統計方法進行創新教育,另一方面在對學生利用商品化統計軟件包裝能力進行提升。由此我們可以看出,在今后統計學的發展過程中,勢必不能離開計算機技術的支持。在今后統計學相關專業的教育過程中,應該對學生的計算機程序設計以及利用能力進行培養提升,使得在展開統計工作的時候可以通過統計模型的編程來實現。
二、統計學方法在大數據中的應用趨勢
(一)統計學方法及相關領域的動態分析
目前,國內外對統計學都有較為廣泛的應用,主要應用在教育行業、生產制造行業以及企業管理當中,取得了較為理想的應用效果。根據CNKI數據庫中統計方法、機器學習分布情況可以看出,在機器學習領域的論文數量從2013年以后一直呈現出持續增長的勢頭,并且在2016年超過了統計方法領域的論文數量。由此可以說明,我國在機器學習領域的發展速度正現出穩定提升的趨勢,反映了我國在大數據領域研究方面越來越深入,所應用的研究方法也開始呈現出多樣化的特點。從總體上來看國內在統計學方法研究過程中已經取得了階段性的成果,并且其所面臨的拐點與國家上的統計學發展拐點基本保持一致,大概都是在2013年開始對大數據以及將其學習等方面有了深入的探究,并且開始逐漸取得突破性的成果。而機器學習方法的論文數量都是在2016年開始超過統計方法的論文數量。但是與此同時,我們也看出其差異性也很明顯,國內在統計方面研究的論文以及在機器學習方法方面研究的論文與國際相比較尚且存在較為明顯的差距,并且這種差距呈現出了持續性的特點,這也使得我國在這兩個領域方面還有很大的發展空間。
(二)統計學方法及相關領域研究方向分析
經過對CNKI數據庫中的統計方法以及大數據領域期刊論文分布情況進行分析之后,可以看出,統計方法領域中出現頻次最高的是“統計分析”以及“數理統計”、“人工智能”;在大數據領域出現頻次較高的是“云計算”、“圖書館”以及“物聯網”等關鍵詞。通過上述關鍵詞來看,其所涉及到的內容都是反映當前我國統計以及大數據技術所研究的重點以及熱點,同時我們也可以看出,現階段我國在統計與大數據領域方向的研究存在著一定的重合。在進行的數據研究的時候,需要應用到統計學方法,同時統計學方法在利用的時候往往也需要與大數據進行結合。
(三)統計學方法的發展展望
有數據的地方勢必就會涉及到統計學。從17世紀開始,國勢學派以及算數學派的爭論到今天大數據計算、計算機技術的相互作用,使得統計學的內容正在不斷完善,并且其應用領域也在不斷擴大,隨著大數據時代的來臨,使得傳統的統計學發展方向發生了一定轉變,開始從小樣本的統計推斷分析走向大數據量的挖掘分析,從而使其所掌控的數據量不斷提升。在未來統計學方法發展的過程中,應該注意將統計學與新的數據思維相結合,從而產生一種新型的、應用范圍更廣的大數據算法。從現階段我國大數據方法創新發展的情況來看,其與國際研究在深度以及廣度上還存在不小的差距,這也恰恰說明了我國在大數據統計學方面還有很大的進步空間。現階段,國內的大數據研究更多的是停留在信息化產業上,與其他行業的融合發展趨勢尚且不明顯,這也使得信息服務以及數據產業的創新發展受到了一定影響。在今后統計學發展的過程中,其研究熱點勢必會從數據分析以及數據發掘向算法方向轉移,這樣也使得大數據技術與統計學方法二者之間的聯系更加緊密。
結束語
綜上所述,我國統計學方法在今后發展過程中應該充分考慮到實際需求,積極適應時代變化,現階段大數據時代已經全面到來,并且大數據技術在我國有廣泛應用,在實際應用的過程中取得了較為理想的效果。將大數據與統計方法進行結合可以使統計學方法的作用得到更好的體現,也使得統計學方法不斷的進步以及拓展,在大時代背景之下,其功能性得到了更加充分的展現。
統計學畢業論文范文模板(二):線上線下混合式教學在生物統計學教學中的實踐與研究論文
[摘要]為提升生物統計學課程的教學水平,針對傳統生物統計學教學中的局限,分析和實踐基于線上網絡教學+線下面授教學的混合式教學模式在生物統計學教學中的應用策略和方法。實踐表明,通過線上+線下的互動與教學,能激發學生學習的興趣與動力,豐富生物統計學的教學形式與內容,促進生物統計學教學質量的提升。
[關鍵詞]線上線下;混合式教學;生物統計學;實踐
[作者簡介]嚴明(1981—),女,重慶人,博士,講師,研究方向:生物技術。
[中圖分類號]G642[文獻標識碼]A[文章編號]1674-9324(2020)25-0273-02[收稿日期]2020-03-18
生物統計學是生物醫學類專業的必修課程,學生通過學習本課程掌握實驗設計的原理和方法,并學會對實驗數據進行統計分析和處理。然而,生物統計學涉及到大量基礎理論,單純通過教師講解,學生理解度較低,學習效果不佳。如何在有限的課時內,改革傳統的以講授為主的教學方式,有效提高教學效果是生物統計學教學亟待解決的難題。
近年來,隨著互聯網信息技術的發展,一種基于線上網絡教學+線下面授教學的混合式教學模式應運而生。該模式可避免傳統教學模式中以教師為主導,學生學習主動性差的缺點,又可克服學生完全在線學習缺乏監管、學習效果不佳的困難。本文嘗試將混合式教學方法運用到生物統計學教學中,以期在有限的教學時間內最大限度實現教學目標,提升課程教學效果。
一、線上線下混合式教學的概念及內涵
線上線下混合式教學是一種新興的教學模式,授課教師利用網絡教學平臺向學生提供教學視頻和課件等教學資源,并設置作業、調查等互動模塊,學生利用課外時間自主完成學習任務,并通過平臺與教師交流。在線下課堂,教師根據學生在線學習的情況,對疑難問題進行有針對性的講授,幫助學生理解、掌握教學難點。
線上線下混合教學模式打破了教學的時空限制,學生可以靈活安排學習時間,通過學習在線資料提出問題,并帶著問題進行課堂學習,有效提升學習效率。線上線下混合教學還可幫助教師動態掌握學生學習情況,生成客觀的過程性評價材料,并豐富課程的教學形式,拓寬教學路徑,因此正逐漸成為高等教育領域的一大趨勢。
二、生物統計學課程教學面臨的困境
1.教學時長受限。目前,本校生物統計學面向生物醫學工程和醫學信息工程專業開設,每學期共32個課時。由于教學內容抽象,而且學生要通過大量實踐才能掌握統計學原理在生物研究中的應用,因此,教學難度高,課堂教學時間很難滿足教學需求。
2.教與學不同步。傳統教學模式下,教師與學生之間的溝通以課堂為主,教師按照教學安排按部就班地進行教學,對學生需求重視不足;學生缺乏主動反饋的意識,教師很難掌握學生的真實學習狀況,教與學處于不同步狀態。
上述困境對如何拓展教學時間,完成課程教學并指導學生學以致用提出了新的挑戰。
三、線上線下混合式教學在生物統計學教學中的實踐探究
1.構建線上教學平臺,實現課前線上自主學習。授課教師首先以超星泛雅平臺和學習通APP為依托構建線上教學平臺。教師在平臺上將課程每章的重難點列示出來,搭建課程框架體系,并上傳包括課件和教師根據課程知識體系錄制的教學視頻等資料。教學視頻時長控制在15分鐘以內,并保證精煉、易懂,讓學生不會因視頻過長而放棄觀看,提高學習時效。同時,在教學平臺提供視頻配套的課件資料,方便學生下載并配套觀看。教師還在平臺設置了視頻彈幕問答和闖關式章節測試,學生通過答題和測試后才能進入后續章節的學習。
在教學實踐中發現,線上教學平臺還可以為理論教學提供良好的拓展實踐平臺。教師可以在線上平臺提供實驗設計及實驗數據分析的實例供學生練習,實現對課時壓縮的有效彌補。學生普遍反映網絡教學平臺十分有利于自主學習,尤其是遇到知識難點時,學生可以通過反復線上觀看教學視頻來幫助理解,能達到較好的學習效果。
此外,線上教學平臺可以通過視頻回放次數、測試完成程度等數據統計幫助教師了解學生之間的差異性,既方便教師掌握學生學習狀態,分析存在的問題,也為線下課堂教學提供依據,在后續教學中因材施教,滿足不同層次學生的個性化學習需求提供依據。
2.線下檢測自主學習效果,實施針對性教學。采用線上線下混合模式教學,課堂教學的任務發生轉移。教師要集中精力對知識點進行梳理和歸納,并針對重難點以及學生在線上學習過程中的困難進行答疑解惑和查漏補缺。在教學實踐中,為完成上述任務,在每個章節的線上學習完成后均安排答疑和小組討論,讓每位學生通過多種方式修正和完善遺漏或理解錯誤的知識點。全部授課結束后,授課教師向學生發放了關于教學效果的調查問卷,結果顯示,78.2%(18/23)的學生認為采用混合式教學方法可以把重要知識點學透,在課堂上有更充裕的時間進行消化吸收,更有利于教學內容的掌握。
在線下教學中,教師還對教學場景進行了編排和優化。教師提供具體的實驗案例,并以某一具體實驗案例(如抗癌藥物篩選)為背景貫穿整個課程教學始終,模擬真實實驗場景,讓學生從實驗參與者的角度設計實驗流程、整理實驗數據、統計分析和解讀呈現的全部流程。幫助學生實踐生物學研究提出假說—實驗驗證—得出結論的基本流程,理解生物統計學對生物學研究的重要指導作用,培養學生知識遷移、應用和分析并解決科學問題的能力。
3.課后回顧學習并提升。在課堂教學完成后,師生的教學活動都還沒有結束。教師要對線上線下教學過程中容易出現的問題進行整理總結,并將解決方案到網絡平臺,供學生回顧性學習。學生要對課堂上遇到的問題,搜集學習資料進一步思考和鞏固。教師還要對學生課后學習情況進行挖掘,并根據學生的不同情況進行個性化的學習支持。對于有困難的學生,教師要單獨輔導和監管,幫助學生完成課程學習;對于學有余力的學生,可以鼓勵學生走進實驗室,跟隨教師的科研工作,完成真正的動手實踐,實現素質提升。最終通過師生配合,完成對課程教學效果的提升。
4.教學考核。由于教學形式發生變化,課程的教學考核模式也要隨之做出調整和改變。在實踐中,教師改變傳統的期末考核模式,充分利用線上線下教學記錄,實現全過程考核。考試成績包含網絡平臺學習考核(25%)、線下課堂表現(25%)和期末閉卷考試(50%)三部分。其中網絡平臺學習考核由系統根據學習時間、頻率以及測試情況生成;課堂表現根據學生聽課及參與討論情況,綜合學生互評和教師考核給分。上述考核方式,降低了期末考試在總成績中的比重,更加側重于學生的平時學習積累和實踐能力的培養。因此,可避免學生“突擊考試”的僥幸心理,促進學生向平時主動學習轉變,更符合現代教學模式和人才培養的需求。
大數據時代 學術期刊 功能
柴英,中國人民大學書報資料中心編輯;馬婧,中國人民大學書報資料中心編輯。
20世紀90年代以來,伴隨著計算機技術的飛速發展,文字、方位等各種信息正在被全面數據化,這昭示一個大規模生產、分享和應用數據的時代――大數據時代的到來。大數據時代對于數據處理在理念上發生了三大轉變,那就是要全部數據而不是抽樣數據,要及時有效而不是絕對精準,要揭示相關關系而不是探究因果關系。[1]這些轉變正在快速影響和改變著世界經濟發展、商業模式乃至于生活方式。作為以信息為基礎的人文社會科學研究領域,大數據勢必引發知識體系、研究方法等的根本性變革。而為學術研究服務而生的學術期刊也將會在運行模式、銷售方略、功能作用等方面,發生巨大甚至是本質性的變化和發展。這些問題已引起相關學者的關注和熱議,然而在大數據時代,學術期刊的傳統功能會被全盤廢棄,還是承繼中有所創新,尚未有學者進行深入細致的探討。本文擬以正在興起的大數據研究為視角,探討學術期刊各項功能實現手段、效能發揮的新變化。
一、大數據與學術期刊的引領功能
學術期刊是學術成果交流、和傳播的平臺。它的誕生,是學術研究和技術發展雙重推動的結果。如啟蒙運動掀起的學術思潮,在古登堡的鉛字印刷技術支持下,在17世紀下半葉催生出西方國家最早的學術期刊。而中國現代學術期刊,也是在中國現代學術研究和大機器印刷技術引進的背景下產生的。誕生伊始,學術期刊就肩負著引領學術發展的神圣歷史使命。學術期刊通過征集、整理、篩選、加工、編輯、學術成果,洞察學術發展前沿,呈現學術界優秀研究成果,成為學術研究的領航標。同時,編輯也承擔著學術研究的旁觀者、參與者和引領者三重角色。學術期刊提供的學術信息反映并決定著學者的學術研究走向。學術期刊之所以擁有引領學術發展的權威地位,是因其掌握學術發展的數據。然而紙媒時代的學術期刊對于學術信息的篩選加工處理,主要依賴抽樣、局部、片面數據,甚至純粹依賴編輯的經驗、推斷和價值觀去完成。至于編輯要經過很長時間的工作歷練才能準確、客觀、真實地反映學術研究狀況,積極有效地推動學術研究、高屋建瓴地引領學術研究,是由學術期刊社的運行體制、聲望影響以及編輯個人學養等多種因素決定的,因此傳統紙媒時代的學術期刊引領功能的發揮和傳承,具有長期性和不確定性。
大數據時代的到來,徹底改變了這一狀況。“云計算”技術的發明和廣泛運用,使得存儲和保留學術數據變得既簡單又方便。2000年,數字存儲信息仍只占全球數據量的1/4,另外3/4的信息則存儲在報紙、膠片、黑膠唱片和盒式磁帶媒介中。2007年,所有數據中只有7%是存儲在報紙、書籍、圖片等媒介上的模擬數據,其余均為數字數據。到2013年,世界上存儲的數據預計能達到約1.2澤字節,其中非數字數據只占不到2%。[2]大數據時代的來臨,使學術界第一次有機會和條件,把囊括所有學科的學術期刊歷史出版物進行數據化,從而全社會可獲得和使用學術研究所有領域和各層次的全面、完整和系統的數據。大數據的核心是預測,即根據全面的數據預測未來事情的發展趨勢。學術期刊通過對這些學術數據進行整合、分析,展示學術前沿、熱點等基本學術動態,繼而深入探索學術研究的狀況和發展規律,最終既可為學術研究提供真實、客觀、準確、全面的學術信息,也可為編輯提供篩選、評判稿件學術依據,還可通過重組、擴展、再利用數據,開發學術研究的衍生產品。
傳統紙媒時代的學術期刊只能實現宏觀領域的學術引領功能。對于讀者個體的學術需求認知是模糊的、不確定的。然而在大數據時代,在技術的支持下,學術期刊可對每個學者或讀者的個體需求了如指掌。如電子書閱讀器可記錄大量關于讀者閱讀期刊的相關數據,如讀者群的構成,讀者選擇閱讀論文的好惡,閱讀一頁或全文需花費的時間,哪些內容做了筆記或畫線強調……這些數據聚合起來將會向期刊展示一些重要信息,如讀者的瀏覽論文時間、研究旨趣等,而這些信息是在傳統紙媒時代因過于分散根本無法獲取的。根據這些信息,學術期刊可為讀者提供個性化的服務,如學者個人專業研究領域的相關動態、研究狀況。真正實現學術期刊宏觀引領和微觀服務的有機結合。
二、大數據與學術期刊的交流功能
近現代以來,學術研究不再是個人興趣,而是逐漸走向專業化和職業化。個人孤軍奮戰的學術模式也逐漸被學術團體取代。學術團體或機構中的學者們通過相互通信、定期集會、交換材料及出版期刊共同激發創造性研究的出現。學術期刊的先天使命就是要為學術研究搭建一個權威、公平、公正的學術成果交流平臺。傳統紙媒時代的學術期刊往往以著名學者為核心,匯聚某一學科領域從事相關研究的同道中人共同推動學術研究發展。學術期刊是展示該學派學術觀點洞見的窗口,是學派與學派之間、學派成員之間溝通的橋梁。如法國的年鑒學派,依托《年鑒》,歷經三代學術掌門人的共同磨礪,其社會文化史研究的理論和方法最終得到了歷史學界的肯定。又如中國近代以顧頡剛為首的禹貢學派,創辦《禹貢》,為那些專攻歷史地理的學者找到了精神家園;以傅斯年為首的史料學派憑借中央研究院歷史語言研究所的學術資源,出版歷史語言類刊物《集刊》,為所有歷史語言研究者提供了豐富的歷史資料,也催生了許多重要的學術成就。[3]
近年來,“學術研究正從過去的單一領域向全領域方向發展,各學科在研究視角和方法上相互借鑒,交叉融合,使研究內容不斷擴展,對信息的需求也呈現多角度、全方位和智能化的特點。學術創新模式、學術研究范式、知識形態、知識獲取、知識交流及處理機制的改變,都直接影響著學術期刊的生存和發展環境”。[4]20世紀90年代開始,學術期刊逐步走向數字化。國內一些技術公司搶先與各家學術期刊達成協議,把所有的期刊論文數字化、網絡化,形成了知網、萬方等多個學術期刊數據庫。很多人誤以為學術期刊數據化,就是把紙本期刊改為PDF的網絡版。大數據給學術期刊交流功能帶來的變革遠非如此,大數據促使無障礙、無延遲的跨國界、跨學科學術交流成為現實。學術期刊出版集團利用云計算技術和移動設備,以學術資源為核心,搭建吸引所有學者參與的學者在線交流平臺。這一平臺具有無地域限制、無時間限制、完全開放、資源共享、檢索便捷、無需空間、方便互動等特性。在這個平臺上,學者可按需獲取全世界范圍、全學科領域的學術資源,可隨時個人成果,建立個人學術空間,可通過學術圈社交平臺交換、學術信息、展開學術討論。這都無需考慮時間、場所、經費等這些傳統學術會議的必需因素。
此外,學者在這個平臺上獲取的資源將是跨終端的多樣化、全媒體資源。如可以縮放的圖片、可添加底色的公式、可觀看的視頻等,這些全新的資源將會給讀者帶來具有互動性的優質閱讀體驗。通過元數據標注內容的技術開發出來的著作者身份識別系統(ORCID)、基金來源識別系統(Fundref)、論文版本識別系統(Crossmark)等新增技術手段,則可幫助學者間的學術交流更加便捷。移動互聯網隨時、隨地、隨心等特性,豐富的互動及個性化門戶等功能,可滿足互聯網學者用戶學習、閱讀的需求。學術期刊的交流功能將得到最大化發揮。
三、大數據與學術期刊的傳播功能
傳統紙媒的學術期刊肩負著傳播學術成果、推動學術研究的重要功能。各家學術期刊秉承“內容為王”的理念,競相爭取知名作者資源,在選題策劃、編校質量方面精益求精,以內容贏得關注,以質量樹立品牌。紙媒學術期刊傳播的媒介和途徑比較單一,主要是通過郵局訂閱、實體書店購買等方式,因而傳播的受眾主要是相關領域的學術研究人員,范圍極為有限。受眾所獲取的信息有限,代價卻巨大。即使是學術期刊論文數據庫盛行的今日,下載大量論文所需的高昂費用也常常會令非包庫讀者望而卻步。學術期刊出版周期漫長,大多是雙月刊或者季刊,即使是月刊,從投稿到正式發表的周期少則數月、多則數年。大數據正在推動著各級政府、經濟領域、商業模式發生日新月異的變革。這對于以社會現象為研究對象的社會科學來說,很多研究成果可能未及發表,就已成為故紙堆。學術研究成為象牙塔里少數學術精英的游戲。學術期刊對于學術成果的推介傳播效果究竟如何,主要是依據主觀感覺和經驗進行模糊判斷,在此基礎上形成的傳播決策和刊物定位也往往是不斷試錯的結果。
大數據時代學術期刊傳播媒介將多樣化,整合化,傳播范圍全空間化。互聯網、物聯網、移動智能終端、各種社交軟件等技術平臺都已成為學術期刊傳播的重要媒介。學術期刊可把各自所掌握的學術數據,通過以上媒介和相關信息技術整合、融通,實現紙媒學術期刊和網絡學術數據庫資源同步、多種媒介之間互享互通、期刊傳播和讀者受眾互動共建。如此一來,傳統紙媒學術期刊和新媒體實現了內容、網絡、終端、服務等全方位的“整融合”。學術資源和期刊結構重組后的學術期刊傳播格局,將在數量和種類上呈現幾何式遞增態勢,學術研究成果的傳播路徑得以全方位拓展。大數據主張開放、共享數據。學術期刊的傳播范圍將全空間化。未來學術期刊有可能徹底改變讀者付費的傳統銷售模式,在國家財政支持下,所有學術數據將向所有讀者免費開放。這有可能改變100多年來形成的學術研究專屬于少數學術精英的學術研究專業化、職業化現狀。
大數據時代學術期刊的傳播速度將及時化、全時化,傳播效用將最大化。大數據追求時效性,“允許不精確”。全部數據而非樣本數據會提高網絡數據的容錯率,新的對的數據會很快修正乃至淹沒舊的錯的數據,講求時效遠比苛求準確來得實用。這將徹底顛覆傳統學術期刊乃至學術研究遵循的“慢工出細活”的祖訓。技術支持下的學術數據將及時、全時為受眾服務,學術期刊的整刊定期出版模式,有可能被分篇隨時出版模式取代。大數據將使學術研究成果取消門檻,無需編輯、隨時、資源共享,這將有力推動學術研究的整體進程。大數據可將整合后的全體數據提供給受眾。讀者讀取數據的過程又會產生新的數據,扮演著數據受領者和數據創造者雙重角色。學術期刊可主動挖掘、分析這些閱讀行為數據,發現并利用受眾的個性化需求,促進傳播的分眾化、個性化、精準化,從而實現傳播的效用最大化。如搜索引擎可以根據讀者的學術論文瀏覽記錄將讀者需要的數據排序置前,還可為其推薦所需的最新研究動態信息。大數據時代,基于交互性的傳播平臺,以及智能的數據庫管理,用戶的形象被勾勒得更加清晰,且根據興趣與需求被重新標簽化、歸類化,這樣就提升了品牌形象推廣的精準度。[5]
此外,大數據時代傳播理念將會轉變為“內容、服務并重”。大數據的大量全部、多樣混雜特征勢必使得人人陷入數據海洋中,如果任由其無序發展,人們獲取有效信息會如大海撈針般困難。因此,大數據時代學術期刊要想在眾說紛紜中清晰、準確地傳播自己的聲音,始終注重內容建設、不斷完善服務質量將是學術期刊奉行不悖的傳播理念。
四、大數據與學術期刊評價功能的變革
作為學術共同體交流溝通的平臺,學術期刊為引領學術研究、制定學術規范、解決學術分歧,在最初發展中就形成了同行評議的評價機制。以學術期刊為核心的專業同行學術共同體,通過對論文的學術規范、創新與否、論證完備等方面進行評鑒并針對該學術成果是否應發表給出重要參考意見。從而針對學術成果及其所有者進行價值判斷。學術期刊采用的外審匿名評議學術成果的評價方法主要是定性評價。同行評議能否公正、客觀地反映學術成果的真實價值,主要取決于學術研究風氣、學者學術水準、國家學術體制等多方面因素。鑒于同行評議學術成果具有不確定、不全面等先天缺陷,學術界逐漸采用統計論文影響因子、被引率等定量評議的方法。我國的人文社會科學界,還形成了以核心期刊為基礎的學術成果評價體系,量化評價學術成果的評價方法正在成為學術評價的主流形態,定量評價學術期刊發表的學術成果主要由專業評價機構來承擔。學術期刊評價學術成果,同時自身也將成為被評價的對象。然而,由于模擬數據時代采集的數據樣本數量小、種類少,結果導致學術期刊界關于定性或定量評價誰更客觀公正爭議不斷。[6]目前,在更科學、更完善的學術成果評價機制出臺之前,學術成果評價仍然采用同行評議為主、量化評價為輔的評價方法。
大數據時代學術期刊數據化的網絡平臺建立之后,學者期盼的“不同的學術共同體自己的表達平臺,以及對于作為共同體代表參與學術評價活動(比如評獎或評審)的佼佼者的監督平臺”也將隨之產生。[7]這個平臺不但對學術共同體的成員開放,還要對全社會成員開放。評價學術成果的主體不再僅僅是以學術期刊為核心的學術共同體、專業評價機構,而是包括全體參與評價活動的社會成員。關于學術期刊的評價主體應是專家同行還是評價機構之爭也將不證自明。
大數據使一切皆可量化,正如哈佛大學社會學教授加里?金所言:“這是一場革命,龐大的數據資源使得各個領域開始了量化進程,無論學術界、商界還是政府,所有領域都將開始這種進程。”大數據時代學術期刊評價學術成果的方法首先是“整融合”,包括學術共同體的全體參與者的評價意見、全網引用量、影響因子等各項數據,然后開發特定的工具來管理這些自有或來源于“云”的結構化或非結構化數據,最重要的是編輯人員要成為統計、分析這些數據的專業人才。由此,基于海量定性評價數據的定量化評價方法,才能真正客觀公正地對學術研究成果作出價值判斷,揭示各學科學術研究的質量,并在此基礎上對未來研究作出科學指導和預測。學術腐敗、學術不端行為也將在透明、共享的數據化空間中難以遁形。學術期刊將切實承擔起在紙媒時代無法完成的監督創建學術規范的歷史使命。學術期刊評價行為的性質也將由目前學術利益、學術資源諸因素干擾下的“權力行為”回歸其學術活動的本真狀態。
結 語
“大數據時代將要釋放出的巨大價值使得選擇大數據的理念和方法不再是一種權衡,而是通往未來的必然改變。”[8]學術期刊界應主動自覺地應對大數據帶來的學術研究、政策抉擇、經濟效益、商業模式的重大變革,積極探索大數據時代最大限度發揮自身功能的路徑。然而,大數據并不是萬能的,如何讓數據“發聲”,人類的智識和道德判斷是合理開發大數據潛力、正確發揮大數據功能的保障。大數據促使相關關系的發現和使用,創造出巨大的經濟和社會效益,但探究因果關系仍將是學術研究的終極動力。追求真理、傳播學術仍將是學術期刊秉承的核心價值,學術期刊的引領學術研究,提供交流、傳播平臺,評價學術成果,監督學術規范的傳統功能仍將繼續發揮。要實現這些功能的途徑、效用方面的重大變革。“在數據驅動的智能時代,需要一股自上而下的力量。政府、行業組織及大型出版集團需要建立數據平臺,進行數據標準化處理”。[9]唯有如此,學術期刊大數據的核聚能才能真正爆發。
參考文獻:
[1] [2] [8] [英] 維克托?邁爾―舍恩伯格,肯尼思?庫克耶. 大數據時代:生活、工作與思維的大變革[M]. 盛楊燕,周濤,譯. 杭州:浙江人民出版社,2013:17-18,94.
[3] 程文標. 近代史學期刊的分類、特點及其影響[J]. 重慶社會科學,2011(3).
[4] 周小華. 大數據時代中國學術期刊的創新發展[N]. 中國社會科學報,2013-12-18.
[5] 喻國明. 傳播學研究:大數據時代的新范式[J]. 新聞記者,2013(6).
[6] 朱劍. 量化指標: 學術期刊不能承受之輕――評《全國報紙期刊出版質量綜合評估指標體系( 試行) 》[J]. 清華大學學報,2013(1).
摘 要:為深入揭示大數據背景下我國高校圖書館研究熱點,該文以大數據、高校圖書館作為檢索詞進行可視化分析。結果發現,大數據背景下高校圖書館研究的熱點呈現逐年增長趨勢,主要包括信息服務、知識服務、學科服務等,個性化信息服務和數據分析領域成為新近發文量較多的熱點領域。總體上來講,利用大數據理念、大數據相關技術提升高校圖書館服務已經成為研究熱點。
關鍵詞:高校 圖書館 大數據研究 熱點可視化
中圖分類號:G250 文獻標識碼:A 文章編號:1672-3791(2016)07(a)-0019-02
大數據是繼Web2.0和云計算之后的又一個熱門詞匯,作為高校的文獻信息資源服務機構,高校圖書館擁有大量數據,而大數據在高校圖書館服務的各個方面都有廣泛應用[1]。維克托?邁爾?舍恩伯格和肯尼斯?克耶在其編寫的《大數據時代》中提出:“大數據”具有4V特點:Volume(數據量大)、Velocity(輸入和處理速度快)、Variety(數據多樣性)、Value(價值密度低),大數據的這4個特點得到了學者們的普遍認可。大數據背景下,數據量的急劇增長、信息技術的飛速變革都為高校圖書館的發展帶來了新的契機,推動了信息服務的升級,也為高校圖書館的研究帶來新的視角。數字時代,高校圖書館對數據的處理主要是將紙質文獻資料數字化、網絡化,信息服務的目的是實現師生對學術數據的充分利用,進入大數據時代,對海量文獻數據的分析、處理將成為高校圖書館發展的新趨勢,高校圖書館的信息服務重心也會逐步由傳統的業務向深層次的數據挖掘服務轉移[2]。在這一大趨勢下,對大數據背景下高校圖書館研究熱點的可視化分析,有助于學者們把握高校圖書館當前的研究熱點和發展趨勢。
1 數據來源
以中知網及萬方數據平臺為主要數據庫檢索對象,檢索時間截至2016年7月15日。檢索方法一:以“高校圖書館”和“大數據”作為并列主題檢索詞進行精確檢索,不限發表時間及文獻類型,共得到488篇相關文獻。其中,期刊402篇、會議論文17篇、學位論文9篇,以“高校圖書館”作為檢索關鍵詞的文獻有303篇。檢索方法二:以“高校圖書館”和“大數據”作為并列題名檢索詞進行精確檢索,不限發表時間及文獻類型,共得到263篇相關文獻,其中,期刊224篇,以“高校圖書館”作為檢索關鍵詞的文獻189篇。綜合以上兩種方法對檢索結果進行可視化分析,提高查全率和查準率。
2 研究熱點及趨勢分析
大數據時代,數據將成為圖書館最重要的資產之一[3],高校圖書館的服務不再局限于提供簡單的文獻和信息服務,而是更加注重運用大數據技術挖掘文獻和信息中所包含的數據和知識內容,挖掘隱形知識,為教學和科學研究創新服務。對于大數據背景下高校圖書館研究熱點的分析,可以從研究熱點領域、研究熱點期刊分布和研究基金分布三大方面進行。
2.1 研究熱點領域分析
統計結果表明:學者們對于大數據背景下高校圖書館的相關研究在2013年開始呈現逐年增長的趨勢,相關知識點如圖1所示,圓形大小表示相關研究領域的研究熱度高低。
自2013年至今,學者們對于大數據背景下高校圖書館的研究熱點領域主要集中在信息服務、知識服務、服務創新、學科服務、數據挖掘方面,對于云計算、信息資源、數字圖書館、數據分析等方面也有涉及。在近兩年的研究中,除了一直熱度不減的信息服務、知識服務、學科服務問題之外,更加側重對個性化服務、數據分析的研究。在系統構建方面的研究在近兩年興起,高校圖書館更加關注其自身生態系統的運行問題,學者們也在嘗試運用生態學、系統學等多學科方法來進行大數據背景下的高校圖書館研究。研究領域的變化說明了學者們對這一研究主題從理論研究向更加深入的技術性研究靠近。
2.2 研究熱點期刊分布
2.2.1 刊種統計
對于大數據背景下高校圖書館的研究,發文最多的期刊前六名依次是農業圖書情報學刊、圖書館學刊、科技情報開發與經濟、河南圖書館學刊、內蒙古科技與經濟、現代情報,其總計刊文量占全部刊種的53.52%。各個期刊對此主題的刊文,反應出大數據背景下高校圖書館問題研究受到學者們的普遍重視。
2.2.2 核心期刊統計
刊文在核心期刊的數量統計分別為:(1)中文核心期刊55篇(59.1%)。(2)CSSCI中文社科引文索引(南大)32篇(34.41%)。(3)統計源期刊(中信所)4篇(4.3%)。(4)CSCD中國科學引文庫(中科院)2篇(2.15%)。核心期刊的刊文反應出該主題成為學者們的重點關注領域,在大數據背景下高校圖書館方面的研究成果較深入。
2.3 研究基金統計
近年來大數據背景下的高校圖書館的相關研究基金項目共計38項,其中32項是2015年至今的基金項目。包含省市基金項目21項,占總基金項目的55.2%,國家社科基金項目8項,國家教育基金項目5項,國家自然科學基金項目1項,其他基金項目3項。基金項目立項的數量反映了該主題的研究熱度和深度都在不斷增加。
3 結語
目前,學者們對于大數據背景下高校圖書館的相關研究正處于高速發展的探索階段,對于如何利用大數據技術來提升高校圖書館信息服務的研究越來越深入。研究熱點不僅局限于信息服務、知識服務和學科服務方面,還涉及數字圖書館、學科館員、系統構建等多領域,研究更加側重對個性化服務、數據分析的研究,高校圖書館作為服務教學、服務科研的文獻信息資源服務機構,深化基于大數據的相關服務是其未來發展的方向。
由于該文對大數據背景下高校圖書館的熱點分析主要是基于“大數據”和“高校圖書館”兩個關鍵詞構成的檢索式,在文獻的查全率方面,漏查了只是應用具體的方法進行高校圖書館數據分析的個別文獻,在相關文獻檢索中,有個別文獻是應用具體的數據分析工具進行高校圖書館數據分析挖掘。這類數據分析工具的應用,更加印證了數據分析方面的研究呈現增長的趨勢。
參考文獻
[1] 康春鵬,杜蕊.大數據給圖書館帶來的機遇與挑戰[J].現代情報,2014(5):47-55.
一、大數據時代對會計學專業的影響
(一)改變會計學專業培養模式
會計學專業一直是廣大學子追求的熱門專業,傳統的會計學專業人才培養模式是理論教學和科研相結合的方式,在教育教學過程中,會計學專業本科生培養側重于理論知識的掌握,對實踐和應用能力比較欠缺。近些年會計學專業畢業生人數增長迅速,社會企業往往更傾向錄用有工作經驗的畢業生,在當前就業壓力比較大的情況下,人力資源市場對會計學專業人才的需求不對接,與社會對會計學專業人才的要求相差較遠。大數據時代的到來,給高校會計類專業人才的培養模式指明了發展方向。
(二)改變了教師的傳統職能
大數據時代高校教師的傳統功能發生了改變,會計學專業教師不僅是為會計學專業學生講解如何制作會計分錄,如何編制會計報表等,而是需要把大學生作為教育教學活動的中心,引導大學生如何使用海量、有價值的數據,更注重培養大學生的實踐能力,因此,在大數據時代背景下,會計學專業教師是大學生學習的組織者,引導者,學習行為的分析者,學習效果的評價者。
二、會計類大學生創新創業的價值
(一)緩解就業壓力
近年來,全國高校不斷擴招,會計類大學生數量大量增加,我國經濟結構處在不斷發展完善的過程中,會計人才勞動力供大于求,會計學專業大學生競爭壓力尤為突出。因此,通過培養會計類大學生的創新創業意識、提高其創新創業能力,對于緩解會計學專業學生就業難問題尤為重要。
(二)培養高素質人才
大數據時代,我國經濟活動空間不斷拓展,經濟主體多元化和復雜化,促使會計行業處在理論、觀念、方法等巨大變革的關鍵時期,進而對會計從業人員提出更高的要求。我國每年都有很多創業者,但很少有接受過系統的創新創業教育,在創業知識和技能上有所缺乏。另外,會計崗位在不斷轉型,傳統的會計已經跟不上社會發展步伐,會計知識的不斷更新以及對會計人員素養要求的不斷提高,對會計學專業學生來說既是機遇也是挑戰,所以我們需要培養會計學專業學生的創新創業意識,提高會計學專業創業者的競爭力和專業素養,提高創新創業的激情和勇氣,激發創新創業潛力,從而為會計崗位輸送更多高素質、高水平的創業人才。
(三)推動學科建設
大數據時代,會計行業已經由會計電算化時代進入到了會計信息化時代,對現如今會計行業的現行規則,會計理論和會計方法是一種挑戰與創新。所以會計學科也要與時俱進有所改變,應該讓大學生在學習過程中形成新的、合理的知識結構,涉獵較為廣泛的知識領域,包括經濟學、管理學、法學等多領域學科知識,以及電子商務,計算機等互聯網經濟領域的知識。因此,要在傳統會計學教育中滲透融合其他領域知識,并且隨社會發展不斷更新教學模式,完善教學結構,打破以往單一的知識壁壘,推動會計學科的不斷發展和完善。
三、大數據時代對會計學專業大學生創新創業教育的促進作用
(一)推動教育科學決策
大數據與傳統數據最大的區別在于采集來源和應用方向。傳統數據信息采集是在大學生知曉的情況下,對大學生整體的學業情況和對學校以及教學滿意度的周期性和階段性的采集并進行分析;而大數據技術可以在大學生不知情的情況下,關注每一個大學生的細微表現,然后將每個大學生的實時數據進行整合分析,便能解決教育過程中的很多疑問。大數據技術能夠采集龐大的數據信息,然后將數據進行動態實時監測和評價分析,使用者將具有更強的決策力、洞察力和優化力,最終實現精準決策。
(二)提高教學管理效率
與傳統教學管理最大的不同之處在于,大數據時代的教學管理能夠將教學、課后輔導和一些行為學習進行反饋。會計類大學生借助大數據技術,可以更好地了解自己的學習狀況,隨時隨地收集學習中的雙向反饋數據,有針對性的開展自主學習,提高學習效率。高校教師利用大數據統計分析功能,用“經驗值”來準確衡量大學生在課堂上的表現,表現的越好、越積極的大學生,經驗值越高,教師可以準確的掌握課堂每個大學生的學習狀況,提高了教學效率。大數據技術也將教學管理與業務流程完美的結合,讓教學管理更加靈活智能。例如考勤簽到流程,傳統的方式是教師根據點名冊逐個進行點名,占用了一部分課堂教學時間;大數據技術可以進行線上線下相結合的網絡教學管理模式,教師畫個圖然后點一個按鈕就可以完成點名,缺課情況都一目了然,大大的提高了教學管理效率。
(三)整合創新教育模式
大數據時代,開展了很多線上教育平臺,如慕課、藍墨云、易班等,這些教育平臺,能夠記錄大學生每次瀏覽頻率,學習的時間,然后通過大數據分析,從而對每位大學生學習進度進行跟蹤,揭示大學生學習效果和學習行為之間的關系,以及進行學習成效評價。運用大數據技術開展線上和線下混合學習模式,將會創新目前的教育模式。傳統的教育模式是以教師為中心,教師將知識單向性教授給大學生。大數據時代改變了傳統的教學模式和方法,高校教師轉變成課堂上的組織者,引導大學生的自主學習,教授大學生學習方法,而不是只是傳授給大學生多少知識量。大數據時代的教學模式可以利用移動互聯網和智能手機,使教師與學生溝通更順暢,使教學變得輕松、有趣、簡單和高效。大數據時代,能夠讓高校教師方便真實的獲得每位大學生的學習信息,有利于對大學生開展個性化教育。
(四)助力創新教育轉型
大數據技術不僅僅是教師教授和大學生聽講的方式,這種方式有效地激活了會計類大學生的本科教學研究,營造了師生互動的對話氛圍;這種新穎的授課方式與教師授課相結合,豐富了教師的授課手段,也增加了會計學專業課堂教學的趣味性。在課堂上,高校教師可以隨時開展投票、問卷、頭腦風暴、答疑、討論等教學活動;大學生們要借助于手機,可以認真搶答,或者分組討論形成將結論上傳,或者開展互相評價;整堂課下來,師生都有意猶未盡的感覺,雖然大學生們都拿著手機,但是沒有走神的機會,因為借助于大數據技術,大學生們要不停地跟上教師的節奏,才能完成課堂要求。教師還可以利用網頁投屏及時將課堂上同學們的表現反饋出來,當然也沒有哪個學生愿意把自己課上開小差的情景被曝光,因此,課上都會認真聽講,跟著教師的節奏,完成教學任務。大數據技術有助于推動教育轉型。
四、大數據時代會計學專業大學生創新創業教育改革探索
(一)構建完整的教育體系
大數據時代,誰善于駕馭,誰便智珠在握。隨著大數據技術在教育領域的應用日益深入,高等學校要及時調整思路,提出以高等教育與大數據教育融合為方向,以現代信息技術與教育教學過程相融合,創新構建大數據時代高校教育體系。利用大數據信息深入調研分析用人單位需求,分析同類專業人才培養目標,來不斷優化人才培養目標,建立復合創新應用型會計人才培養目標。調整會計人才培養方案,將基礎理論、專業實訓、創新創業課程相結合,來提升會計學專業大學生綜合素質。根據社會企業對會計人才的需求,不斷優化人才培養方式,通過校企協同和訂單培養的方式,將理論知識與實踐需求相結合,大大提高會計學專業大學生的綜合素質。
(二)培養創新創業型教師
作為新時代的高校教師,創新是教師的生命與靈魂,但大學教師還要有責任加強大學生的創新意識,激發大學生的創新熱情,以培養和提高大學生的創新創造能力為己任。新時代的高校教師只有把創新創業精神同教學創新實踐以及大學生的創新創業有機地結合起來,并相互促進和推動,創新創業意識才會不斷增強,創新創業的熱情才會不斷地迸發出來。只有重視創新創業型教師培養,才會為創新創業教育提供人才支撐。高校可以鼓勵教師到企業鍛煉,參與企業管理,汲取實戰經驗;建立高素質創新創業教師人才庫,由創新創業教師定期指導大學生進行學術科技競賽,并結合創業大學生職業目標設計開展創業教育。
(三)搭建創新創業教育平臺
高校要加強教學管理信息化建設,搭建創新創業教育平臺,積極適應大數據時展現狀,利用信息技術支持創新創業教育。建立創新創業教學平臺,向更多的創新創業大學生提供創新創業的理論和實戰知識;創新創業教育平臺能夠整合多種形式的教學資源,例如創新創業教師精心錄制與制作的教學視頻和教學PPT等,以及從網絡上整合的各類創新創業資源,供創新創業大學生下載學習,將有助于創新創業的大學生相互學習和經驗交流。
【會計學碩士論文參考文獻】
[1]張蕾.基于云計算和大數據的智慧校園方案設計的應用[J].電子技術與軟件工程,2019(5):181.
關鍵詞: 大數據城鄉規劃管理
中圖分類號:TU984文獻標識碼: A
1引言
隨著云計算、物聯網等的發展,新興信息技術與應用模式的涌現,使得全球數據量呈現出爆發式增長態勢,市場調研機構IDC的研究顯示,到2020年,全球以電子形式存儲的數據量將達到35ZB,大數據的時代已經到來[1]。最早提出“大數據時代已經到來”的機構是全球知名咨詢公司麥肯錫,其在報告中指出,“數據已經滲透到每一個行業和業務職能領域,逐漸成為重要的生產因素;而人們對于海量數據的運用將預示著新一波生產率增長和消費者盈余浪潮的到來。”
1.1大數據概念
大數據的概念,尚未形成公認的準確定義。根據維基百科的定義,它是指無法在可承受的時間范圍內用常規軟件工具進行捕捉、管理、處理的數據集合。從產業角度,常常把這些數據與采集它們的工具、平臺、分析系統一起被稱為“大數據”。在數據特性方面,大數據主要為非結構化信息,如文本、圖形、遙感遙測信息,大多是實時信息;在信息來源上,大數據主要是互聯網、醫療設備、視頻監控、非傳統IT 設備等社會日常運作和各種服務中實時產生的數字數據,數據容量巨大,從 TB 級別躍升到 PB 乃至 EB 級別,大數據具有4V特征Volume(數據體量大)、Variety(類型多)、Value(價值稀疏)以及Velocity(速度快)的特征[2]。大數據時代帶來思維變革:更多不是隨機樣本而是全體數據,更雜不是精確性而是混雜性,更好不是因果關系,而是相關關系[3]。
1.2大數據發展歷程
大數據并非新近出現,早在1980年,著名未來學家阿爾文•托夫勒便在《第三次浪潮》一書中,將大數據熱情地贊頌為“第三次浪潮的華彩樂章”。2009年開始,“大數據”成為互聯網信息技術行業的流行詞匯,2011年持續熱門,在2012 年更達到一個高峰,2013年大數據概念逐為大眾熟知。
2 大數據研究應用評述
2.1國外大數據研究應用
大數據的開發與利用已經在IT,媒體、醫療服務、金融業、零售業、制造業、物流、電信等行業廣泛展開,并產生了巨大的社會價值和產業空間,但仍處于初級階段[3]。2012年4月,美國政府啟動“大數據研究和發展計劃”,致力于提高從大數據中提取知識和觀點的能力,并服務能源、健康、金融和信息技術等領域。在數據共享、突發事件處理、疫情觀察方面已有較成功應用。2012年4月,英國、美國、德國、芬蘭和澳大利亞等國家聯合推出“世界大數據周”活動,旨在制定戰略性的大數據措施;2012年5月,聯合國發表了大數據發展白皮書;2012年7月,日本推出“ICT”戰略研究計劃,重點關注“大數據應用”。全球性IT巨頭都開始關注大數據的機遇,微軟、英特爾、甲骨文(微博)等都在開發基于大數據的IT架構。
2.2國內大數據研究應用
中國大數據的應用處于起步階段,淘寶、騰訊、百度等互聯網巨頭是率先使用大數據技術的用戶,主要是基于開源軟件自主開發大數據應用,推出相應的大數據產品和平臺,開展了多種深度商務分析,電信和銀行領域也開始對大數據技術和服務產生濃厚的興趣。此外,IT業、傳媒界和學界舉行了多次以大數據為核心的主題討論會,共同探索大數據的發展與創新。
綜觀國內外大數據研究和應用現狀可見:(1) 大數據相關的研究與應用目前仍然處于起步階段,學術研究大多局限于概念、技術、發展預測等宏觀探討層面;(2) 基于大數據應用所需要的軟件、硬件等技術支撐亟需進一步的深入開展;(3)現有的大數據研究大多立足于信息科學,側重于大數據的獲取、存儲、處理、挖掘和信息安全等方面,鮮有從城市規劃學科發展的角度探討大數據對于城鄉規劃管理技術的變革與沖擊的研究。
3 大數據時代城鄉規劃管理技術創新探討
3.1現有城鄉規劃管理技術局限性
80年代末開始,我國城市規劃管理領域開始引進新技術,網絡技術、虛擬現實技術、數據庫技術、地理信息系統、日照分析技術、電子報批審查技術等已初步得到運用,建立了基于GIS的城市規劃管理系統,但仍存在一定局限性:(1)現有管理信息系統存儲能力有限,仍無法建立實時、全面的資料檔案庫,同時也是內部條塊分割,查詢、檢索困難,給城市規劃管理工作帶來了一定的障礙。(2)由于規劃管理工作量大,規劃管理人員雖然借助規劃管理信息系統,提升了處理速度,但是仍不能滿足快速城市化背景下快速準確地處理各類城市規劃案件,對規劃管理實施效果進行快速反饋。(3)公眾參與與市民監督平臺建設不足,城鄉規劃管理透明度有待進一步提高。
3.2大數據時代城鄉規劃管理技術變革方向探討
3.2.1建立城鄉規劃管理大數據集系統,提高城鄉規劃管理效率
在大數據時代數據來源更廣泛且分布更集中,以前散落各處的數據越來越集中,以前不可獲取的信息現在可獲取。通過互聯網、醫療設備、視頻監控、移動設備、智能設備、非傳統IT 設備獲得的文本、圖形、音頻、視頻、遙感遙測等建立與城鄉規劃管理直接相關或者關聯的實時數據集,處理空間信息與與之相關的屬性信息,迅速及時地更新數據集,大規模綜合性地管理城市空間分布信息。在城鄉規劃管理編制階段,可以提高現狀調研的效率和規劃編制基礎數據的準確全面,建立相應問題表象對于城市規劃的決策系統、執行系統和反饋系統,改變規劃的滯后性和低效率,提高規劃的時效性。
3.2.2 建立城鄉規劃管理大數據分析系統,提高城鄉規劃管理科學性
基于城鄉規劃管理大數據,可將分散收集到的各種空間、屬性信息實時更新,利用大數據技術中相關分析技術,同時結合GIS的空間分析技術,運用到規劃管理的各個流程中,可進行人口、經濟、交通流等與用地功能、空間等進行相關分析,對于城鄉空間利用進行深入全面的解析,進一步提高城鄉規劃管理的科學性。
3.3城鄉規劃管理技術創新挑戰
目前城鄉規劃管理技術創新所面臨的挑戰也是大數據發展應用中需要解決的問題:(1)從城鄉規劃管理大數據中精準定位并采集所需信息、管理海量復雜結構、實時增長的數據、保護和控制數據,數據管理挑戰。(2)基于城鄉規劃大數據的實體識別與行為建模,挖掘大數據中蘊含的群體及其網絡結構,分析社會群體的行為演化規律,數據分析挑戰。(3)數據隱私性問題。
3.4城鄉規劃管理技術創新對策
大數據技術市場將會是一個混合多種技術的世界,應關注大數據技術的發展和應用,開發適合城鄉規劃管理不同層次的產品組合,包括服務器、存儲、網絡、軟件和服務等,以獲得更好的應用效果;加強城鄉規劃管理基礎大數據集建設;提高城鄉規劃管理角度數據分析和提取技術能力;加快大數據處理相關技術人員培養;同時通過技術截堵,應用立法保護城鄉規劃管理大數據應用中個人隱私。
4 結論
大數據時代已經到來,大數據的應用仍處于一個快速發展的起步階段,基于大數據和復雜系統管理理念的分析與決策是新形勢下城鄉規劃管理發展的必由之路,大數據是城鄉規劃管理信息化建設的戰略性資源和非物質性財富,是不可或缺的城鄉規劃管理和決策依據。將改變基于簡單數據統計、經驗分析甚至直覺判斷的城鄉規劃管理模式,提高城鄉規劃管理的有效性,加快城鄉規劃管理大數據庫建設和空間分析、相關分析能力,建立更加開放透明的公共參與平臺和市民監督系統,隨著大數據技術的發展改變大數據管理、分析、共享、決策、人才培養、隱私保護等問題,將會進一步提高城鄉規劃管理方面的信息化、智能化技術支撐能力,推動城鄉規劃管理由信息化向智能化發展。
參考文獻
[1] Big data in 2020[EB/OL].[2012-12-24]/leadership/digital-universe/iview/big-data-2020.htm
[2] IDC,中國大數據技術與服務市場 2012-2016 年預測與分析
[3]維克托•邁爾-舍恩伯格,肯尼思-庫克耶著,盛楊燕,周濤譯.杭州:浙江人民出版社,2013
作者簡介:黃 贊,男,國家注冊城市規劃師,現就職于中社科城市與環境規劃設計研究院,城鄉規劃所所長
原創性聲明
關鍵詞:大數據;信令;區域監控
中圖分類號:TP311
文獻標識碼:A
DOI:10.3969/j.issn.1003-6970.2015.09.020
0 引言
近年來,反恐維穩的形勢日益嚴峻,對敏感區域的監控和分析隨之變得越發重要。對于區域監控,國內應用比較廣泛的是視頻監控系統,即硬件視頻設備和軟件平臺相結合。但監控區域受視頻監控硬件設備限制,成本高,靈活度不高。
隨著智能手機的普遍應用,“人手一機”已成為現實,隨著技術的進步,如今電信運營商通過移動終端采集的位置數據實時性得到增強。信令數據具有實時性強,范圍廣,成本較低的特點,因此通過運營商基站數據來監控分析某一區域內人員情況有較高的性價比。
在通信領域,早在2008年,中國移動委托國家ITS中心組織并實施了的“基于手機位置采集實時交通信息科研項目”試驗,作為相關領域的全國首次大范圍嘗試,此試驗驗證了基于手機位置切換采集實時信息的可行性。國內也有相關研究工作,韓魯峰等。結合基站信息獲取“三角公式法”,研究并提出了一種消除位置偏移算法。任旭提出了一種使用A接口信令數據生成實時交通數據的方法。提出了一種使用現網移動網絡信令數據源,實時的對城市白定義區域實現人流量監測的方法。通過調研可知,已有文獻多偏重于理論研究,有一些基于信令分析的系統應用研究主要用于人流分析,人流管理等方向,功能局限于人數統計,消息推送等,未能將人流量與獲取區域內人員具體信息相結合,功能較單一。隨著大數據技術的發展,將大數據技術應用與這些統計方法相結合,進行移動信令的監測統計,并建立起預警系統,還有較大的發展空間。
l 建設目標
本論文旨在設計與實現一個以海量信令數據為數據源,基于大數據技術的人員信息監控分析平臺,以實現任意時間,任意區域內的人員信息的實時監控,歷史監控數據查詢等功能。
相對于已存在的區域監控類系統,本系統主要有以下優勢:
1)任意區域的監控及查詢。基于普及建設的運營商基站,可任意設定監控區域范圍,附加的成本較低。
2)數據精準詳細。本系統采用的信令數據覆蓋人員范圍大,并且利用起電信數據中的人員信息,可為刑偵等合法領域提供有效的監控信息。
2 關鍵問題
本論文的研究目標是根據移動信令數據實現對某一區域的監控分析,通過解決移動信令到位置信息的轉換、分析監控區域對應基站位置等關鍵問題,完成基于移動信令的區域監控大數據分析系統的設計與實現。
本論文所涉及的關鍵問題分析及解決方案如下:
2.1 信令數據源的獲取
本系統的數據來源是移動信令數據,從何種信令流程中獲取到系統所需的包含位置信息的信令,成為本論文研究的首要關鍵問題。
GSM核心網的基站控制器(BSC)與移動交換中心(MSC)之間的A接口主要負責傳遞呼叫處理、移動性管理、基站管理、移動臺管理等信息,并且A接口具有統一公開的標準,便于生產和組網,因此,本系統選擇獲取包含位置信息的A接口信令。
下面就GSM網和CDMA網分別描述能夠獲取到位置信息和號碼信息的信令流程
G網中A接口位置如圖1所示:
G網中位置更新流程包含了位置更新類型,IMSI,主叫CEELID,時間等消息,具體流程如圖2所示:
位置更新過程主要采集的消息如表1所示:
在A接口上加裝信息探測設備,即可獲取到包含位置信息的信令,并將數據用分隔符分割,以txt文件的形式實時傳輸到系統存儲單元。這種信息探測監聽方式,是一種被動的監聽方式,附加成本小,不影響已有移動通訊網絡的正常運行,不會增加額外的網絡負荷。
2.2 對信令數據實時收集和分發
本系統希望能夠實時的對區域內人員情況進行分析和監控,故對數據的采集要求具有實時性。而且本系統要做到對歷史記錄的查詢,又需要對實時采集的數據進行及時的存儲。如何實時的對數據源進行采集分發是本系統的實現的基礎及關鍵問題之一,通過調研使用Flume軟件來可以對數據做到實時的收集和分發。Flume是實時流處理中常用的實時獲取數據的軟件,可以做到對數據的實時獲取,實時傳輸,通過配置不同的source可以對多源頭的數據進行監測,然后通過配置不同的sink將數據輸出到不同的位置,本系統通過配置source,實時監測已配置文件夾下數據的變化,當有新采集完成的信令文件時,便將該文件內容讀出到系統的存儲系統和實時處理系統。
2.3 信令數據到區域內人員信息的轉換
本系統是基于移動信令的區域監控分析系統,將移動信令轉化為對應區域內的人員信息是至關重要的一步,移動信令里面包含和位置信息相關的數據,如何通過建模將信令數據轉換為某一區域內人員信息并進行分析,是本系統的關鍵部分。
系統采用百度地圖API進行操作,當用戶選擇區域進行實時監控或是歷史查看時,前端獲取的數據是時間范圍、中心點經緯度、區域半徑,如何將區域與滿足條件的CELLID進行對應成為系統的關鍵問題。為解決這一問題,系統采用的解決方案如下:
1、對于實時監控,篩選需監控的信令數據。根據每一條信令數據的CELLID等信息查找對應經緯度,再根據經緯度判斷是否在監控范圍內,如果在則在前端進行顯示。已知信令數據對應經緯度(al,bl),監控區域中心經緯度(a2,b2),通過地球半徑計算兩經緯度點之間的弧度,即兩點間距離,d=R*arccos[cosbl*cosb2*cos(al-a2)+sinbl*sinb2](注:R為地球半徑),并與設定監控半徑i比較返回結果
2、對于區域搜索,根據區域中心點經緯度和區域半徑搜索在區域內的CELLID,并根據CELLID獲取Hbase數據庫內的記錄的位置數據,從而在前端回顯相關信息。首先對基站信息表進行篩選,篩選方法與實時監控判斷方法相同。將滿足經緯度在監控范圍內的CELLID進行保存,通過Hbase API篩選滿足特定時間段內,滿足這些CELLID的信令數據,通過劃定區域的中心點經緯度及區域半徑,計算區域內經緯度范圍。
2.4 大數據量數據的實時處理
移動信令數據量是很龐大的,對大數據量數據的處理很難做到實時性,這就需要通過合適的大數據技術框架來解決這兩個問題,使其既能處理大數據量,又能保證實時性,經調查研究flume+kafka+storm的實時流處理框架可以很好的解決該系統中關鍵的兩個問題。
Flume是一個高可用的,高可靠的,分布式的海量日志采集、聚合和傳輸的系統,可以定制各類型的數據發送方以收集數據。同時,Flume可對數據進行簡單處理,并可將數據寫入各種數據接受方。在該系統中可以用flume監測文件夾實時的將數據發送到kafka接收端;
Kafka是一個分布式的、分區的、多復本的日志提交服務,提供了一個消息系統的功能,主要用于處理活躍的流式數據。Kafka可以從tlume端接收實時傳輸過來的數據,然后將數據緩沖后,發送到storm端,進行處理。
Storm是twitter開源的一個分布式的、容錯的實時計算系統,為分布式實時計算提供了一組通用原語,可被用于“流處理”之中,實時處理消息并更新數據庫。Storm也可被用于“連續計算”,對數據流做連續查詢,在計算時就將結果以流的形式輸出給用戶。用storm來實時對信令采集上來的數據進行分析處理,既能對大數據量進行處理,也可以保證實時性,是系統處理的核心部分。
最后,通過消息模擬器HttpServer實現消息的解析和傳遞,HttpServer保存Strom集群內部與他的連接,并且對外提供Http消息的協議,這樣就可以將web發送過來的消息實時推送給Storm的所有集群,完成命令的實時處理及推送。
2.5 大量歷史信令數據查詢效率的保證
本系統希望能夠對任意區域內進行某一時間范圍內歷史人員信息的查詢,為刑偵等領域提供有效信息,故對大量歷史數據的查詢效率有很高要求和較大挑戰。如何將實時采集處理后的數據進行存儲和查詢,是本系統的實現的基礎及關鍵問題之一,通過調研使用Hbase這一非關系型數據庫可以對大量數據做到存儲和較快查詢。HBase是一個高可靠性、高性能、面向列、可伸縮的分布式存儲系統,通過設計合理的索引結構,Hbase能夠比較輕松的解決海量數據問題。
3 系統設計與實現
3.1 系統結構與功能設計
信令分析系統目的在于分析信令相關數據,目的在于找出信令消息中人員之間的關系,可以提供給相關部門或者人員進行數據在處理和分析,可以用于刑偵等安全相關的領域。
系統的主要功能分析如圖5所示:
區域實時監控:主要是區域的監控和告警功能。設定監控的任務及任務下監控的具體區域,并且設定刷新頻率,可獲取監控任務區域內人員的具體信息和人員的匯總信息;設定監控任務區域內的人流量限制閾值,實時統計人流量匯總,并與限值進行比對,若超出設定范圍則進行人流量超限告警。
區域歷史搜索:將區域實時監控獲取到的人員信息和告警記錄進行存儲,可以獲取一定時間段范圍內,某一區域內的人員信息,以及某一時間范圍內監控任務下的告警記錄。
系統按邏輯功能劃分主要是四個部分:信令數據的獲取、數據ETL(Extract-Trans form-Load)、建模獲得區域內人員信息、數據應用,如圖6所示:
3.2 系統架構設計
實現系統的信令數據的獲取、數據ETL、建模獲得區域內人員信息、數據應用這四部分功能邏輯,進一步將系統架構設計如圖7所示:
3.3 系統實現
系統數據采用Hbase和MySQL的非關系型數據庫和關系型數據庫的組合實現,充分利用起非關系型數據庫的查詢效率高和關系型數據庫的接口封裝完善,查詢條件支持多樣的特點。整體采用JavaWeb的技術架構,后臺采用java實現具體業務邏輯,前臺采用jsp頁面展現。
3.3.1 區域實時監控的實現
實時監控模塊目前實現的功能包括設定任務及每項任務下監控的區域,設定監控半徑后,通過地圖標點來實現監控區域的設置。在后臺通過經緯度的篩選和對應,實時篩選出監控區域內人員的位置信息和號碼信息。
3.3.2 區域歷史搜索功能的實現
區域歷史搜索功能模塊目前實現的功能包括根據時間范圍,設定搜索半徑后,在地圖上標識要搜索的中心坐標點,來實現某一區域的歷史搜索區域設置。在后臺通過經緯度的篩選和對應,篩選出搜索區域內人員的位置信息和號碼信息。