第1章　金融數(shù)據(jù)庫
【學(xué)習(xí)要點(diǎn)及目標(biāo)】
* 掌握金融數(shù)據(jù)庫的概念。
* 了解金融數(shù)據(jù)庫的起源、作用及分類。
* 了解國外金融數(shù)據(jù)庫的概況和國內(nèi)金融數(shù)據(jù)庫的概況。
* 了解金融數(shù)據(jù)庫的選擇標(biāo)準(zhǔn)，會(huì)選擇合適的金融數(shù)據(jù)庫。
　　【核心概念】
　　數(shù)據(jù) 數(shù)據(jù)庫 金融數(shù)據(jù) 金融數(shù)據(jù)庫 金融數(shù)據(jù)庫應(yīng)用系統(tǒng) 金融數(shù)據(jù)服務(wù)產(chǎn)業(yè)
1.1　金融數(shù)據(jù)庫的概念
　　隨著我國金融信息化的不斷推進(jìn)和金融市場的快速發(fā)展，銀行、證券交易所、證券公司、基金公司、期貨交易所、黃金交易所、金融期貨交易所等各類金融機(jī)構(gòu)每天都產(chǎn)生大量的金融數(shù)據(jù)，最近幾年，我國互聯(lián)網(wǎng)金融蓬勃發(fā)展，第三方支付、P2P網(wǎng)貸、眾籌融資、大數(shù)據(jù)金融服務(wù)等互聯(lián)網(wǎng)金融企業(yè)每天也產(chǎn)生大量的金融數(shù)據(jù)，這些金融數(shù)據(jù)如同一座含有豐富信息和知識(shí)寶藏的礦山，等待我們?nèi)グl(fā)掘。隨著大數(shù)據(jù)、云計(jì)算、移動(dòng)支付、數(shù)據(jù)科學(xué)、智慧金融等概念和技術(shù)的普及，使得人們越來越重視金融數(shù)據(jù)及其價(jià)值。
1.1.1　金融數(shù)據(jù)庫的定義
　　金融數(shù)據(jù)庫就是運(yùn)用金融理論和計(jì)算機(jī)數(shù)據(jù)庫技術(shù)，將金融機(jī)構(gòu)運(yùn)營過程、金融市場交易過程和互聯(lián)網(wǎng)金融企業(yè)中產(chǎn)生的各種金融數(shù)據(jù)進(jìn)行采集、加工整理，并按一定格式存儲(chǔ)便于共享的金融數(shù)據(jù)集合。它常常與基于該數(shù)據(jù)庫的查詢檢索、統(tǒng)計(jì)分析、模型建立、計(jì)算處理等信息技術(shù)支持和服務(wù)一起，構(gòu)成金融數(shù)據(jù)庫應(yīng)用系統(tǒng)，形成金融數(shù)據(jù)(信息)服務(wù)平臺(tái)，為金融投資、金融研究、金融教學(xué)等提供金融數(shù)據(jù)和相關(guān)服務(wù)。
1.1.2　金融數(shù)據(jù)庫的起源
　　隨著現(xiàn)代金融學(xué)和金融市場的發(fā)展，無論是進(jìn)行金融投資，還是進(jìn)行金融學(xué)研究和教學(xué)，都離不開金融數(shù)據(jù)。對于金融機(jī)構(gòu)和互聯(lián)網(wǎng)金融企業(yè)的從業(yè)人員來說，金融數(shù)據(jù)是他們進(jìn)行金融投資活動(dòng)和開展研究的必要基礎(chǔ)。對于金融數(shù)學(xué)、金融統(tǒng)計(jì)學(xué)、金融工程學(xué)、金融信息學(xué)、計(jì)算金融學(xué)、實(shí)驗(yàn)金融學(xué)等學(xué)科領(lǐng)域，金融數(shù)據(jù)是一個(gè)重要的基礎(chǔ)，研究者只有收集到全面、準(zhǔn)確和完整的數(shù)據(jù)，才能進(jìn)行有意義的經(jīng)濟(jì)與金融研究。
　　早期的實(shí)證研究者需要花費(fèi)大量的時(shí)間自己進(jìn)行數(shù)據(jù)收集整理，不僅影響了研究進(jìn)度，而且常常因收集的數(shù)據(jù)不全面、也不一定準(zhǔn)確，還會(huì)影響研究的結(jié)果。另一種情況是，有很多金融數(shù)據(jù)，普通研究者和普通研究機(jī)構(gòu)難以搜集到，甚至根本無法搜集到，使相關(guān)研究無法進(jìn)行。由于對金融數(shù)據(jù)的需求越來越迫切，人們越來越注重對金融數(shù)據(jù)的收集、整理和共享，以便減少重復(fù)勞動(dòng)，降低金融數(shù)據(jù)收集的成本。于是，專門提供金融數(shù)據(jù)庫的公司出現(xiàn)了，這是社會(huì)分工的結(jié)果。金融數(shù)據(jù)庫和金融信息服務(wù)平臺(tái)作為一種產(chǎn)品和一種服務(wù)，逐漸被人們所接受，并且誕生了一個(gè)新興行業(yè)--金融數(shù)據(jù)服務(wù)業(yè)。
　　金融數(shù)據(jù)服務(wù)業(yè)是現(xiàn)代金融服務(wù)行業(yè)的基礎(chǔ)和金融創(chuàng)新的源泉。在金融市場比較發(fā)達(dá)的國家，金融數(shù)據(jù)服務(wù)業(yè)的從業(yè)人數(shù)和資本投入規(guī)模都占整個(gè)金融服務(wù)業(yè)很大的一部分。金融數(shù)據(jù)服務(wù)行業(yè)在經(jīng)營范圍、安全性、保密性、可靠性和其他監(jiān)管等方面都有嚴(yán)格的要求，其兼具金融和技術(shù)行業(yè)特點(diǎn)的性質(zhì)，決定了其與其他信息服務(wù)和技術(shù)服務(wù)業(yè)的區(qū)別。由于金融數(shù)據(jù)和金融技術(shù)平臺(tái)會(huì)同時(shí)用于銀行、證券、保險(xiǎn)和基金等不同的金融服務(wù)業(yè)，在中國金融行業(yè)分業(yè)經(jīng)營分業(yè)監(jiān)管的環(huán)境下，更顯示出第三方獨(dú)立的金融數(shù)據(jù)服務(wù)行業(yè)的必要性。按照目前互聯(lián)網(wǎng)金融的分類，金融信息服務(wù)屬于互聯(lián)網(wǎng)金融六大主要類型之一，金融信息服務(wù)主要包括金融數(shù)據(jù)服務(wù)、信用信息服務(wù)、金融信息門戶網(wǎng)等。我國的金融數(shù)據(jù)服務(wù)是互聯(lián)網(wǎng)金融中發(fā)展最早且最成熟的類型，已有20多年的發(fā)展歷史，不少金融數(shù)據(jù)服務(wù)企業(yè)已經(jīng)是上市公司。
　　金融數(shù)據(jù)服務(wù)行業(yè)的主要業(yè)務(wù)范圍是：對包括個(gè)人和企業(yè)數(shù)據(jù)在內(nèi)的各種金融數(shù)據(jù)(包括一些用于評估企業(yè)和個(gè)人信用的非傳統(tǒng)金融數(shù)據(jù)，如企業(yè)電子商務(wù)網(wǎng)站的瀏覽量、商品的關(guān)注時(shí)間、收藏率、交易量等數(shù)據(jù)，還有財(cái)經(jīng)論壇、博客、微博、微信等文本數(shù)據(jù))進(jìn)行收集、匯總、標(biāo)準(zhǔn)化和發(fā)布；提供各種專業(yè)的數(shù)據(jù)定制服務(wù)；在原生金融數(shù)據(jù)的基礎(chǔ)上發(fā)布相關(guān)指數(shù)和市場公共基礎(chǔ)數(shù)據(jù)；搭建適用于金融及相關(guān)行業(yè)的信息技術(shù)平臺(tái)，提供解決方案(包括金融交易系統(tǒng)、清算結(jié)算系統(tǒng)、風(fēng)險(xiǎn)控制系統(tǒng)、信息管理系統(tǒng)、數(shù)據(jù)整合/分析和報(bào)告平臺(tái)、數(shù)據(jù)挖掘/處理和分析平臺(tái)、建立和維護(hù)投資監(jiān)控平臺(tái)等)；利用金融數(shù)據(jù)開展金融分析、資產(chǎn)定價(jià)和風(fēng)險(xiǎn)評估；在金融數(shù)據(jù)基礎(chǔ)上設(shè)計(jì)金融產(chǎn)品和搭建金融模型；研究資產(chǎn)定量管理方法和金融產(chǎn)品量化交易策略；提供與金融數(shù)據(jù)相關(guān)的咨詢和外包服務(wù)等。
1.1.3　金融數(shù)據(jù)庫的作用
　　金融數(shù)據(jù)庫是為金融投資者、金融研究者提供的金融信息服務(wù)的基礎(chǔ)，在金融投資活動(dòng)和研究、金融實(shí)證研究和金融教學(xué)中都有十分重要的作用。
1．有效節(jié)約研究者搜集數(shù)據(jù)、整理數(shù)據(jù)的時(shí)間以提高研究效率
　　通過金融(研究)數(shù)據(jù)庫提取所需數(shù)據(jù)可節(jié)省金融研究者收集數(shù)據(jù)、驗(yàn)證數(shù)據(jù)與計(jì)算數(shù)據(jù)的寶貴時(shí)間，提高研究效率。據(jù)統(tǒng)計(jì)，在沒有完整、準(zhǔn)確的金融數(shù)據(jù)庫情況下，研究者一半以上的時(shí)間都花在收集、整理數(shù)據(jù)上，有時(shí)甚至?xí)�花費(fèi)80%的時(shí)間用于金融數(shù)據(jù)的收集、整理，不僅效率低且易出錯(cuò)。并且，有很多金融數(shù)據(jù)，普通研究者和普通研究機(jī)構(gòu)難以搜集到。有了金融數(shù)據(jù)庫后，研究人員可以直接得到研究所需的金融數(shù)據(jù)，無需花費(fèi)大量的時(shí)間進(jìn)行相關(guān)金融數(shù)據(jù)的搜集整理，而且專門的金融數(shù)據(jù)庫提供商，能夠提供更為全面、更為完整和更為準(zhǔn)確的高質(zhì)量的金融數(shù)據(jù)，使學(xué)術(shù)研究尤其是實(shí)證研究的效率顯著提高，成果明顯增加。
2．降低研究者和研究機(jī)構(gòu)的數(shù)據(jù)獲取成本
　　與分別從不同的金融數(shù)據(jù)源機(jī)構(gòu)購買數(shù)據(jù)比較而言，直接購買金融數(shù)據(jù)庫，可大幅節(jié)省研究者，特別是研究機(jī)構(gòu)的數(shù)據(jù)獲取的資金成本，而且并不是所有的金融數(shù)據(jù)源機(jī)構(gòu)都愿意出售零星小批量的數(shù)據(jù)。
3．可以為研究者提供各種專業(yè)的數(shù)據(jù)定制服務(wù)
　　金融研究者不僅需要原始的金融數(shù)據(jù)，有時(shí)也進(jìn)行數(shù)據(jù)合并、變換、計(jì)算衍生指標(biāo)等，甚至需要一些特別定制的金融數(shù)據(jù)，大量數(shù)據(jù)的整理計(jì)算的難度往往很大，需要一些技術(shù)含量高的信息處理技術(shù)，這些信息處理技術(shù)的學(xué)習(xí)也需要大量的時(shí)間投入，而提供金融數(shù)據(jù)庫的專業(yè)的金融信息服務(wù)企業(yè)也提供各種專業(yè)的數(shù)據(jù)定制服務(wù)，包括特殊需求的數(shù)據(jù)整理、模型建立和計(jì)算程序體設(shè)計(jì)等服務(wù)，支持研究者的研究，讓研究者可以專注于金融問題本身的研究。
4．采用同一金融數(shù)據(jù)庫有利于研究結(jié)果的比較
　　如果每個(gè)研究者都使用自己搜集的數(shù)據(jù)，相關(guān)指標(biāo)的計(jì)算處理標(biāo)準(zhǔn)不統(tǒng)一，其研究結(jié)果很難進(jìn)行比較。而采用同一金融數(shù)據(jù)庫，可使標(biāo)準(zhǔn)統(tǒng)一，有利于研究結(jié)果的比較。
5．為金融學(xué)教學(xué)提供輔助工具并幫助培養(yǎng)急需的相關(guān)人才
　　金融數(shù)據(jù)庫為金融學(xué)教學(xué)提供了很好的輔助工具，教師可運(yùn)用金融數(shù)據(jù)庫的數(shù)據(jù)對各種理論、模型進(jìn)行演示，使學(xué)生能夠比較直觀地掌握深?yuàn)W的理論知識(shí)和分析方法，從而提高教學(xué)效率與質(zhì)量。運(yùn)用金融數(shù)據(jù)庫的專業(yè)數(shù)據(jù)，還可以對經(jīng)典文獻(xiàn)、經(jīng)典模型進(jìn)行方便的檢驗(yàn)，在檢驗(yàn)的過程中發(fā)現(xiàn)"偏差"和不同市場的特色，從而構(gòu)建自己的模型，在前人研究的基礎(chǔ)上進(jìn)行新的嘗試，拓展研究思路，培養(yǎng)學(xué)生的創(chuàng)新能力。
　　最近幾年，大數(shù)據(jù)已成為大家耳熟能詳?shù)拿�詞，金融大數(shù)據(jù)如同一座含有豐富信息和知識(shí)寶藏的礦山，有待去發(fā)掘。隨著大數(shù)據(jù)、云計(jì)算、移動(dòng)支付、數(shù)據(jù)科學(xué)、智慧金融等概念和技術(shù)的普及，使得人們越來越重視金融數(shù)據(jù)及其價(jià)值。如何從海量的數(shù)據(jù)中挖掘出有價(jià)值的新信息，并發(fā)現(xiàn)幫助企業(yè)創(chuàng)造價(jià)值的新知識(shí)，是我國金融行業(yè)中信息技術(shù)與金融業(yè)務(wù)深度融合發(fā)展面臨的主要課題，也是我國金融行業(yè)提高國際競爭力的關(guān)鍵。金融數(shù)據(jù)庫有助于培養(yǎng)我國的金融企業(yè)和互聯(lián)網(wǎng)金融企業(yè)都急需的能夠綜合運(yùn)用數(shù)學(xué)理論、信息技術(shù)并精通金融業(yè)務(wù)的金融數(shù)據(jù)分析人才和金融數(shù)據(jù)挖掘人才。
　　


1.1.4　金融數(shù)據(jù)庫的分類
　　目前，金融數(shù)據(jù)庫已經(jīng)發(fā)展到比較成熟的階段，國內(nèi)外市場上已有各種金融數(shù)據(jù)庫。按照不同的標(biāo)準(zhǔn)，可將其劃分為多種類型。
　　(1) 按金融數(shù)據(jù)庫的內(nèi)容和用途的不同，分為行情咨詢數(shù)據(jù)庫和研究型數(shù)據(jù)庫。
　　行情咨詢數(shù)據(jù)庫主要提供金融市場實(shí)時(shí)交易行情等咨詢類數(shù)據(jù)，重點(diǎn)在保證金融市場數(shù)據(jù)的實(shí)時(shí)性、直接性、準(zhǔn)確性，不需要對數(shù)據(jù)進(jìn)行加工整理。數(shù)據(jù)庫主要為投資者服務(wù)，使用對象以各類投資者為主。
　　研究型數(shù)據(jù)庫是為研究人員提供服務(wù)，它不僅提供原始數(shù)據(jù)，還為研究者提供一系列對原始數(shù)據(jù)按專業(yè)標(biāo)準(zhǔn)進(jìn)行深層加工整理得到的各類常用數(shù)據(jù)指標(biāo)，包含研究人員需要的更為全面的數(shù)據(jù)，很多研究性金融數(shù)據(jù)庫提供商還同時(shí)提供宏觀經(jīng)濟(jì)數(shù)據(jù)，方便研究人員使用。
　　有的金融數(shù)據(jù)庫提供商同時(shí)提供金融市場實(shí)時(shí)交易行情(包括高頻數(shù)據(jù))等咨詢類數(shù)據(jù)和研究型數(shù)據(jù)，形成完整的數(shù)據(jù)服務(wù)平臺(tái)。
　　(2) 按金融數(shù)據(jù)的種類不同，分為單一金融數(shù)據(jù)庫和綜合金融數(shù)據(jù)庫。
　　單一金融數(shù)據(jù)庫主要提供單一種類的金融市場的相關(guān)數(shù)據(jù)，如股票數(shù)據(jù)庫、外匯數(shù)據(jù)庫、債券數(shù)據(jù)庫等，甚至還可以是專門的鋼鐵交易數(shù)據(jù)庫等。這類數(shù)據(jù)庫雖然數(shù)據(jù)范圍相對狹窄，但是通常更加專業(yè)和精細(xì)，可以提供更為多樣的衍生指標(biāo)和專題數(shù)據(jù)。
　　綜合金融數(shù)據(jù)庫通常提供多個(gè)金融市場的相關(guān)數(shù)據(jù)。很多投資者特別是機(jī)構(gòu)投資者都在多個(gè)金融市場進(jìn)行投資，研究者也要進(jìn)行跨市場研究，綜合金融數(shù)據(jù)庫正適合了他們的需求。
　　金融數(shù)據(jù)庫的綜合化已經(jīng)成為一種趨勢，越來越多的金融數(shù)據(jù)庫提供商在不斷擴(kuò)大數(shù)據(jù)范圍，同時(shí)提供利率、匯率、通貨膨脹率等宏觀數(shù)據(jù)，以及各類行業(yè)數(shù)據(jù)，甚至法律信息和與金融有關(guān)的政治、社會(huì)和科技信息。
1.1.5　金融數(shù)據(jù)庫的選擇標(biāo)準(zhǔn)
　　評價(jià)和選擇金融數(shù)據(jù)庫的標(biāo)準(zhǔn)主要有以下幾個(gè)。
　　(1) 設(shè)計(jì)體系科學(xué)、合理。
　　(2) 數(shù)據(jù)內(nèi)容完整、準(zhǔn)確。
　　(3) 相關(guān)衍生指標(biāo)計(jì)算正確。
　　(4) 使用方便，服務(wù)完善。
　　(5) 數(shù)據(jù)庫的結(jié)構(gòu)穩(wěn)定。
　　(6) 數(shù)據(jù)更新及時(shí)。
　　選擇金融數(shù)據(jù)庫時(shí)，還要考慮數(shù)據(jù)的下載方式、對二次開發(fā)的支持、與研究和教學(xué)的適合度等，選擇一個(gè)適合自己用途的金融數(shù)據(jù)庫。
1.2　國內(nèi)外常用金融數(shù)據(jù)庫簡介
1.2.1　國外金融數(shù)據(jù)庫的概況
　　國際著名的金融數(shù)據(jù)庫有美國芝加哥大學(xué)商研所金融研究中心的CRSP數(shù)據(jù)庫(The Center for Research in Security Prices)、美國著名的信用評級(jí)公司標(biāo)準(zhǔn)普爾(Standard & Poor's)的Compustat數(shù)據(jù)庫以及紐約交易所TAQ數(shù)據(jù)庫等。