【炒股必看】《股票入門課程》（全25課）股票入門基礎知識！ P16 - 18.第十六課-信息技術在投資分析中的應用 國民證券投資必修課

我是中芯劍投證券信息技術部的張克林 這節課由我來給大家分享一下 信息技術在投資分析中的應用 按照這個教案我們會從兩個方面去介紹 第一部分我們會分享一些 信息技術在投資分析中的一些案例 第二部分我們會講一些工具 一些技術是怎麼實現的 首先我們看第一部分應用案例 投資分析中的應用 信息技術中的哪些應用呢 我們來看一下 這兩張圖大家可以先看一下 這個是2016年6月23日 還有2016年的11月9號 這兩天我們A股大盤的一個走勢圖 可以看到這個樣子還是比較相似的 都是一個深違的走勢 我不知道同學們知不知道 這兩天發生了什麼事情 可以去 我知道可以說一下 這一天是2016年6月23日 是那個英國脫歐那一天 這一天是2016年的11月9號 是美國大選 正好比較巧的就是 都是在北京事件中左右 它這個結果基本上出來了 這兩個事件其實都是我們比較 標榜的一個黑天鵝事件對吧 大家都沒覺得英國可以脫歐成功 特朗普當選 其實當時也是出乎大家意料對吧 那麼當時這個走勢就很明顯 由於大家這個恐慌 導致了這個突然急速的下跌 但是很快又得到了這個修復 走了一個非常陡的一個深違的走勢 這就是一種 相當於黑天鵝事件產生的一種模式 其實我們投資分析 無非就是在我們這歷史上的事件當中 來去發掘某一種模式 直到我們後續的投資 好我們再看下一張 這個就是兩個事件的一個說明 下一頁是在A股 在暴跌次的一個航行走勢 就是如果你細心的話 你觀察一下 如果某一天大盤跌得很厲害 那麼第二天 很有可能走出這種一個 也是一個V字形走勢 你看到這基本上都是早晨起來 震盪下行 到了上午十點半之後 慢慢的達到一個低點 然後逐步的抬升 下午基本上就會修復航行的估值 那麼就是說 這個其實也是一個和之前的類似 就相當於這種恐慌的情緒 導致大家進行拋牌 但是經過一段時間的醞釀之後 情緒得到平復之後 大家就會逐漸把這個價格再抬起來 這也是一個比較典型的一個走勢 那麼統計了一下 從2017年到2020年 就這種大跌次是V字形的走勢 有一個什麼樣的概率 這大概有30次 那麼其中有70%以上都有這種走勢 這是一個統計數據 後面是做一個解釋 就是說什麼情況 其實一般來說就是發生了一個 超出了人們預期之後 那可能就引起一個恐慌的情緒 這個時候一些投資者 就可以產生一個拋售 但是當這個市場 逐漸接受了這個結果之後 另外一些投資者覺得這是個機會 會逐漸地把這個價格再抬起來 這個就是說如果以一個模式 它有近7成的成功率 那麼在投資上就是說 其實超過6成以上 就會有一個比較好的收益了 所以說在證券投資分析當中 其實就是我們去尋找這種 比較固定的模式 在以後的投資中加以利用 當然前面這兩個主要介紹的是 我們通過自己人工的思維 去總結出來的一些經驗 那麼信息技術能幫我們做哪些事情 我們再看下面這個例子 這裏舉了一個敘利亞內戰的例子 敘利亞它是在2011年的時候 爆發了內戰 那麼2015年戰爭升級 這個時候因爲敘利亞地處中東 它是對於大衆商品 它是都有一個影響的在裏面 所以說投資者會關心它的內戰升級 會對這個投資會產生哪些影響 這個首先是一般的 傳統的一些分析方法 它可能會安排兩個人 去分析事件背景 挖掘歷史的新聞 那麼通過過往的事件 去分析市場反應得出結論 這個過程大概會消化到 兩到三天的時間 但是當時美國有個公司就是說 它可以用一個人 在十幾分鍾時間內得到這個結論 它結論就是天然氣和原油的價格 在暫時擴張之後 幾周表現不如預期 但亞洲股市 以美元和加元走勢很良好 得到一個大致的判斷 它是怎麼做 它是用計算機來幫助它來完成這個工作 構建這個關鍵詞和這三類型 搜索新聞事件 自動分析研究得出結論 並且它還能夠分析 敘利亞的每一個事件 如何逐漸失去影響 還可以構建出了一套基於這些事件的 一個自由的交易組合 供投資者參考 這個就是說 它通過了信息技術 快速地做出了一個投資的分析判斷 這個公司是什麼呢 是Console 不知道大家聽說過沒有 它是一家美國的提供智能投研服務的公司 它的一個思路比較簡單 其實簡單講的就是說 用量化分析的方法 大衆化 讓人能用更低的門檻來使用這些工具 它可以提供這種高效的分析能力 直觀的用戶體驗和強大的學習能力 這裏的高效和強大的學習能力 我會在後面解釋它是怎麼實現的 首先我們就先來介紹一下這個創始人 他叫丹尼爾·內德勒 他原先是供職於美聯儲 大家知道美聯儲是一個全球最具權威的金融金管機構了 對吧 今年這個疫情以來 他的一些政策對全球的市場都是影響非常巨大的 但是丹尼爾·內德勒在裏頭髮現 這麼高大上的機構 它那個分析 經濟的分析是用什麼做的 是用Excel來做的 對吧 基本就是人工 拿Excel去做個表格去分析這些東西 他覺得很不可思議 他認爲這麼一個高大上的機構 那應該有一個實時信息的這個作戰室 就像這個指揮部一樣 對吧 實時信息都彙總過來 有一個很大的屏幕 投射出各種信息 然後這些分析人員會根據這些東西 自動化的執行一些內容 幫助他去做決策 所以說他覺得這個有點太low了 那麼他自己找手構建了一個這個平臺 好 那我們看看 他是怎麼做的 我們知道做投資分析的話 可能有以下這麼幾個步驟 對吧 首先你要有分析的數據 是不是 就是有了數據之後 你才能在其上分析出來一些模式 或者是一些新的一些投資方法 第二點 就是說我們會有一個計算的能力 就是算力的支持 對吧 第三點 你有一個東西來驅動他 這裏 他是肯色利亞公司 他構建了一個 民用領域最大的一個非結構化的 這個地緣政治和全球自然事件的數據庫 這樣 他這個軟件 就是叫Warren 他就有着這個全面廣泛的知識儲備了 對吧 在這其上 就可以實時的 及時的獲取各種信息 做出判斷 這裏他強調的是個非結構化的數據 爲什麼要用非結構化的數據呢 這個我不知道大家有沒有這個信息學背景的 就是你們學過數據庫 可能之前都是這種結構化的數據 對不對 結構化數據無非就是建了一張表 然後呢 裏頭有若干的字段 是不是 結構化數據他有一個缺點 就是說他會造成這個信息的丟失 因爲你建了一張表之後 這表有哪些字段 對吧 就固定好了 包括這個數據的精度 還有這個這個前置物串的長度 對不對 他都已經固定好了 那有些信息呢 就可能會被拋掉 對吧 不可能把它存到這個數據庫裏來 所以說呢 Console他用了一種非結構化的數據 讓所有的信息呢 都可以在這裏保存 對吧 那麼通過其他的一些方法呢 就可以加以計算 產生一些有價值的一個知識 在其實在這個之上的數據庫之上的啊 他採用了這個雲計算的計算 他把這個Console 架在了這個這個Warren這個軟件 架在了這個納斯達克的這個金融雲上面 你們知道雲計算 他的他的優勢是什麼呀 這個就是計算資源呀 可以動態的獲取 當你需要一個比較複雜的計算的一個邏輯的時候呢 他可以動態給你分配計算資源 包括內存啊 包括硬盤啊 包括這個CPU的計算能力啊 可以動態的去分配 當你計算完成之後啊 這些資源可以得以釋放 所以說呢 通過雲計算的這種方式呢 這個軟件就可以得到近乎於無限的這個計算能力 這是雲計算帶來的一個優勢 最後在其上呢 是機器學習和深度學習啊 這些算法 大家都知道這個2016年 AlphaGo戰勝了李時詩 對吧 就是說把這個人工智能啊 機器學習深度學習這個算法啊 基本上是像這個這個全天下的人啊 做了一個這個廣播一樣啊 那麼實際上呢 機器學習深度學習呢 它可以幫助我們做哪些事情呢 它可以幫助我們去發現我們平時觀察不到的一些啊 內在的聯繫 就是機器學習深度學習當中有很多的算法啊 它可以去把這個我們分析的這個空間啊 去進行深維啊 就比如簡單的例子 你在R2平面上畫畫一個圖 對吧 它中間可能是割裂的 但是我們從三維通訊線看的話 可能它們之間是有聯繫的 機器學習呢 還有深度學習這些算法啊 可以幫助我們啊 在更高的空間來分析這些數據啊 之間的關係 所以說可以幫我們去發現新的啊 我們之前注意不到的啊 這些內容啊 新的知識這樣會產生啊 所以通過這些技術呢 Console這家公司呢 就是達到了一個這個戰勝了這個人類啊 這個市場平均水平非常高的一個平面多端店 Console是在很早之前呢 就得到了這個高盛的青睞啊 當時就投資了一千五百萬美元 那最後呢 它是被這個標普啊 以5.5億美元的這個價格啊 收購了 那這個呢 就是比較一個典型的例子啊 就是說信息技術呢啊 運用到了我們這個這個投資分析當中啊 它優化了我們投資分析的這個啊 效率啊 並且呢 擴展了投資分析的這個維度啊 而且加深了投資分析的深度 我們再看 其實信息技術啊 一直在改變這個投資分析啊 那麼看看這些就是高盛 他是怎麼幹的啊 之前呢 高盛他有一個超過五百人的交易員的團隊啊 他們通過電話呢 與這個機構投資者去溝通 就在大概四十五年前的這麼一個一個情況啊 呃 那隨着這個我們信息技術的興起呢 啊 電腦和網絡也逐漸普及 現在高盛的這個交易員團隊呢 已經算到只有兩個人了 那麼現在這些工作是誰來幹呢啊 已經完全交給計算機的算法來幹了 就是說算法替代了以往交易員的人工決策啊 我們把這個信息啊 都把這些算法模型都固化到這個信息的這個技術當中啊 用他來幫助人去執行 他有什麼好處啊 用機器去代替人去做這個東西 他他是說有個紀律性在裏面 是吧 就該買的時候呢 機器沒有感情 他肯定就去買啊 該賣的時候呢 他也就是賣不像人會有猶豫啊 現在在投資當中呢 猶豫就是導致這個你虧損的一個最大的一個問題啊 這是高盛啊 逐步的用這個程序員替代了交易員 因爲高盛是一個大家都知道是非常牛的一個投行啊 他肯定是把這個這個費用算到這個骨子裏了 所以說呢 信息技術逐漸改善了這個投資分析的環境 我們再看一下啊 這個另外一個例子就是詹姆斯·西蒙斯的例子 他呢 相當於把這個信息技術用到了極致啊 詹姆斯·西蒙斯呢 他原先是一個數學教授 在四十歲之前呢 一直是在這個教育機構工作啊 他和我們國家那個陳興深啊 這個創立了陳·西蒙斯的理論 推動了託福幾何的研究進程 那在四十歲之後呢 他就是氣血衝傷了啊 他創立了這個那個文藝復興公司啊 發行了大獎章基金 那這裏頭呢 剛開始的時候 他可能也是用了一些就是說傳統的分析方法吧 包括他當時的有一個這個投資總監啊 可能是更用一些就是經濟學的理論啊 或者是人工分析來指導這投資 但是呢 效果非常不好啊 剛開始的就虧了30% 那西蒙斯呢 覺得啊要改變這個這個做法啊 他呢就是換掉了這個人 把那個精力呢都集中在短線交易上啊 並且呢用程序化的東西啊 把它固化成就數學模型的固化成了一個啊 他們公司的投資邏輯 那最後呢 他是後續呢 他在在用人的時候呢 都是用數學物理學統計學啊 這個領域的就科學家來幫助他實現這套複雜的一個算法 那最後他的一個成績是什麼樣子呢 在94年到2014年啊 這二十年間他的投資回報率啊 年化達到了71% 這個期間標準普爾的這個收益是多少呢 大概也只有9.3%是吧 這個這個是比較極端的啊 但常年的平均的來說呢 這個大獎獎基金大概能有35%的收益 就是已經遠遠超越了市場 這個呢 其實他就是把這個程序化交易發揮到極致 他相當於一個量化投資的一個鼻祖啊 程序化呢 他能夠克服人性啊 暴露出來這個弱點幫助這個投資啊 更加穩健啊 好在最後看一個這樣的例子啊 這個跟投資分析稍微不是那麼關係那麼大啊 但是呢 他也是技術在這個投資領域的一個應用 要撕批爲決勝高頻交易 我們知道這個美國的那個交易所在芝加哥啊 但是呢 大投行呢 都在紐約對吧 這兩地之間呢 如果是做交易的話 他有一個平均有17毫秒的延時 經濟好的話呢 可能達到16毫秒 包括最好的這個這個這個供應商呢 那麼撕批爲呢 就覺得在這裏頭呢 提高這個交易速度啊 是非常有意義的 因爲你之前做了好多好多這種這個投資分析對吧 不管你是啊 如何是縮短這個這個分析時間對吧 擴展分析維度啊 加深這個分析的深度啊 但最後落到交易上呢 肯定也是要快人一步的啊 如果慢一點點的話 那可能你下這個單就會被別人搶走對吧 這個就是撕批爲他的啊 思路在這裏 他呢建了一條 從紐約到芝加哥的一條交易比值的這個網絡線路 這個線路呢 可以達到啊 他的那個延時呢 只有13毫秒 這樣呢 就是比這個最快的這個要快一毫秒啊 你看這一毫秒 這一毫秒呢 就可以讓這個投資者這個訂單呢 比別人優先的到達了交易所 那麼知道交易所出口肯定是先來先得對吧 這樣的話呢 就是說他的這個線路啊 在完成之後他他是資質那個三億美元啊 建造這個線路 他開發完之後 當年呢 就已經有200個高頻的交易員願意花錢啊 花五年1400萬美元的費用 總共28億美元的這個費用來買啊 是這個服務 從從前面一直到這塊啊 就基本就是說了信息技術一直在改變着投資的這個啊 他的一個邏輯 包括他的這個方法啊 最最開始呢 是傳統這種人工分析 但是呢 現在隨着這個信息技術大數據的發展 現在的投資的方法和邏輯逐漸都被改變掉 我們再看一下這個後面幾個啊 這裏介紹的是說現在最近幾年比較啊 流行的一些其他的方面 其他這個信息技術在這個投資中啊 首先就是電商數據 我們知道現在電商很火啊 尤其是這個疫情期間對吧 大家都不出門都在家裏買買買對不對 這京東淘寶其實在這兩年發展也非常快對不對 那電商的數據呢 在投資當中是有非常大的製造意義啊 這裏我們舉了一個這個新寶股份的這個例子 新寶股份大家可能不一定太熟悉啊 它是一個賣小家電的啊 有一個莫菲的品牌可以去看一看 這裏呢 是說從19年4月份開始 他這個銷售額啊 你看啊就有一個比較大的震盪啊 好像140 200多對吧 在10月份稍微低一點啊 這個在就是 1月份稍微低一點啊 因爲1月份可能是疫情原因對吧 那個也是過年 可能大家都比較恐慌 就稍微低一點 那其他的時間哎 都有非常大的漲幅對吧 這就說明了這個公司發展非常好啊 但是這個數據你看到4月份的數據的 這是相當於第二季度的數據 那麼在正常情況下 作爲一個這個公司的報告啊 財報它是什麼時候能公佈呢 它一般是在下半年啊 大概是8月份左右才能公佈 只有差了四個月的時間對吧 我們看他在四個月 4月份確實有個高點啊 這個時候如果我們得到這個數據 知道他已經有一個比較高的一個漲幅了 哎後面的幾個月哎他纔下來了是吧 但是到到6月份左右 7月份左右啊 這是一個低點了 這個時候你已經驗證了三個月了 他已經有高漲幅了對不對 是吧 4月5月6月都有高漲幅對不對 那其實我覺得對他這個投資邏輯判斷 已經比較比較啊 已經比較這個成熟了 就是說覺得 肯定會有一個比較高的漲幅 這個時候呢 你6月份就可以佈局了對吧 正好在低點啊 到了8月份的時候呢 這其實已經有段時間了 後續一直持續這個這個 比較高的這個業績銷售對吧 銷售業績 那後續呢這個股價一直在漲 這個時候大概是十幾塊錢啊 到現在其實已經有50塊錢了 這個這個圖截的比較早啊 就30多現在已經有50多塊錢了 其實大概有四倍的漲對吧 啊這個是電商數據 那還有哪些數據呢 啊介紹一個電信數據 電信數據就是什麼 就是其實我們用手機對不對 大家都有手機對吧 不管到哪去他這個 你你活動的任意的一個一個 地點可能都會被記錄下來啊 其實現在 在北京前兩天 前兩天疫情的時間大家也都瞭解啊 就是去過新發地 可能你路過那對吧 從高山開過去 啊都會被發現你經過了那個區域了 對吧可能會給你一個 提示讓你在家裏做個核酸 或者是在家裏隔離啊 所以電信電信數據現在呢 也會被用來做一個投資分析啊 這裏呢是特斯拉 在上海工廠裏面的一個例子 我們看到啊 這個呢是在三月份的時候 今年三月份的時候哎 他這個電信的活躍度突然變高了 那麼一直在持續逐漸的變高對吧 三月份四月份五月份持續是這樣子 對吧 那那個三月份的時候特斯拉是 他的股票是個什麼樣的位置啊 他是在個低點的位置啊 就是去年年底的時候 特斯拉應該是被做空過一段時間 那個時候股票都跌到了低點 但是呢今年呢得到了一個非常大的 漲幅其實啊 其實最大的原因就是因爲上海工廠 他這個量產 並且他的成本非常低 現在特斯拉也一直在降價啊 可能會降到這個20萬以內了 那麼這個數據啊 如果你在三月份就已經得到了 對吧 那你可能經過近幾個月的驗證 對吧 你就會有一個心情去投資他了 對吧 特斯拉在7月20號的時候呢 才公佈這個數據 就是說他已經超出了預期啊 那隨後呢股票就是漲起來 那你這個時候投資比後面啊 你看是這麼大一段的收益都會得到 對不對 是電信數據的一個原因 那麼在後面再舉個例子啊 這個呢是衛星數據 衛星數據呢 它可以觀測宏觀經濟 區域經濟的發展水平啊 爲這個區域發展的評估 提供這個比較高頻的評價 我們這裏所說的這些數據啊 都比這個正常情況下 我們從這個公司發佈的財報當中得到的 啊都要快 財報呢 大家應該知道一年只發布4次對吧 啊年報大概是4月份 一級報大概也是那個時候 那麼中報呢 大概是到一級報大概4月底吧 可能和他一塊發佈 中報呢 一般是相對於上半年的一個報告嘛 大概是在8月份的時候出來 三級報呢得到10月份了 對吧 他比這個 實際的交易時間呢 都要晚1到2個月 年報能能最高能推遲4個月 是不是 那你得到這個這個數據時候呢 實際上啊 這個投資的這個期限可能已經過去了 那這些高頻的數據就可以幫助我們啊 在這個 過程當中儘早的知道啊 某個公司或 某一個區域它發展的情況 這個這個裏頭呢就是指了一個這個 舉了個夜光經濟的數據的一個例子 夜光這個大家都瞭解對不對 就是你經常能看到啊 就是在某些時段 某個國家他的美國是比較亮的 對吧 比如說經經經經濟 這個這個是是這個長線角直線角對不對 啊是我們國家比較 這個經濟比較發達地區對吧 其他國家有類似的這個情況啊 後面這個舉了一個這個 美國GDP與一黃指數的這麼一個啊 例子基本上是成一個正比的 啊這樣的情況 那現在啊 不光是這個夜光數據 其實啊 現在有些公司已經能夠提供啊 這種這個民用的這個衛星數據了 包括你可能關注某些公司 他的一些發生發展情況 比如前面的特斯拉啊 可能他那邊的數據也是能得到的 包括他這個 呃供貨商這個供貨的車輛 這這些數據可能都是會看得到的 對吧 那通過這些東西呢啊 我們就可以 更快更早的啊得到 我們說要投資標的啊 一個現實情況分析 其實信息技術他主要做什麼 主要是幫助你拓展拓展了你 這個分析的啊維度 然後呢 增加你分析的這個數據的支持的頻率啊 這個呢是主要是在這個 信息技術這在最近這些年啊 主要的因素 其實前面我說說的那個就比如說他那個 用量化分量化的方式去投資啊 增加這個 呃網絡減少網絡延時 這可能是之前啊 信息技術一直在努力的方向 但是近些年呢 信息技術呢主要是 通過這個大數據的方式啊 來提供更多的這個數據支持 來幫助我們投資者啊或者是分析人員 去更全面的瞭解這個市場 呃這個例子呢大概就這些啊 大概進行了一半了啊 後面呢我們會說一下這個 這些工具啊工具的說明 這張圖啊就簡單介紹了這個 投資的一些邏輯的發展 在這個19世紀30年代的時候呢 可能大家以這個價值投資爲主啊 就是覺得這個公司的股票還不錯啊 看他的報告也很好 那我去投資他對吧 那在60年代的時候呢 出現了這個資本資產定價模型啊 他把這個 呃受益呢分解開了 一個是大盤 指數就是貝塔是吧 另外的事情是阿爾法 那後面這個脈絡 基本上是把這個阿爾法 逐步的把它拆解開來 包括這個巴馬富人的三因子對吧 那麼他把它阿爾法就分出來的估值 規模大盤啊這些東西對不對 他認爲這個低估值的這種 啊公司可能會有成長性 小小這個小規模的這個公司呢 會有更更好的投資的這個前景啊 其實中國也是這樣 在17年之前啊 就小盤股呢 可能你會獲得更高的這阿爾法的收益 阿爾法是什麼意思 大家應該知道吧 就是說 我們逃去這個股票跟大盤相關性的 這個相關的那部分之後啊 多出來的收益就是阿爾法對吧 現在這個量化投資基本還是 那或許用阿爾法爲主對吧 那麼這這套脈絡基本就是靠因子去投資啊 你看後來呢又又把這個阿爾法就拆解了 包括估值啊期限 動量低波等等這些因子 那再發展呢就又又增加了這個 呃 歸呃盈利因子實際上因子等等啊 這些因子 這呢就是基本上是smart beta那套 那套邏輯了 靠因子去投資啊 那我們這裏介紹這些技術呢 其實是在這個之外啊 這又加了一個大數據和預期 因爲所有這些因子啊 他他他的技術從哪來啊 啊一部分從行情來對不對 大盤大盤的這個 就是說一個股票跟大盤的相關性怎麼來 啊還是看他的股價走勢跟大盤的一個相關性 啊這個beta 那其他的幾個也是很多呢 比如說再就是這個什麼 比如估值因子pppe啊對不對 跟跟他這個財報是有關係的 是吧 規模也是啊 主要是看他這個市值啊這些內容 但是呢這些剛纔也說過 他們的這個數據的這個更新頻率比較低的 除了行情之外行情比較高的啊 但是像這個財報上的因子 比如說你的 呃銷售額啊啊 他產生的一些pppe啊對吧 ROE啊等這些呢 那都是比較低品的 那怎麼來這個獲取更高品次的數據呢 那大數據和輿情 成爲了現在投資的一個主要的方式 那這裏呢也列舉了 比如說學校人工智能啊 NLP等等技術的發展 現在對於這個新聞財經新聞 資質法規對吧 這些數據啊 包括前面我說的這電商數據啊 電信數據 還有這個這種衛星數據啊 已經都被納入到我們投資分析 這領域當中去 那麼下面呢介紹一下幾個這個關鍵的技術 這個其實也是從這個 呃數據的收集啊分析這麼一個脈絡來的 對吧 我們首先呢那肯定是要有數據對不對 有數據纔是分析的基礎對吧 那麼我們要分析首先做 要做這個數據的收集 然後呢會對這個數據進行了文本啊 語義分析等等這些 然後呢再去關聯信息的進行挖掘啊 最後呢通過量化模型進行訓練 得到啊我們投資的一個市場預測 或者是股票的股票 這裏的技術呢可以有這些 比如說數據收集方面 我們有爬蟲技術 那文本語義分析呢 有自然語言處理的技術 關聯信息的挖掘啊有知識圖譜技術 量化模型的訓練呢有積極學習這些技術啊 那後面的應用呢 其實啊前面基本也點到過啊 爬蟲呢可能我們會關注於這個 財經新聞這些數據的爬蟲 包括我們國家統計局這些數據啊 都會通過爬蟲來獲取 那麼自然語言處理呢 就可以進行一些輿情的分析啊 包括一些事件的一些提取 那麼關聯信息挖掘呢 實際上它在這個基礎之上 自然語言處理之上啊 它會產生這種知識圖譜 是吧幫助我們分析貿易 貿易公司它相關的一些關係啊 那麼會產生一些智能問答的這些應用 那麼積極學習呢是在這個基礎上啊 會發掘出來一些新的啊 模式或者方法啊 幫助我們去進行投資 這是一個脈絡 那麼下面就分別講一下這幾個技術 這裏頭最簡單的其實是爬蟲技術 我覺得大家如果有點這個理工科背景啊 做個爬蟲是很容易的啊 那這塊我會多講一點 那爬蟲它定義是什麼呀 爬蟲是按一定的規則啊 自動的抓取外圍網信息的程序或者腳本 它目前呢分成大概分成那麼幾類 包括通用的爬蟲聚焦 增量還有深層網的爬蟲 策略呢有廣度優先深度優先 還有追加優先等等 關鍵的技術呢其實比較簡單啊 其實你要是熟悉這個 http協議熟悉html報文 xml報文啊 啊這都不是什麼難事 那下面看一下這個分類 爬蟲分類啊 用大概分成四類 通用的爬蟲是什麼意思啊 通用的爬蟲其實就相當於去爬全網啊 把整個web作爲一個它的一個爬取對象啊 屬於整個web 這個大家其實都用過對吧 就是瀏覽器就是我們這個 搜索引擎對不對啊 搜索引擎其實主要做這種事 他其實是無差別的去爬取對吧 你想你想搜什麼都可以搜 他都給你爬了啊 把這個整個網絡給你搜引起來 形成一個啊目錄等等就這樣 那聚焦網絡爬蟲是幹什麼的 其實就針對 你所關心的啊這個主題去爬取 那像我們做投資分析肯定會把這個 我們的焦點聚焦在這個投資類啊 投研或者投資這些財經類新聞啊 或者一種經濟數據上面去對吧 這就是一個聚焦的網絡爬蟲 那麼增量式爬蟲是什麼意思啊 增量爬蟲其實跟他們關係不太大啊 它相當於就是說 哎我只爬取最新的內容 那麼之前已經有過的內容我就不再爬了 這樣是節省這個效率對不對 啊節省時間也節省這個存儲空間對吧 啊只爬取最最新產生的這些內容 這些網頁對吧 那深層網絡爬蟲是什麼意思呢啊 深層網絡爬蟲是這樣的 就是說現在網絡上好多的內容啊 那些信息啊 你直接去爬是拿不到的對不對 比如說我們國家統計局的網站 他雖然數據是很全的 但是他頁面並不會直觀的把這個數據展示出來 你需要提交出一些表單啊 比如說你要查GDP 查哪年到哪年的GDP 你要做一個選擇啊 再做提交他才能給你一個結果 這個時候呢你要跟他進行交互啊 跟跟他進行這個數據的交互 那深層網絡爬蟲呢 其實就相當於填寫一個表單 然後告訴他我要這些數據 那麼他給我返回一個我需要的數據啊 這樣的一個 就這個呢會比這個爬蟲啊 更復雜一點啊 你要構建一個這個查詢的投資 這個這個參數組合 那策略呢其實和前面就有點關係了啊 廣度優先其實就是相當於 我橫向的去爬取這個 這些網絡上的數據啊 那這個就是更像這個通用的爬蟲對吧 那深度優先呢就是我縱向的去爬啊 我到了一個頁面 我先從第一個鏈接開始 第一個鏈接我還有鏈接再往下爬對吧 一直爬到最後然後再回來 再爬第二個啊 這樣是深度優先 那最佳呢是什麼意思呢 就是我對於這個網頁 位置爬我最關心的這個 其實 現在就是說我們做投資分析 這個是比較有比較有用的啊 因爲我們不可能去爬全網對吧 我們只能把我們最關心的內容啊 定時去爬出來就可以了對吧 啊所以說 這家優先應該是對我們來說是最多的 呃 下面呢就說一下這個 關鍵的技術啊 就是大家應該都用過這個 瀏覽器對吧 就這塊應該沒有什麼難度啊 那麼 大家都知道我們去 這個爬蟲就和我們上網其實很像對吧 我們去去請求一個頁面對吧 給他一個網址啊 然後他告訴 那個瀏覽器告訴我們這個通過這個 他去向這服務器去請求得到一個反饋 對吧 得到了這個頁面的這個數據 那麼爬蟲其實也幹這點事對吧 他呢 就是一問一答啊 他向 web服務器去做提問 你往web服務器 web服務器給他一個應答 就是一個request data response 那那個 這塊如果熟悉http http報文的話呢 就是比較簡單了 他就是大概有三個部分吧 一個是請求的方法 請求頭和請求用文啊 請求方法呢 其實有這get post head put later等等啊 但是最常用的就是get post get呢就是說 我向去web服務器 去請求一個頁面啊 不加任何參數 他給我返回頁面就可以了啊 post呢就是相當於剛纔那個 我們叫提交頁參數給他 那這個參數呢其實放在body裏頭 那麼他給我返回一個頁面啊 就是就是這麼點內容 那麼這個head裏頭會幹什麼呢 其實這裏頭啊隨着這個技術的發展 他會 包裝一些瀏覽器的信息 因爲你做爬蟲的時候 如果是很生硬的 我就去啊獲取一個頁面 用get或者post 那麼web服務器他也不傻對不對 他知道你可能是個爬蟲對吧 啊他可能就把你禁掉了對吧 所以說你做爬蟲最大的難點是 你要僞裝成瀏覽器 讓他以爲你就是個瀏覽器 這裏頭不光是瀏覽器 可能還有一些用戶的數據信息 就是cookie啊 因爲web服務器他會裝啊 把一些信息放到這個客戶端對吧 來識別客戶的身份啊 cookie 然後回來這個response呢 其實就是包含了這個head和body的啊 這裏有個狀態就是200呢 一般是這個是一個正常返回的 你就可以進行處理了 然後呢返回報文 裏頭啊body裏放的所有的信息 這裏我們講一個就是爬取這個 呃天貓上就AUKUS雙開門冰箱的 這麼一個例子啊 這裏頭我們看到他有個月銷量對吧 就前面也舉了例子了對吧 這個是一個比較 呃對投資比較有用的數據是吧 我們通過這個對這個數據的爬取和整理呢 可以得到一個啊 判斷啊就相當判斷 這個呢就是說我們看一下這個html的報文 這個通過瀏覽器 大家用一下瀏覽器 打開這個調試模式 那個f12哈就可以看到這個頁面 這個html啊包括xml這種文檔 它是非常好的 就是什麼它是個豎線結構的對吧 你數據都是放在這裏的 就像一個樹一樣你一展開 哎你就可以看到這個數據在這對吧 那就相當於我們前面通過爬蟲把這個 請求請求發出去然後收回來啊 得到了這個 報文之後我們只要把它做個解析就行了 對吧 啊這個數據提取出來了 後面呢你通過其他程序 包括把它彙總啊 那就是比較簡單的事情了對吧 那樹你拿到了吧 那怎麼分析就是你的事情了 這是爬蟲啊整個的一個流程 那麼現在呢就是說在python當中啊 已經提供了比較豐富的這個爬蟲包 大家如果是感興趣的可以去看一下 這裏有一個叫scrap 啊它是一個基於這個test的 一個異步處理的方向啊 其實你不用關心這是什麼東西 都有好多例子可以用的 可能很快的上手 那它就可以幫助你啊 去做這個 分佈式的爬蟲 那麼那個url2呢 它是一個簡單的http的報文解析的包啊 這beautifulsoft呢 它是一個對於這html xml這個解析的一個包 就是回來的回來那個報文呢 你可以通過這個 這個包啊去進行解析 很簡單就是你就靠着它這個 大概一個特徵啊 它就可以直接把這些你就提出來 cookies呢是幹嘛的 就是說啊它是包裝這個cookie的啊 模擬這個真實的用戶訪問 那這個list呢我就不多說了 其實天眼查大家可以去留意一下 它現在是可以提供一些這免費的試用啊 查這個 公司的一些信息啊 關聯信息等等 那麼下面再講一下這個nlp nlp呢就是自然語言處理 自然語言處理呢 它是其實是相當於是啊 計算機和人啊進行交互的啊 是一個 過渡的一個工具啊 讓計算機呢理解人類的語言 它呢發展了經過了這種規劃時代 啊規則時代 統計時代和滲透時代對吧 規則可能剛開始就是一些規則去識別啊 用統計學的方法去識別 現在用深度學習的方法去識別 它大概分爲兩個兩個這個方向 一個是呢自然語言的理解 一個是自然語言的生成 自然語言理解呢是比較難的啊 它更側重於是如何理解文本 那這個生成呢相對簡單一些 現在更多的應用是在這塊 比如說我們比如說我們那個 確實啊它好多這種這個同行的文本呢 可以通過這種方式來生成 我我估計前面的老師啊 可能也介紹過類似的內容啊 前面後面也會介紹 那其實呢 更重要的其實是前面這塊啊 也一直在不斷的有理論啊 或者是這個工程啊去把它發展起來 這裏的關鍵技術呢就有分詞二一性 文本相似度計算 首先就說一下分詞 分詞是什麼意思呢 就是一句話裏頭啊 它是其實有若干詞組成的對吧 那我們就要把這個詞給分開 在中文裏啊 它是比較重要的一個 工作啊英文可能簡單一點 因爲英文已經已經有空格分開了 對不對 中文呢就需要一個啊工具把它分開分詞 現在其實有一些已經很成熟了 呃像這個結巴分詞呢還可以還可以用 就是但是呢在在特定領域可能需要去 有單獨的這種語調庫啊 去幫着他去啊做一些分解 那說到分詞呢就會有二一性的問題了 二一性呢就是說一個句子 他可能有不同的理解方式啊 我這裏舉個例子 比如說乒乓球拍賣完了啊 那或者是理解成乒乓球拍賣完了對吧 我通過重音呢去 去給大家說出來可能能判斷出來 但是你一個文本啊 可能就需要上下文來判斷 再就是文本相似度的一些計算 文本相似度就是說 兩個事情在這個文本中都有是嗎 那麼他們是不是一個物體 或者他們是不是隻是一個概念是吧 這可能是啊比較重要的一個事情 可能需要去判斷 那麼講兩個這個比較重要的算法啊 一個是這個 tfidf 還有一個whatweb啊 這個用方向就不多說了 前面console也介紹過啊 說過他有一個情感分析的這個 工具啊是glrp 就說呢其實是外國人現在就是英語 他這個語性下的這個文本分析 比這個漢語的要好一些 因爲他語調庫很全啊 那我們國家呢可能就是欠缺 就主要是語調庫 他就分析的這個 素材還稍微少一點 但其實也在發展 首先講一下這個 tfidf 他叫詞評逆文檔啊 什麼意思呢 就是說我們有一個語調庫集對吧 有個外面文章 那怎麼識別出來這些啊 文章中的關鍵詞呢啊 其實這個tfidf的他的思路很簡單 就是說在一篇文章當中 他某個詞的頻率很高 但是在整整個語調庫當中 這個頻率很低 那麼這個詞 就是這個語調 這篇文章當中的關鍵詞 這個也很好理解對吧 這篇文章裏只講這一個詞對不對 別人都不講說他 是關注於這個詞的啊 這是tfidf 這個就大概聊這麼多 其實 也是有相關的一些啊 工具可以幫助你去做這個事情 咱們講講這個wordvac 啊就是詞相量 這個是比較有意思的啊 那麼咱們大家應該都學過這個線性代數是吧 是吧那相量是幹嘛的呀 就是 是空間上的一個指示的一個一個 帶方向的這個一個數是吧 那他有一個什麼特點呢 他是可以進行這個加減運算的對不對 啊所以說 在這個語調庫中把這個詞啊 變成一個相量之後 那就可以進行計算了對吧 那比如說我們說中國的首都 那你可能可以算出來是北京 對吧 這就可以產生一種新的知識的發掘啊 這裏呢舉了幾個就是在不同語言下的 一個例子啊 但是相量你看 英語和西班牙語他這個包括數字啊 他這個位相對位置 基本是相似的啊 這個呢是在一個詞庫當中呢 分析了這個應該是淘寶的啊 他的一些這個詞相量 你看第一相線這些呢都是一些 生產的品牌 這個 第二第三第四相線呢 分別就不同的了啊 這個是正常這個長袖 這個是性別了對吧 這個第一相線這些其實是不是 他們都會有比較相似相似的這個 概念對吧 都是一些品牌啊 那這些呢可能就是沒有那麼相似了 比如說詞相量呢可以幫助 這個自然源處理呢 就就可以去進行一些計算啊 產生新的知識 那下面介紹一下這個知識圖譜 知識圖譜呢其實呢啊 他是通過結構化的方法來 進行整合於那個語義知識庫的啊 就相當於呢 他幫你們整理好了啊一個圖 啊放出去你去分析 這個是應該是建立在這個nlp技術上的 他的發展歷程經歷了這個語義網絡 語義網關聯數據 知識圖啊這麼一個脈絡過程 他的關鍵技術有哪些呢啊 首先這個 匿名的實體識別啊 實體對齊 圖譜融合啊等等 他其實圖譜啊 其實並不是很簡單的一個事情 他呢啊這個實體對齊後選中的篩選 都是一些難點 包括這個 多元ego的知識圖譜的一些東西 我們看一下這個圖譜啊 這個呢就是展示了這個 中央匯進公司 他的一個關聯企業的那個圖譜啊 他這個現在這種圖譜技術啊 其實還是比較高端的一些技術啊 如果是一個人一個小團隊的話 可能還比較難去實現這個東西 但是呢現在已經有很多公司 來幫助啊 這個我們去整理了這些那種啊 像我之前說的天眼查啊 其實他內部就有好多這個這個圖譜 現在其實 圖譜 圖譜在投資領域用用的還是比較多的啊 就是對這種公司關係的分析啊 非常多的 那這個比如說這個他這個這種投資關係 對吧 那麼控制控制人的關係啊 或者是這種這個親屬關係啊等等 都會啊放到這圖譜當中去 那圖譜呢 其實他就是一系列的三元組構成的 對吧 什麼叫三元組呢 就是有兩個實體對吧 那這裏呢 就是說哎有一箇中央匯進公司對吧 另外一個呢就是董事長對吧 那通過這個關係呢就會做一些問答對吧 我們問這個中央匯進公司 他董事長是誰呢 啊那答案就是彭淳對吧 好那其他的關係 比如說他他那些公司有投資關係對吧 或者兩個公司之間他們有什麼關係對吧 這個最大應用就是說 如果有一個公司他投資上出現什麼問題 會不會殃及到其他的一些公司啊 通過圖譜呢可以幫助你去 啊尋找這個脈絡啊去分析這個情況 這個就說一下這個關鍵基礎 命名實體識別對吧 命名實體其實也比較好理解對吧 就是在這個語調庫當中 他的名詞要識別出來對吧 比如說楊明來自中國 王明肯定是一個實體對吧 中國是另外一個實體 那麼再就是中間他會有個關係啊 是來自對吧 這就是一個典型的三元組對不對 其實圖譜主要是幹這件事情 把我們這個信息呢抽象成這種三元組 那他的難點在哪啊 還有這個難點啊 這個先說一下什麼叫實體對齊 就是說實體對齊就是說 在這個語調庫當中 他不同的實體之間是不是一個東西對吧 那比如說圖譜當中這個蘋果 到底是指我們吃的蘋果 還是蘋果公司的蘋果呀對不對 這實體對齊啊 那圖譜融合呢就是更大維度的一個工作了 就相當於兩個圖譜怎麼把它合併到一起去 好這是圖譜融合的一個 他難點在哪候選多少篩選啊 還有多元異構圖譜融合 這個候選多少篩選 其實前面基本也舉個例子對不對 就是在這個這個我們這個數據當中啊 他這個實體是非常多的對不對 那我們怎麼兩兩的把它給對齊呀 對不對 這工資量就非常大了 就相當於指數增長對吧 那可能會篩選出來一部分來進行這個對齊 那多元異構的圖譜融合呢 就是說其實類類也類似對不對 就是兩個圖譜當中他同一個人 怎麼變成準備識別成是同一個人對不對 啊是他比較 呃困難的一些一些 難點 那現在呢好處就是說 有很多公司已經把它整理出來了啊 我們可以直接去應用 包括這個智能搜索啊 機器文雜設計網絡啊 電視連續一些應用等等啊 營銷啊公共預測等等 都可以去基於現有的圖譜啊 進行一個一個分析 那比如說我們說張一鳴和柳傳志 他們之間有什麼關係對吧 通過這個圖發現其實 就是通過中間兩個人哎 就可以有關係對不對 當然有可能第一次需要這樣 去去介紹一下對吧 後續可能就直接連上對吧 那這裏展示的就是產業鏈的圖譜 產業鏈圖譜現在投資領域 你比較用的比較多的啊 比如這個5G產業鏈對吧 那從這規劃期啊建設期啊啊 運維期啊那應用期等等啊 會給出來 各個公司在這個產業鏈中的位置 那你做投資的時候可以去做一些分析 那包括這個今年的疫情 對吧口罩的產業鏈是什麼樣子 對吧 包括上有這個原材料製作對吧 中有這個口罩製作 下有這個分銷對吧 啊去判斷一下哪哪個時刻 對哪些公司是啊 業績是有明顯提升的啊 這些都會通過這個圖譜啊 進行一個 一個啊直觀的一些感受 那比如說這個是華爲的產業鏈對吧 華爲今年是比較苦啊 他受到了這個制裁對吧 那他受到了限制之後 對哪些有影響呢對吧 或者他可以從哪些方面得到 其他的一些補充呢啊 可以通過這個圖譜來 幫我們去做一些識別 然後就圖譜 最後呢就說一下機器學習 機器學習呢其實是最複雜的一個應用 當然他也有一些工具可以用啊 機器他是一個多學科交叉的 這麼一個領域 包括概率論啊統計學啊 這種這個初分析啊 啊算法複雜度等等這些啊 他前面我也基本的簡單介紹一下 他可以幫助我們 他的一些算法可以幫助人們 就是在更高危的空間呢去分析啊 這些數據得到一些新的知識 這也就是有監督學習 無監督學習和半監督學習 啊就得簡單做個介紹 有什麼叫有監督學習 有監督學習就是說我們有一個 呃就是說 嗯訓練級對吧 訓練級呢並且他是有這個結果的啊 他有若干屬性 每個實體都有若干屬性 並且這個屬性呢會標誌這個這個 這個實體他有一個結果啊 比如說我們描述一個人啊 描述他各種特徵 最後告訴他是男的對吧 啊那麼在剩下的這個 沒有告訴你他性別的這個 呃人群當中你分到哪些男哪些女啊 這是這個有監督學習的一個例子 我們訓練出一個模型之後 放到那個新的訓練機 新的測試機當中呢 可以告訴我們啊 這個新的這個實體 他到底是男的還是女的啊 就大概是這麼一個意思 那無監督學習是什麼意思啊 無監督學習就是說 他不會告訴你這個 實體到底是什麼東西啊 這個就是靠機器來學出來一個模式 這個可能就是在我們投資當中 更希望用這種 這種方式去訓練出來一些新的知識 對吧 那無監督學習呢 他其實也更難一些對吧啊 他現在呢就主要是劇烈的算法 那後面我會舉個例子 半監督學習呢 其實就是把他倆結合在一起 有一些呢就是說是有標註的 有一些是無標註的啊 把它融合在一起去訓練出來一個模型 他的難點是什麼呢 基於學習最大的難點就是泛化能力 什麼叫泛化能力 就是說我們小的時候啊看一個圖片 我們看看大象對吧 我們看兩張圖片 我們知就知道大象是什麼樣子了啊 但是機器不行 機器得開成百上千張啊 他可能才訓練出來啊 大象是這個樣子 他才能在新的這種圖片當中識別出來 所以說他對訓練級的數據要求是非常高的 所以現在基於學習 他還是要基於大數據的訓練來完成的 當然他得到的結果其實也 也是比較這個驚豔的啊 有些時候是可以做這種預測的 現在好多這種量化思路 是用機器學習的方法去做投資 這裏是我們做了一個一個劇烈的應用啊 就是對基金經理啊進行這個 他的這個投資貼號進行一個劇烈 這劇烈的結果呢是左邊的這些呢 是對債券投資比較能力比較強的 右邊呢是對這個股票投資比較強的 並且下面越低層次呢 他們的風格是越相似的啊 這是一個結論 最後就說一下這個工具級吧 就是在這個呃技術領域啊 投資分析這個領域呢 現在最火的是python 它包括python啊nlp啊機器學習啊 都有好多這種工具包啊 大家可以去了解去嘗試啊 那呃像這python可以去動手試一試 好今天的內容就到這裏啊 謝謝大家