掘金數(shù)據(jù)處理平臺是一款專業(yè)免費的電腦財經數(shù)據(jù)分析的軟件,為你提供一站式的數(shù)據(jù)分析,可以從網絡上收集數(shù)據(jù),還可以對收集來的數(shù)據(jù)進行全面的分析,讓你掌握有價值的信息。
【使用流程】
1、先分析網站的網頁結構,來配置抓取策略(有全面的流程說明,如不懂參考視頻教程)。
2、運行腳本,執(zhí)行數(shù)據(jù)處理工作。
數(shù)據(jù)輸出的方式包括:
1、通過CSV文件輸出
EXCEL等編輯軟件
大部分數(shù)據(jù)庫軟件支持從CSV文件導入
2、通過程序內置數(shù)據(jù)庫(SQLITE)輸出
SQLITEBrowser支持SQLITE數(shù)據(jù)庫SQL語句查詢:
http://sqlitebrowser.org/
https://github.com/sqlitebrowser/sqlitebrowser/releases/download/v3.10.0/DB.Browser.for.SQLite-3.10.0-win32.exe
支持廣泛,有很多選擇
3、通過MYSQL數(shù)據(jù)庫輸出(通過官方的MYSQL安裝包下載后,直接安裝就可以),數(shù)據(jù)使用
UTF-8的方式來保存。
【功能介紹】
1、數(shù)據(jù)分析器(通過各種類型的算法,對數(shù)據(jù)潛在價值進行挖掘,分析)
2、網絡數(shù)據(jù)收集器(包括自定義網頁元素執(zhí)行腳本功能)
3、數(shù)據(jù)清理器(針對于收集到數(shù)據(jù)集中處理,提出其中的關鍵部分),其中數(shù)據(jù)清理器,數(shù)據(jù)分析器會在專用版本中發(fā)布。