97成人午夜福利在线观看_超碰福利亚洲_国产午夜福利影音资源网站_扒开两腿做爽爽视频_亚洲国产成人麻豆精品_日韩欧美亚洲_天天靠逼泡妞视频_国产成人久久AV高清_欧美a√在线免费观看_精品毛片网站在线观看

數(shù)據(jù)采集系統(tǒng)是一款智能化的互聯(lián)網(wǎng)數(shù)據(jù)采集工具，與內(nèi)容管理系統(tǒng)深度集成，可簡單快速地將目標(biāo)網(wǎng)站的內(nèi)容采集到自己的網(wǎng)站中，以快速填充網(wǎng)站內(nèi)容，或者通過定時采集來實現(xiàn)自動轉(zhuǎn)載目標(biāo)網(wǎng)站的新聞，以減少網(wǎng)站內(nèi)容運(yùn)維工作。

與內(nèi)容管理系統(tǒng)深度集成

數(shù)據(jù)采集系統(tǒng)能夠從目標(biāo)網(wǎng)站采集數(shù)據(jù)，通過智能分析，將數(shù)據(jù)與指定內(nèi)容模型的各個字段匹配生成相應(yīng)的內(nèi)容實體，并保存至指定欄目中。目標(biāo)網(wǎng)頁中的圖片和附件會以文件形式保存在網(wǎng)站的上傳文件夾中。

支持?jǐn)?shù)據(jù)采集的內(nèi)容模型包括文章、公開信息、政策文件等。

支持多種數(shù)據(jù)源格式

  • 網(wǎng)站

  • 網(wǎng)頁

  • RSS 源

  • API 接口
    （XML 格式）

  • API 接口
    （Json 格式）

  • 支持從網(wǎng)頁、RSS 源、API 接口（Json 格式、XML 格式）采集數(shù)據(jù)。
    當(dāng)數(shù)據(jù)源為網(wǎng)頁或 API 接口時，支持設(shè)置請求頭參數(shù)。

采集功能完備

  • 支持按正序或倒序進(jìn)行數(shù)據(jù)采集。
  • 支持定時采集功能。
  • 支持?jǐn)帱c續(xù)采。
  • 支持采集排重（增量采集），可以根據(jù)標(biāo)題或 URL 進(jìn)行排重。
  • 支持自動下載內(nèi)容中的圖片和附件。
  • 支持自動過濾正文中的鏈接。
  • 支持更新采集，即在采集所有數(shù)據(jù)的同時不清空歷史記錄，并判斷歷史記錄中是否存在相同數(shù)據(jù)，若存在則更新數(shù)據(jù)，否則插入新數(shù)據(jù)。
  • 支持重新采集，即清空歷史記錄后重新采集全部數(shù)據(jù)。
  • 支持批量執(zhí)行采集任務(wù)。
  • 支持查看采集進(jìn)度。
  • 支持采集歷史記錄管理，用戶可以查看、刪除、清空采集歷史記錄。
  • 支持僅采集為鏈接內(nèi)容，并保留至源網(wǎng)頁的鏈接。
  • 可視化配置采集規(guī)則

    提供可視化操作界面，無需編寫代碼。用戶可以通過簡單的拖拽、點選和配置來定義采集規(guī)則，使不懂技術(shù)的編輯人員也能輕松配置采集規(guī)則。

  • 支持代理服務(wù)器

    支持采集只能通過代理服務(wù)器訪問的網(wǎng)站內(nèi)容，或者通過代理服務(wù)訪問來繞過目標(biāo)網(wǎng)站的反爬蟲限制。

  • 支持采集需要身份認(rèn)證的網(wǎng)站

    支持采集需要認(rèn)證的網(wǎng)站內(nèi)容，支持的認(rèn)證方式包括 HttpBasic 認(rèn)證、Token 認(rèn)證和 Jwt 認(rèn)證。

  • 反反爬蟲

    具備簡單的反反爬蟲機(jī)制，通過模擬正常瀏覽器的 UA、調(diào)整采集間隔時間和通過代理服務(wù)器訪問等手段，有效應(yīng)對網(wǎng)站的反爬蟲機(jī)制，確保采集過程的穩(wěn)定性和可靠性。

  • 實時監(jiān)控與預(yù)警

    系統(tǒng)保存完整的采集日志記錄，可通過日志還原采集過程，幫助分析采集過程中出現(xiàn)的問題。同時，借助完善的日志功能，系統(tǒng)能夠?qū)崟r統(tǒng)計各項采集指標(biāo)，并提供實時預(yù)警。

×

用戶登錄