大家好！今天讓創(chuàng)意嶺的小編來(lái)大家介紹下關(guān)于關(guān)鍵詞每半小時(shí)抓取的問(wèn)題，以下是小編對(duì)此問(wèn)題的歸納整理，讓我們一起來(lái)看看吧。

開(kāi)始之前先推薦一個(gè)非常厲害的Ai人工智能工具，一鍵生成原創(chuàng)文章、方案、文案、工作計(jì)劃、工作報(bào)告、論文、代碼、作文、做題和對(duì)話答疑等等

只需要輸入關(guān)鍵詞，就能返回你想要的內(nèi)容，越精準(zhǔn)，寫(xiě)出的就越詳細(xì)，有微信小程序端、在線網(wǎng)頁(yè)版、PC客戶端

官網(wǎng)：https://ai.de1919.com

本文目錄:

• 1、如何使用python根據(jù)關(guān)鍵詞抓取微博

• 2、如果在excel中的一列抓取關(guān)鍵字匯總

• 3、網(wǎng)站關(guān)鍵詞出現(xiàn)的頻率是怎么計(jì)算的?

• 4、微博爬蟲(chóng)系列之關(guān)鍵詞及指定用戶博文爬取

一、如何使用python根據(jù)關(guān)鍵詞抓取微博

基本的套路就是利用微博賬號(hào)模擬登陸，這個(gè)過(guò)程比較復(fù)雜，因?yàn)槲⒉┯屑用芴幚?，推薦去github下載一個(gè)python模擬登陸新浪的源碼。

當(dāng)你通過(guò)模擬登陸進(jìn)入微博界面的時(shí)候，嘗試如何用python的模塊去提交query,然后通過(guò)beautifulsoup或者是httpparse來(lái)獲取內(nèi)容信息。當(dāng)然，自己學(xué)習(xí)正則表達(dá)式來(lái)獲取也是可以的。

二、如果在excel中的一列抓取關(guān)鍵字匯總

就是求B列出現(xiàn)江蘇或上海的個(gè)數(shù)吧，如果是，假設(shè)數(shù)據(jù)在B2：B10，公式可為

=SUM(COUNTIF(B2:B10,{"江蘇*","上海*"}))

如果對(duì)應(yīng)的A列有重名，要去重，或其它算法，請(qǐng)?jiān)僬f(shuō)明。

三、網(wǎng)站關(guān)鍵詞出現(xiàn)的頻率是怎么計(jì)算的?

我可以很負(fù)責(zé)任的告訴你，關(guān)鍵詞密度不是最佳答案所說(shuō)的！

關(guān)鍵詞密度是 關(guān)鍵詞/頁(yè)面所有詞語(yǔ) 是詞語(yǔ) 不是字?jǐn)?shù)！

仔細(xì)想一下也可以知道了 比如關(guān)鍵詞長(zhǎng)度為3個(gè)字 出現(xiàn)5次 頁(yè)面只有這5個(gè)相同的關(guān)鍵詞 頁(yè)面所有字3*5=15 關(guān)鍵詞出現(xiàn)5詞 那頻率就是 5/15=33%了？ 但事實(shí)是100% 最佳答案那個(gè)是錯(cuò)誤的！

四、微博爬蟲(chóng)系列之關(guān)鍵詞及指定用戶博文爬取

近期的一些微博爬蟲(chóng)內(nèi)容，本篇主要將怎么根據(jù)關(guān)鍵詞或指定用戶進(jìn)行博文爬取。

準(zhǔn)備寫(xiě)的內(nèi)容：

定向詞及指定用戶博文爬取方面，用的是微博網(wǎng)頁(yè)版（ https://weibo.cn ）。對(duì)于微博網(wǎng)頁(yè)版中相關(guān)博文的爬取，需要使用到 cookies 。這方面的爬取參考了github上的資源：

寫(xiě)的時(shí)候發(fā)現(xiàn)網(wǎng)頁(yè)版的關(guān)鍵詞檢索接口已經(jīng)不見(jiàn)了···可能是微博刪除了網(wǎng)頁(yè)版的接口吧···之后再看看怎么在pc端爬取。

這里先介紹怎么指定用戶進(jìn)行博文爬取吧···

指定用戶的時(shí)候，需要有用戶的用戶id。通常用戶id是一串?dāng)?shù)字，也有一些賬號(hào)更改后是字符串，舉個(gè)例子，何同學(xué)跟央視新聞的微博：

在這里何同學(xué)的 uid = 6529876887 ，央視新聞的 uid = cctvxinwen 。當(dāng)然也可以獲取到央視新聞以數(shù)字存儲(chǔ)的id，之后再講怎么獲取，這里直接放出來(lái)就是 uid = 2656274875 ，點(diǎn)擊可以發(fā)現(xiàn)確實(shí)是央視新聞的微博 https://weibo.cn/2656274875

這個(gè)問(wèn)題在爬取用戶博文方面沒(méi)有影響，不過(guò)在爬取用戶信息時(shí)會(huì)有影響，后面寫(xiě)用戶信息爬取再說(shuō)這個(gè)情況怎么解決。

下面以央視新聞為例看看怎么爬用戶的博文。

點(diǎn)擊進(jìn)入 央視新聞 的微博，可以看到這個(gè)賬號(hào)發(fā)布了很多很多微博，在網(wǎng)頁(yè)版觀看就會(huì)顯示很多頁(yè)，那么要爬取的時(shí)候就要先獲取他的頁(yè)數(shù)。

當(dāng)點(diǎn)擊第二頁(yè)時(shí)，會(huì)發(fā)現(xiàn) url 會(huì)變成 https://weibo.cn/cctvxinwen?page=2 。也就是說(shuō)這個(gè)翻頁(yè)是以 page 這個(gè)字段進(jìn)行翻頁(yè)的，這就好辦很多了。

將 page 改成 1 可以發(fā)現(xiàn)網(wǎng)頁(yè)跳轉(zhuǎn)到所有博文的第1頁(yè)，接下來(lái)那我們就先獲取到所有的頁(yè)面url。

首先進(jìn)入 https://weibo.cn/cctvxinwen?page=1 ，打開(kāi)開(kāi)發(fā)者模式，在文件中找到自己的 cookies 。

在網(wǎng)頁(yè)開(kāi)發(fā)者模式下，點(diǎn)開(kāi)文件可以發(fā)現(xiàn)沒(méi)有json格式的數(shù)據(jù)輸出。因此這里不能直接通過(guò)解析json數(shù)據(jù)獲取到頁(yè)面數(shù)據(jù)。

這里就需要查看網(wǎng)頁(yè)返回的文本信息了。這里再定位具體信息時(shí)，我用的是 lxml 庫(kù)里的 etree 方法。

這里要查看具體要定位到哪里，可以在網(wǎng)頁(yè)上的源碼進(jìn)行定位，比如我們要定位到頁(yè)數(shù)，找到頁(yè)數(shù)所在的地方：

拿到用戶的所有博文網(wǎng)頁(yè)后，就可以進(jìn)行博文的爬取了。這里每一頁(yè)的數(shù)據(jù)是一樣的，所以直接用第一頁(yè)為例就可以了。同樣的將頁(yè)面數(shù)據(jù)爬下來(lái)：

還是在網(wǎng)頁(yè)上看，定位到某一條博文，可以看到源碼是這樣子的：

可以看到第1頁(yè)這里展示了11條博文（這個(gè)不一定），每條博文放在 div class="c" id="" 的控件里，這里的id是對(duì)應(yīng)的博文id，于是我們就可以拿到博文的控件：

選擇其中一個(gè)博文來(lái)看

這里我們可以看到要的信息全在這里了，接著就按著控件抓信息。這里拿其中一個(gè)節(jié)點(diǎn)為例。

首先獲取微博的url以及微博id，這個(gè)從上面看到，可以從點(diǎn)贊、轉(zhuǎn)發(fā)、評(píng)論處的鏈接獲取，這里選擇最簡(jiǎn)單的轉(zhuǎn)發(fā)鏈接，對(duì)應(yīng)的點(diǎn)贊數(shù)、轉(zhuǎn)發(fā)數(shù)、評(píng)論數(shù)也可以順便爬下來(lái)了：

接下來(lái)看下微博的創(chuàng)建時(shí)間，這里我們看到還有微博的來(lái)源，有一些可能會(huì)沒(méi)有這個(gè)信息：

接下來(lái)就是博文的主體了：

博文方面的內(nèi)容提取基本就是從github上搬過(guò)來(lái)的，對(duì)內(nèi)容部分字符串進(jìn)行了一些匹配清洗：

上面是比較簡(jiǎn)單的博文情況，有一些可能有圖片、視頻、轉(zhuǎn)發(fā)等情況，這里直接放GitHub的做法，具體爬取方式是一樣的，定位控件，找信息：

到這里，指定用戶的博文爬取就結(jié)束了，主要還是參考了GitHub的大神~

以上就是關(guān)于關(guān)鍵詞每半小時(shí)抓取相關(guān)問(wèn)題的回答。希望能幫到你，如有更多相關(guān)問(wèn)題，您也可以聯(lián)系我們的客服進(jìn)行咨詢，客服也會(huì)為您講解更多精彩的知識(shí)和內(nèi)容。

推薦閱讀：

文本關(guān)鍵詞抓取工具（文本關(guān)鍵詞抓取工具有哪些）

小說(shuō)關(guān)鍵詞生成器（小說(shuō)關(guān)鍵詞生成器app）

關(guān)鍵詞文章生成器（關(guān)鍵詞 生成）

硬派越野車(chē)排行榜

您的商品不符合類(lèi)目準(zhǔn)入要求（您的商品不符合類(lèi)目準(zhǔn)入要求 極速退）