精品国产人成在线_亚洲高清无码在线观看_国产在线视频国产永久2021_国产AV综合第一页一个的一区免费影院黑人_最近中文字幕MV高清在线视频

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

Python爬取394452條《都挺好》彈幕數據,發現彈幕比劇還精彩?

電子工程師 ? 來源:lp ? 2019-04-04 17:04 ? 次閱讀

作者 |周志鵬,2年數據分析,深切感受到數據分析的有趣和學習過程中缺少案例的無奈,遂新開公眾號「數據不吹牛」,定期更新數據分析相關技巧和有趣案例(含實戰數據集)。

最近《都挺好》真的挺火。

火到什么程度?微博熱搜霸榜,辦公室評彈聲四起,大強輕松攻占表情包,甚至連N年不追劇的瘦宅們也開始沉迷其中,大呼真香。

圖片來源《都挺好》官微

劇很精彩,但追劇界有句俗話說的好:“彈幕往往比劇更精彩”,為了讓精彩延續下去,我終究沒能忍住對(騰訊視頻)彈幕下手。

經過一番折騰,發現彈幕是JSON格式動態加載的,而且加載的非常有規律,30秒一發(80-100條),多出的會隱藏。共計爬取了394452條彈幕(雨露均沾,每集平均8575條,每30S的間隔爬取),來挖一挖彈幕這個寶藏。

1、彈幕基本盤概覽

爬到的源數據是醬紫的:

發現有部分用戶名是缺失的,由于這部分用戶占比很小(僅0.61%),所以我們直接暴力的除去這部分噪聲。

清洗之后,還剩下117484個用戶發送的392051條彈幕,人均發送彈幕量3.34條。

再看看每個人發送彈幕數是怎么樣分布的:

顯而易見,大部分用戶還是比較佛系的,71607位用戶(占比60.95%)在46集中只發送過1條彈幕,他們內心嚴格遵循“愛就一個字,我只發一次”的彈幕發送準則。

發送條數在3條及以內的用戶數占比達到了83.73%,他們累計貢獻了133331條彈幕,占到彈幕總數的34.01%,反過來看,剩下16.27%的用戶貢獻了彈幕量的65.99%。從這個角度來看,二八法則在這里更像是二七法則(20%的用戶貢獻了70%的內容)。

2、是誰在瘋狂發射彈幕,而彈幕又愛上了誰

彈幕發送量TOP10榜單:

我們都知道明成是“行走的造糞機”,那么從彈幕的角度來看,誰是“行走的彈幕發射機”呢?

為此,我們篩選出累計發送彈幕TOP10的用戶:

微微一操作(爬取、清洗和分析都使用PYTHON

danmu_counts = df.groupby('用戶名')['評論id'].count().sort_values(ascending= False).reset_index()danmu_counts.columns = ['用戶名','累計發送彈幕數']danmu_counts.head(10)br

Emmm,上一步我們知道平均每個人在整部劇會發送3.34條彈幕,而彈幕發送排行榜前十的旁友們發送量都是過千級別的,我們再加上這個用戶彈幕發送涉及到的集數,進一步看看平均每集發送彈幕數。為了更直觀一些,可視化之:

一位名叫"@L"的用戶獨占鰲頭,是毋庸置疑的C位輸出。在46集的電視劇中,他的彈幕血洗了32集,累計發射2773條彈幕,平均每集發送86.66條。

什么概念呢?

一集電視劇時長約42分鐘,也就是說,這位大佬在看劇的同時,仍能保持每分鐘2.06條的發送頻次,還堅持了32集。

到這里大家一定會有質疑,覺得他肯定是刷了大量的“666”、“來了”之類毫無意義的內容來霸榜,所以呢,我把他的輸出內容篩了出來并做成詞云圖:

這,這,這位大佬輸出的內容,不僅緊貼劇情,更是文風多變,時而總結內容,時而嬉笑怒罵,時而感慨人生,時而出口成詩,毫不夸張的說比一般彈幕都要有內涵。

我的膝蓋,開始不聽使喚了......

唯有疾呼“高山(頻)仰止,景行行止”。

誰的彈幕最受青睞(點贊數最多):

根據每個用戶累計點贊量排序,GET到彈幕點贊TOP10排行榜:

第一名“追劇小奶鵝”平均每集發6條彈幕,每條彈幕竟然能夠得到4585個贊!難道這就是傳說中的精神領袖嗎?難道大佬之外還有大佬嗎?

在看劇的時候經常能夠被他的彈幕刷屏,而且他的彈幕比其他人停留時間更長,顏色更艷麗。經核實,發現第一名,原來是嫡系:

騰訊視頻電視劇彈幕專業陪聊,怪不得這么高的贊。

而第二名,又是我們的大佬“@L”,他憑借高頻、穩定、持續輸出累計獲得21.69萬贊,平均每條彈幕獲贊78.22個。

大佬,請收下我的膝蓋!

3、高贊彈幕有何套路:

A)嫡系部隊:

我們單獨把騰訊的嫡系部隊“追劇小奶鵝”拎出來,是因為他幾乎壟斷了高贊彈幕TOP300,嫡系光環加持,贊或許有虛高的嫌疑,但不妨礙我們單獨分析他內容的套路:

(其實不少小奶鵝的彈幕并沒有其他的精彩,但畢竟是親兒子)他的套路暴力總結起來一句話:對仗工整提大強,感天動地夸明玉。

B)非嫡系部隊:

高贊的(非嫡系)朋友們深得演唱會那句帶節奏名言“現場的朋友們,舉起你們的雙手,讓我看到你們的熱情”的真傳。

“覺得XX說的對點下謝謝”、“給XX點贊!”套路是獲贊的一大法寶,另一法寶就是推動劇情的內容總結了。

3、彈幕視角主人公情感分析

誰是蘇家最受彈幕關注的人兒

要分析誰是蘇家最受彈幕關注的人,必須先根據關鍵詞去甄別和定位到劇中角色。

這里列出了關于蘇家人的簡單詞庫,用來識別彈幕在議論誰。

54.31%的彈幕沒有主觀傾向性,沒有提及具體的蘇家人(可能提及了劇中其他人,這里暫不考慮)。

明玉竟然搶過了大強的寶座,以19.91%的彈幕提及率拔得頭籌,而大強則以16.16%的關注度緊隨其后。

Emmm,無論是劇外熱度還是追劇時彈幕槽點,我都覺得大強應該才是最受關注的啊!

作為一個嚴謹的追劇人,我開始排查彈幕,發現了很多戲精在發彈幕時都玩起了角色扮演,他們在發彈幕時,總是先在開頭署名“蘇明玉:”OR其他劇中角色,仿佛在代他們發聲。

清洗完這部分調皮的用戶之后,排名出現了新的變化:

果然,其他除外,大強以15.16%的關注占比領先其他家人一個身位,明玉又把兩個哥哥拉開了一個身位的距離,占比8.82%,明成和明哲關注占比分別是4.84%和4.28%。

PS,明成關注度之所以低,是因為很多彈幕罵人并不會指名道姓:),而明哲嘛,對這個排名表示很失望。

彈幕情感分析

看劇(彈幕)時能夠明顯感覺到觀眾對于明成的態度從最開始的“過街老鼠,人人喊打”到后來的“明成懂事了”。

從數據分析的角度講,明成是否成功洗白?大強最后催淚演繹效果如何?

這里我們調用百度情感分析API,對每一條評價的內容進行情感打分,用情感分值來驗證上述問題(分值在0-1之間,越靠近0負面傾向越強,越接近1則情感越情面)。

調用方法很簡單(只對內容感興趣可以直接略過代碼):

#先安裝aip包from aip import AipNlp#到后臺配置權限,獲得相關ID和KEY,目前API是免費且不限量的app_id = '輸入實際ID'api_key = '輸入實際KEY'secret_key = '輸入實際SECRET_KEY'client = AipNlp(app_id,api_key,secret_key) #定義函數,以便循環爬取def senti_analy(text):data = client.sentimentClassify(text)sentiment = data['items'][0]['positive_prob']return sentiment for text in df['內容']:try:sentiments.append(senti_analy(text))except:#print(text)sentiments.append('pass') df['情感分值'] = sentimentsbr

打分篩選過后,我們統計出每一集蘇家每個人的平均情感分值,并繪制出曲線圖(4個人導致折線圖可讀性較差,所以只有委屈大哥了):

大強開局不錯,和明玉持平,但憑借倪老師“作死小能手”的實力詮釋,讓情感分值迅速走低,11集的低點正式印證了大強的“癲瘋之作”,之后分值在0.38左右徘徊。隨著“蔡根花寶貝”梗的出現,“嘲諷”替代了指責,讓分值略微上浮(情感打分對于高級黑式嘲諷難以準確判斷)。最后老年癡呆發病后大強對明玉的愛讓分值一舉超過0.5,達到歷史峰值,成功上岸。

明玉是原生家庭的受害者,也是一個靠自己成功的女強人,前期愛恨分明,情感分值一度飆到0.59(超過其他所有角色),18集開始的買房紛爭,網友紛紛表示強烈同情(例:明玉不能像十年前一樣別理他們嗎?情感分值只有0.041),這讓明玉相關的情感分值嚴重走低,隨后彈幕主旋律仍以叫好和同情為主。

明成的情感分值走勢更有意思,開局最低,靠欺負妹妹讓分值迅速降低,可謂“人人喊打”,后面分值的飆升,一度追上明玉,主要是因為明成期望值已經極低,但是他寵老婆的行為得到觀眾認可。中期本色挨罵,降至低谷。27集明成情感分值再次超過0.5,竟然是因為明成想嚇走大強進行的一系列騷操作(尤其是廣場舞)。再后來就是明成幡然悔悟,走上正軌,分值在穩定在0.45左右,也算成功洗白。

看來,開局降期望,中期隨便作,后期催淚逆風翻盤,終究還是會被觀眾接受。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 數據分析
    +關注

    關注

    2

    文章

    1427

    瀏覽量

    34012
  • python
    +關注

    關注

    56

    文章

    4782

    瀏覽量

    84449
  • 數據集
    +關注

    關注

    4

    文章

    1205

    瀏覽量

    24641

原文標題:Python爬取394452條《都挺好》彈幕數據,發現彈幕比劇還精彩?

文章出處:【微信號:rgznai100,微信公眾號:rgznai100】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    語音彈幕 吐槽真爽快

    看《歡樂頌》,于是我說隨便說了句“劉濤和林心如合作什么好的電視呢”,然后電視屏幕上馬上就顯示“彈幕即將發射”,隨后電視屏幕上就出現了“劉濤和林心如合作什么好的電視呢”的文字。不得不說很讓人驚奇啊!有這
    發表于 05-22 12:02

    基于Python3對攜程網頁上北京五星級酒店列表的

    Python3 攜程網[1] 根據好評優先順序,獲取北京五星級酒店列表
    發表于 04-19 16:25

    基于Canvas標簽開發彈幕

    Canvas 彈幕的優先選擇
    發表于 04-30 07:18

    基于Python實現一只小爬蟲拉勾網職位信息的方法

    通俗易懂的分析如何用Python實現一只小爬蟲,拉勾網的職位信息
    發表于 05-17 06:54

    手寫彈幕服務器的詳細介紹

    手寫彈幕服務器—包看懂篇
    發表于 07-19 17:17

    python音頻文件的步驟

    python爬蟲音頻文件
    發表于 08-22 14:23

    Python豆瓣電影信息和存儲數據

    Python——豆瓣電影信息并存儲數據
    發表于 03-11 11:19

    基于彈幕文本的視頻情感識別算法

    構建基于隱含狄利克雷分布( LDA)的彈幕詞語分類,評估彈幕詞語在視頻片段中的多維情感向量,同時,根據視頻片段之間的情感依賴關系推薦視頻的情感片段。所提方法的推薦準確度基于詞頻一逆文檔頻率( TF-IDF)的推薦算法提
    發表于 12-04 10:53 ?1次下載

    Python CSDN的極客頭條

    Python 如何CSDN的極客頭條呢?
    的頭像 發表于 03-21 14:58 ?4798次閱讀
    <b class='flag-5'>Python</b> <b class='flag-5'>爬</b><b class='flag-5'>取</b>CSDN的極客頭條

    Python爬蟲網站

    后來發現,其電視鏈接都是在文章里面,然后文章url后面有個數字編號,就像這樣的http://cn163.net/archives/24016/,所以機智的我又用了之前寫過的爬蟲經驗,解決方法就是
    的頭像 發表于 04-16 12:52 ?2783次閱讀
    <b class='flag-5'>Python</b>爬蟲<b class='flag-5'>爬</b><b class='flag-5'>取</b>美<b class='flag-5'>劇</b>網站

    到底可不可以設計一個物聯網彈幕

    物聯網彈幕器將會采集一個溫度傳感器的數據并簡單處理一下,發送給云端實現設備上報數據的功能;在云端,我打算做一個Web應用,你可以理解為制作一個網頁(我已經玩過了,發現網頁代碼編寫炒雞簡
    發表于 05-28 17:58 ?0次下載
    到底可不可以設計一個物聯網<b class='flag-5'>彈幕</b>器

    彈幕信息下的多目標視頻分類任務綜述

    文中探究了彈幕信息協助下的視頻多標簽分類任務。多標簽視頻分類任務根據視頻內容從不同角度賦予視頻多個標簽,與視頻推薦等應用緊密相關。多標簽視頻數據集的髙標注成本和對視頻內容的多角度理解是該研究領域面臨
    發表于 04-20 11:13 ?5次下載
    <b class='flag-5'>彈幕</b>信息下的多目標視頻分類任務綜述

    如何用python抖音app數據

    記錄一下如何用pythonapp數據,本文以抖音視頻app為例。
    的頭像 發表于 03-16 09:07 ?5262次閱讀

    基于鴻蒙適配移植的開源彈幕解析繪制引擎項目

    項目介紹 項目名稱:開源彈幕解析繪制引擎項目 所屬系列:鴻蒙的第三方組件適配移植 功能:支持顯示、隱藏、顯示、暫停、繼續、發送、定時發送彈幕 項目移植狀態:完成 調用差異:無 開發版本:sdk5
    發表于 04-11 10:38 ?2次下載

    Scrapy怎么Python文件

    我們介紹了Scrapy框架運行基本原理,緊接著我們介紹了如何利用Scrapy文本數據
    的頭像 發表于 02-24 15:16 ?557次閱讀
    Scrapy怎么<b class='flag-5'>爬</b><b class='flag-5'>取</b><b class='flag-5'>Python</b>文件