找回密碼 或 安全提問
 註冊
|註冊|登錄

伊莉討論區

搜索
尊貴會員無限看帖不用回覆認識好友、聊天,分享生活趣事搞笑、娛樂、精彩的影片讓你看
mg刀劍神域無碼神奇寶貝gemg流出
メス堕ちmvsd 052橋子ぜったい贅婿出山高中

休閒聊天興趣交流學術文化旅遊交流飲食交流家庭事務PC GAMETV GAME
熱門線上其他線上感情感性寵物交流家族門派動漫交流貼圖分享BL/GL
音樂世界影視娛樂女性頻道潮流資訊BT下載區GB下載區下載分享短片
電腦資訊數碼產品手機交流交易廣場網站事務長篇小說體育運動時事經濟
上班一族博彩娛樂

[簡]單人房、日照一般

[繁]怪人的沙拉碗05-

[繁]海賊王 航海王 11

[簡]假面騎士GOTCHARD

(4月新番)[繁]怪獸八

(4月新番)[繁]戰隊大
電腦新資訊電腦軟體討論電腦軟體資訊分享電腦硬體討論電腦硬體資訊分享電腦萌化版電腦系統 OS 討論電腦程式設計
電腦設計技術交流圖像設計及交流各類下載工具教學寬頻上網討論
查看: 7881|回復: 3
打印上一主題下一主題

[討論]python爬蟲後建立資料庫的問題[複製鏈接]

Rank: 1

帖子
114
積分
143 點
潛水值
15043 米
跳轉到指定樓層
樓主
發表於 2015-3-1 03:35 PM|只看該作者|倒序瀏覽
所有積分大於負-100的壞孩子,將可獲得重新機會成為懲罰生,權限跟幼兒生一樣。
各位版友好 我是teddy,感謝大家之前為我的問題做解答


想詢問關於python爬蟲後建立資料庫的問題。


是這樣的我之前用python做爬蟲的專案到一個階段了,想問問大家關於爬蟲事後的資料處理,我爬蟲下來的資料有兩樣東西,一個是新聞的網址另一個是新聞的標題,

我預計集成這些資料建立一個資料庫,已利下一個目標「寫一個程式當我在這程式鍵入一個網址時可以自動去比對,若有相同將自動找出來顯示給我」,但是這資料庫要用什麼去建立我就沒什麼概念。
...
瀏覽完整內容,請先 註冊登入會員
分享分享0收藏收藏0支持支持0
如果瀏覽伊莉時速度太慢或無法連接,可以使用其他分流瀏覽伊莉,www01.eyny.com(02,03)。

使用道具檢舉

Rank: 3Rank: 3Rank: 3

帖子
1022
積分
1810 點
潛水值
28410 米
頭香
發表於 2015-3-1 07:49 PM|只看該作者
所有積分大於負-100的壞孩子,將可獲得重新機會成為懲罰生,權限跟幼兒生一樣。
如果 你只是想存  網址和標題   就一般的關聯式資料庫就可以了,如果 還包含 實際網頁的內容以及提供像google 這類搜尋引擎的方式  那就得好好想想要存在哪裡了

去年 稍微試過 Nutch + Hadoop+Solr, 爬到的內容是可以存在 hadoop,索引就靠 solr...    當時試的結果  是搜尋關鍵字可以跑的出來  不過 畫面不好看,solr 索引完的結果  看內容 是存在 local 端  並非存在 hadoop 上面,所以即使 hadoop cluster 沒開啟依舊可以用.
...
瀏覽完整內容,請先 註冊登入會員
若對尊貴或贊助會員有任何疑問,歡迎向我們查詢。我們的即時通或MSN: admin@eyny.com

使用道具檢舉

Rank: 1

帖子
190
積分
38 點
潛水值
5620 米
3
發表於 2015-3-10 06:07 PM|只看該作者
若瀏覽伊莉的時侯發生問題或不正常情況,請使用Internet Explorer(I.E)。
可以做統計啊, 某某東西在某某網站的曝光率, 下載, 被連結率.

使用道具檢舉

帖子
731
積分
1 點
潛水值
16606 米
4
發表於 2015-6-10 10:15 AM|只看該作者
如果你忘記伊莉的密碼,請在登入時按右邊出現的 '找回密碼'。輸入相關資料後送出,系統就會把密碼寄到你的E-Mail。
看網上的資料是用作大數據的,好像很多大型的都是用這個,可以試試看
若瀏覽伊莉的時侯發生問題或不正常情況,請使用Internet Explorer(I.E)。

使用道具檢舉

您需要登錄後才可以回帖 登錄 | 註冊

Powered by Discuz!

© Comsenz Inc.

重要聲明:本討論區是以即時上載留言的方式運作,對所有留言的真實性、完整性及立場等,不負任何法律責任。而一切留言之言論只代表留言者個人意見,並非本網站之立場,用戶不應信賴內容,並應自行判斷內容之真實性。於有關情形下,用戶應尋求專業意見(如涉及醫療、法律或投資等問題)。 由於本討論區受到「即時上載留言」運作方式所規限,故不能完全監察所有留言,若讀者發現有留言出現問題,請聯絡我們。有權刪除任何留言及拒絕任何人士上載留言,同時亦有不刪除留言的權利。切勿上傳和撰寫 侵犯版權(未經授權)、粗言穢語、誹謗、渲染色情暴力或人身攻擊的言論,敬請自律。本網站保留一切法律權利。
回頂部