文章詳情頁
java - hadoop數據查找
瀏覽：111日期：2024-02-06 11:45:32
問題描述
使用hadoop查找文件中是否含有某些字符串，也就是要查找出set(string)中每個string對應的那一行，每條數據都不重復，請問怎么可以快速的找到呢？我寫了簡單的
# map.shawk -F '03' ’$3==xxx{print $0}’ -
結果慢的要死，一直動不都不懂，請問有快點的辦法嗎？最好是可以一次性找出集合中所有的
問題解答
回答1：這個寫MR吧，如果你想省事就把數據導入到hive中，用sql 來解決
標簽：
java
相關文章：
1. yii2中restful配置好后在nginx下報404錯誤2. java - 我在用Struts2上傳文件時，報以下錯誤怎么回事？3. ruby - gitlab托管，git clone 失敗？4. javascript - js 寫一個正則 提取文本中的數據5. 算法 - python 給定一個正整數a和一個包含任意個正整數的 列表 b，求所有<=a 的加法組合6. android - scrollView和listview滑動沖突7. android 如何實現如圖中的鍵盤上的公式及edittext的內容展示呢8. WEB-INF / classes /與WEB-INF / lib / *。jar在類路徑優先級？9. c++ - 如何正確的使用QWebEngineView?10. angular.js - react的redux和vue的vuex，angular呢
排行榜
網公網安備