Crontab中shell每分钟执行一次HDFS文件上传不执行的解决方案
生活随笔
收集整理的這篇文章主要介紹了
Crontab中shell每分钟执行一次HDFS文件上传不执行的解决方案
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
一、Crontab -e 加入輸出Log
*/1 * * * * /qiwen_list/upload_to_hdfs.sh > /qiwen_list/mapred.log 2>&1
二、查看Log發現,找不到Hadoop
三、腳本中指定Hadoop完整路徑
#!/bin/sh
#upload list to hdfs
yesterday=`date --date='1 day ago' +%Y%m%d`
echo $yesterday
/home/hadoop/bin/hadoop fs -put /qiwen_list/qiwen_${yesterday}.csv /qiwen_list
?
再次執行,問題解決。
創作挑戰賽新人創作獎勵來咯,堅持創作打卡瓜分現金大獎總結
以上是生活随笔為你收集整理的Crontab中shell每分钟执行一次HDFS文件上传不执行的解决方案的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: node.js有哪些框架
- 下一篇: 集算器并行处理大文本文件的示例