本文主要包括：
- 以yarn-client方式提交spark任务，任务一直卡在ACCEPTED状态
- spark on yarn任务提交缓慢解决
org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient报错，问题排查
本文主要包括：
- org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient报错，问题排查
azkban从编译开始安装
本文主要包括：
- 如何下载Azkaban稳定版代码
- 如何构建Azkaban源码
- 如何配置Azkaban
- 启动Azkaban注意点
emacs手动安装、解决不能使用中文输入法
vim使用手册
本文主要包括：
- vim使用手册
linux杂记
本文主要包括：
- shell常用语法
- shell实用命令
Selenium与PhantomJS踩过的坑
本文主要包括：
- Selenium与PhantomJS踩过的坑
python调用jenkinsAPI构建jenkins，并传递参数
python实现scp功能
最近公司有一个需求，需要把服务器A上的任务放到服务器B上，因为B上有HTTP，并且可以被外网访问，但是直接通过shell的scp，每次都需要输入密码。这里用python简单实现一下
直接上代码：
import paramiko
import sys
def deleteRemoteFile(dt):
ssh = paramiko.SSHClient()
ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy())#第一次登录的认证信息
ssh.connect(hostname='192.168.72.208', port=22, username='gold', password='gold!23') # 连接服务器
stdin, stdout, stderr = ssh.exec_command('rm /home/gold/data//*') # 执行命令
ssh.close()
def uploadFile2Remote(dt):
transport = paramiko.Transport(('192.168.72.208', 65522))
transport.connect(username='gold', password='gold!23')
sftp = paramiko.SFTPClient.from_transport(transport)
sftp.put('/home/gold/data/broad.png', '/home/gold/data/broad_%s.png' % dt)
transport.close()
if __name__ == '__main__':
unix_ts = sys.argv[1]
deleteRemoteFile(unix_ts)
uploadFile2Remote(unix_ts)
注意：
- 这里有一个坑，就是sftp在put的时候，需要把在208服务器上的文件名写出来，代码执行的逻辑想当于先touch 一个文件，然后往这个文件里写数据，如果不加文件名，直接到文件夹，就会报错
具体的可以参考：
python实现ssh及sftp功能
hive杂记
本文主要包括：
- hive中的复杂数据类型数据如何导入(array)
- hive中load数据到分区和add partition的区别：
- hive引用udf的jar报无效
- hive实现job并发执行
- 验证hive两个join的结果是否相等