首页 > 代码库 > hivepython 同时读入python 且python脚本中处理外部文件txt

hivepython 同时读入python 且python脚本中处理外部文件txt

2024-08-25 12:29:32   217人阅读

 
找出表test_gid2中每个gid的安装列表中含有文件pkgs中的pkg名字的数据行。
pkgs文件要与python脚本放在一个路径下。
用 transform 的传入数据的时候，不管原文件分隔符是什么样的，在python里面处理都是用“\t”来处理。
test_gid2表包含的字段为：gid,phone_model,usertags,installed_applist
        
tes4.py脚本内容：
 
import codecs
import os
import re
import sys
 
lt1=[ ]
f1=codecs.open(‘pkgs.txt‘,‘r‘,‘utf-8‘)
for i in f1.readlines():
    line=i.strip()
    lt1.append(line)
f1.close()
 
for lines in sys.stdin:
    arr=lines.strip().split(‘\t‘)
    pkgs=re.split(";|,",arr[-1])
    for j in lt1:
         if j in pkgs:
             print ‘\t‘.join(arr)
             break    #避免重复读入数据，一旦有了匹配上的pkg就退出这次循环，去匹配下一行数据
 
注意：add 两个文件到hive中，一个是 py脚本，test4.py  一个是文本文件 pkgs.txt
sql脚本：
 
select TRANSFORM(gid,phone_model,usertags,installed_applist)
USING ‘python test4.py‘
as (gid,phone_model,usertags,installed_applist)
from test_gid2 ;
 
 
=================
pkgs.txt  文件内容格式，一行一个pkgname:

com.tencent.mm

com.tencent.mobileqq

cn.testin.allintest 

hivepython 同时读入python 且python脚本中处理外部文件txt


联系
我们