Question

我正在尝试运行一个连接到IBM DB2的python spark作业。

在我的驱动程序类中，我正在导入以下内容：

import ibm_db 
import ibm_db_dbi
from pyspark import SparkConf, SparkContext
from pyspark.storagelevel import StorageLevel
from pyspark.sql import SQLContext
from src.com.ibm.ei.spark.client.elastic.ElasticSearchClient import ElasticSearchClient
from datetime import datetime, timedelta
import ibm_db_dbi 
from haversine import haversine
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
from matplotlib import gridspec
import logging

当我注释掉ibm_db导入时，我的工作正常。

这是我的命令：

./spark-submit.sh --vcap ./watson-bluemix/streams/udp/bluemix/RegionalLogAnalysis/src/resources/vcap.json --name "LogAggregator" --deploy-mode cluster --master https://169.54.219.20:8443 --py-files ./watson-bluemix/streams/udp/bluemix/RegionalLogAnalysis/dist/RegionalLogAnalysis-0.0.1-py3.5.egg,./zips/elasticsearch-2.3.0.zip,./zips/urllib3-1.14.zip,./zips/haversine-0.4.5.zip ./watson-bluemix/streams/udp/bluemix/RegionalLogAnalysis/src/com/ibm/ei/spark/logs/LogAggregator.py

ibm_db安装过程在我的本地计算机上安装二进制文件。

我可以在我的本地计算机上或任何可以手动安装ibm_db的计算机上运行该作业。

有没有人对成功运行连接到bluemix中的DB2的spark作业有任何见解？

谢谢，亚伦

用ibm_db2运行bluemix spark job

0 个答案: