香港二期20181109问题记录

实验模型无法保存到数据库的问题

原因：dsw_viz_node、dsw_viz_node_info两个数据表中关于“模型训练”的组件存在问题。

解决：通过10.110.18.18环境中将对应的数据表进行数据覆盖，解决问题

pyspark通过sparkmagic无法执行问题

原因：10.250.50.149的kerberos票据缓存，以及sparkmagic.json存在问题

解决：进入10.250.50.149，找到livy所需keytab的目录

cd /etc/security/keytabs
klist -kt livy2.service.keytab
kinit -kt livy2.service.keytab livy/[email protected]

通过curl验证livy服务，创建livy session

curl -X POST \
--data '{"kind":"pyspark"}' \
-H "Content-Type:application/json" \
--negotiate -u : 
http://10.250.50.149:8999/sessions

查看livy session状态

curl --negotiate -u : 
http://10.250.50.149:8999/sessions/
 | python -m json.tool

在10.250.50.246查看sparkmagic.json，配置文件位于/data/images/docker-compose/conf/spark/目录

或者查看notebook容器sparkmagic.json文件，位于/etc/jupyter/目录

如果在容器发现存在错误，可以切换到root用户修改su -

密码123456

验证：在idsw的pyspark notebook中执行操作