数据科学家工作台的主体框架:项目、数据集、模型、服务、监控、共享集及用户都是在idsw-portal项目中实现,并通过docker容器提供。
当用户testA登录数据科学家工作台时,同时会创建testA-notebook容器。
其中,项目、数据集、模型、服务等都在idsw-portal中通过用户管理。
而项目中的notebook,实验,python文件等则是通过notebook容器管理。
(用户数据实际上是分为两部分:idsw-portal--->mysql;idsw-notebook--->容器)
本地安装
首先从GitHub克隆源码(玄德的github库)
https://github.com/xuande/idsw.git
修改配置文件src/main/resources/datasource.properties
dataSource.driverClassName=org.gjt.mm.mysql.Driver
dataSource.url=jdbc:mysql://10.110.13.208:3307/idsw?useUnicode=true&characterEncoding=utf-8&allowMultiQueries=true&useOldAliasMetadataBehavior=true
dataSource.username=root
dataSource.password=123456
修改配置文件src/main/resources/docker-java.properties
DOCKER_HOST=tcp://10.110.18.216:2375
修改配置文件src/main/resources/idsw.properties
HDFS_URL=hdfs://10.110.18.18:8020
IDSW_HDFS_PATH=/data/idsw
KERBEROS_ENABLE=false
[email protected]
JUPYTERHUB_URL=http://10.110.18.216:8000
IDSW_URL=http://idsw-portal:8080/idsw
EXTRA_HOST=namenode:10.110.18.18,datanode:10.110.18.10,livyserver:10.110.18.10
修改配置文件webapp/WEB-INF/keycloak.json
{
"realm": "indata",
"auth-server-url": "http://10.110.13.208:8380/auth",
"ssl-required": "none",
"resource": "idsw-local",
"public-client": true
}