数据科学家工作台的主体框架:项目、数据集、模型、服务、监控、共享集及用户都是在idsw-portal项目中实现,并通过docker容器提供。

当用户testA登录数据科学家工作台时,同时会创建testA-notebook容器。

其中,项目、数据集、模型、服务等都在idsw-portal中通过用户管理。

而项目中的notebook,实验,python文件等则是通过notebook容器管理。

(用户数据实际上是分为两部分:idsw-portal--->mysql;idsw-notebook--->容器)

本地安装

首先从GitHub克隆源码(玄德的github库)

https://github.com/xuande/idsw.git

修改配置文件src/main/resources/datasource.properties

dataSource.driverClassName=org.gjt.mm.mysql.Driver
dataSource.url=jdbc:mysql://10.110.13.208:3307/idsw?useUnicode=true&characterEncoding=utf-8&allowMultiQueries=true&useOldAliasMetadataBehavior=true
dataSource.username=root
dataSource.password=123456

修改配置文件src/main/resources/docker-java.properties

DOCKER_HOST=tcp://10.110.18.216:2375

修改配置文件src/main/resources/idsw.properties

HDFS_URL=hdfs://10.110.18.18:8020

IDSW_HDFS_PATH=/data/idsw

KERBEROS_ENABLE=false
[email protected]

JUPYTERHUB_URL=http://10.110.18.216:8000
IDSW_URL=http://idsw-portal:8080/idsw

EXTRA_HOST=namenode:10.110.18.18,datanode:10.110.18.10,livyserver:10.110.18.10

修改配置文件webapp/WEB-INF/keycloak.json

{
    "realm": "indata",
    "auth-server-url": "http://10.110.13.208:8380/auth",
    "ssl-required": "none",
    "resource": "idsw-local",
    "public-client": true
}

results matching ""

    No results matching ""