面向大数据与机器学习的分布式系统(System for Big Data & AI)

(1)云原生大数据与机器学习开发计算环境, 研发支持云环境进行大数据处理与机器学习模型开发的WebIDE,包括支持Python开发、Spark任务开发、深度学习开发、可视化工作开发等。

(2)机器学习算法共享与服务系统AlgorithmaShare,研究跨语言跨框架的机器学习算法与模型的统一表示,研究算法的发布与管理,研究算法可扩展的服务接口。

(3)无服务器架构机器学习编程模型与系统框架,研究无服务器架构机器学习模型训练与推理的新型编程模型与运行时。

(4)面向领域的大数据处理与机器学习算法库, 面向领域设计提供简洁的函数编程接口,自动翻译为分布式任务高效处理。

  • 地球大数据专项课题:大数据挖掘分析系统研发, 中科院A类战略先导专项,参与, 2018-01--2022-12

    为地球科学领域科学家研制地球大数据挖掘分析系统EarthDataMiner,汇聚跨领域共性模型,引入人工智能先进算法,支持科学家共享算法与模型,提供代码开发环境与科学工作流建模工具,通过分布式执行环境进行任务高效处理。

  • 可视化大数据应用开发运行平台Haflow, 2013-2016,自主研发

    集成Hadoop/Spark/R等数据分析平台,提供统一的部署管理与数据分析服务;

    开放式架构设计,集成领域模型与优秀的数据分析算法;

    提供web交互界面,用户从组件库智能选择算法,“搭积木”的方式可视化开发数据分析应用。

  • 无服务器架构机器学习的计算模型与系统框架研究, 主持, 国家自然科学基金面上项目, 2020-01--2023-12

  • 公共安全事件预警与态势决策技术:人流量预测与态势可视化, 主持, 中科院科技服务网络项目STS, 2016-01--2017-12

  • 云平台并行数据流程序的中间数据管理优化技术, 主持, 国家自然科学基金青年项目, 2013-01--2015-12

相关论文

  • 科学大数据智能分析软件的现状与趋势, Current Situation and Trend of Intelligent Analysis Software for Scientific Big Data, 中国科学院院刊, 2018
  • Fine-grained Patient Similarity Measuring using Deep Metric Learning, The 26th ACM International Conference on Information and Knowledge Management (CIKM), 2017
  • 可扩展机器学习的并行与分布式优化算法综述, 软件学报, 2017
  • Dependency-Aware Parallel Materialization of Datalog Programs with Spark for Scalable Reasoning, 17th International Conference on Web Information System Engineering (WISE’16), 2016
  • Plogs: Materializing Datalog Programs with MapReduce for Scalable Reasoning, 13th IEEE International Conference on Ubiquitous Intelligence and Computing(UIC), 2016
  • Hug the Elephant: Migrating a Legacy Data Analytics Application to Hadoop Ecosystem, The 32nd International Conference on Software Maintenance and Evolution (ICSME), 2016
  • 分布式文件系统元数据服务的负载均衡框架, 软件学报, 2016
  •  A Lightweight Evaluation Framework for Table Layouts in MapReduce Based Query Systems, The 17th The Asia Pacific Web Conference(APWeb), 2015
  • Scalable Horn-Like Rule Inference of Semantic Data Using MapReduce, The 7th International Conference on Knowledge Science, Engineering and Management(KSEM), 2014
  • A Distributed Cache Framework for Metadata Service of Distributed File System, The 19th IEEE International Conference on Parallel and Distributed Systems (ICPADS), 2013
  • (1)A Distributed Rule Execution Mechanism Based on MapReduce in Sematic Web Reasoning, Fifth Asia-Pacific Symposium on Internetware, 2013