新书:《数里乾坤——开源节流 用R与Python玩转大数据》

这本书整理了历年学习研究的笔记和文章,剔除了其中包含具体税收业务数据的部分,以便出版或分享,所以部分章节与《图解税收大数据分析》一书有重复,也包含了该书成书后一些新的学习研究文章。主要是从R语言与Python语言两条并行的技术路线,分别介绍了一些常见数据分析应用开源集成解决方案的落地实现,具体见本站开始处的软件架构图及样书,样书包括了前3章及附录的内容。

目录
前言

第一章 简介 开源多层分布式B/S结构数据分析系统
第一节 软件架构图说明
第二节 用Graphviz生成软件架构图
第三节 关于分布式方案的探讨

Python语言部分

第二章 GPU Linux虚拟主机安装配置
第一节 从镜像安装操作系统
第二节 手工安装cuDNN
第三节 安装Anaconda
第四节 配置Jupyter Notebook
第五节 安装Pytorch与HanLP
第六节 安装配置JupyterHub

第三章 回归分析 墨尔本房价回归模型
第一节 集成回归与深度学习
第二节 超参数调整 贝叶斯优化

第四章 深度学习 NLP应用
第一节 HanLP发票货物劳务名称识别
第二节 小数据集测试
第三节 GPU加速
第四节 PyTorch后端

第五章 深度学习 VGG16模型雪豹识别
第一节 获得雪豹图集
第二节 测试VGG16预训练模型
第三节 生成训练集、验证集与测试集
第四节 直接训练一个DNN二分类模型
第五节 在VGG16的卷积基上训练雪豹的二分类模型

R语言部分

第六章 在Ubuntu18上编译安装R语言环境
第一节 编译安装R
第二节 安装Rstudio server
第三节 安装Shiny等常用软件包
第四节 安装Shiny Server
第五节 安装Nginx并配置反向代理
第六节 配置R使用OpenGL图形系统

第七章 用Tidy Models实现墨尔本房价回归模型
第一节 数据探索与预处理
第二节 随机森林模型
第三节 超参数优化
第四节 Tidy Models支持的算法模型
第五节 增加Tidy Models parsnip支持的算法模型

第八章 用Shiny APP封装发布墨尔本房价回归模型
第一节 Shiny APP简介
第二节 房价回归分析APP之Python后端
第三节 房价回归分析APP之Tidy Models后端

第九章 用R markdown生成深度分析报告
第二节 Shiny 交互式动态深度分析报告
第三节 Shiny生成可下载的动态深度分析报告
第四节 在R markdown报告中混合使用各种语言
第五节 用R markdown生成动态幻灯片
第六节 R markdown后台运行Shiny APP

第十章 用R markdown 生成仪表板
第一节 用 R markdown生成仪表板
第二节 在Shiny中使用Echarts

与Java EE 平台集成

第十一章 Ubuntu18 Java语言环境安装配置
第一节 OpenJDK及Tomcat安装配置
第二节 Neo4j安装配置
第三节 rJava及Rserve安装配置
第四节 在Java中调用Rserve

第十二章 Java→gRPC→Python开发环境安装配置
第一节 gRPC Python入门
第二节 gRPC Java 入门
第三节 为gRPC添加SSL与口令保护

第十三章 Java→gRPC→Python业务功能调用实例开发
第一节 运行效果
第二节 Python服务器端
第三节 Java客户端
第四节 Tomcat Web App集成
第五节 用Maven管理Tomcat项目

第十四章 Java 通过Rserve调用R markdown 动态文档
第一节 运行效果
第二节 R语言部分
第三节 Java语言部分
第四节 进一步探讨

第十五章 在Java EE Web APP中嵌入Shiny APP
第一节 Shiny APP嵌入宿主页面
第二节 墨尔本房价回归分析APP
第三节 小结

玩转GPU

第十六章 实现机器学习算法GPU算力的优越性
第一节 R语言测试
第二节 Python测试
第三节 LightGBM官方例子
第四节 XGBoost上跑HIGGS数据集分类
第五节 CatBoost上跑HIGGS数据集分类

图数据库应用

第十七章 Neo4j图数据库应用开发
第一节 Neo4j数据加载
第二节 Python API连接Neo4j
第三节 Shiny 3D网络分析APP
第四节 开发Neo4j自定义函数

大语言模型应用

第十八章 ChatGPT类大模型应用
第一节 ChatGPT聊天机器人Shiny APP
第二节 ChatGPT函数调用功能Shiny APP
第三节 ChatGPT连接微信个人订阅号
第四节 大语言模型的Prompt工程与黑匣子性质

Shiny生态拓展

第十九章 Shiny for Python应用开发简介
第一节 Shiny for Python安装配置
第二节 Shiny for Python APP开发
第三节 Shiny for Python APP实例

附录

附录一 Ubuntu Jupyter Lab matplotlib与igraph中文支持配置
附录二 R markdown 从URL插入图片到PDF
附录三 Ubuntu18 重新安装Nvidia T4 Driver
附录四 用Quarto渲染Jupyter Notebook输出PDF、Word
附录五 Jupyter Lab nbconvert输出PDF
附录六 Python通过RPy2调用R
附录七 在HTTS中使用Let's Encrypt的数字证书