在线交互式示例
主要是《图解税收大数据分析》一书的示例,用Shiny APP及Tomcat Web APP封装并在线部署,以便感性体验。
其中墨尔本房价回归模型演示了上面架构图中Java EE集成底层数据分析应用的三条路径:
1、Java EE APP嵌入Shiny APP,即时交互,图文并茂。
2、Java EE APP通过Rserve调用R语言,充分利用R语言的作图能力及Rmarkdown生成分析报告的能力。
3、Java EE APP通过gRPC调用Python,紧耦合的方式适用于比较成熟的数据应用模型,只需要数据结果的场景。
其它示例则演示了连接云数据库、图数据库、GIS、文本数据的应用场景,以及NLP深度学习的落地应用场景。
这是一个完全状态的实验服务器,除了没有GPU,不过演示用途已经足够。另外一个
带GPU的实验服务器已经装好,需要时也可以启动演示。
Shiny APP 嵌入示例
sliderInput mtcars示例,简单的Tomcat Web APP中嵌入Shiny APP例子,以便感性了解。
微博词云示例,文本分析例子,wordcloud2生成的词云图是一个htmlwidget,在JavaScript库的支持下有动态交互的能力。
Radiant示例,Radiant是一个运行在Shiny上的R语言可视化机器学习教学软件,各种数据探索与常用机器学习算法都有。小hack一下,增加了从云端加载数据的能力。
发票货劳名称识别示例,这个实例跑在CPU上,使用HanLP NLP深度学习预训练模型,底层是深度学习框架PyTorch或Tensorflow支持。
GIS地理编码服务示例,这个例子在Shiny APP中用IFRAME嵌入各大GIS服务商的JavaScript API地图调起服务。
墨尔本房价回归模型示例(Python模型),这个实例也可以跑在GPU上,不过跑在CPU上的性能更好一点,可能是数据集的问题,数据太少了;也可能是GBDT回归算法的特点,需要进一步了解。
墨尔本房价回归模型示例(R语言Tidy模型),这是把上例中底层的Python回归模型用R语言Tidy Models工具套件来实现,从Java->R->Data直通到底,演示性质暂时只有SVM、随机森林、XGB、CatBoost、LightGBM 5种算法。
GPT-4 聊天机器人示例,Python API调用 GPT-4,Shiny APP UI封装。
ChatGPT用户自定义函数 示例,ChatGPT会根据需要自动通过gRPC调用我的服务器上部署的墨尔本市房价异常值查询函数
get_Melbourne_Outliers(),并在对话上下文中使用具体的数据。这是通过大语言模型提供行业专业服务的一种低成本的快捷方式,对用户数据与隐私提供了较强的保护。你可以用“请找出墨尔本市房价异常值的前3条。”这样的对话来激活它。
OpenAI 个人税费AI助手示例,调用OpenAI自定义AI助手根据《自然人税费事项办理指引》回答个人所得税办理的有关问题,快速构建行业AI咨询。
文心一言聊天机器人示例,Python API调用文心一言,Shiny APP UI封装。
讯飞星火聊天机器人示例,Python API调用讯飞星火,Shiny APP UI封装。
通义千问聊天机器人示例,Python API调用通义千问,Shiny APP UI封装。
腾讯混元聊天机器人示例,Python API调用腾讯混元,Shiny APP UI封装。
GraphRAG聊天机器人示例,
这个GraphRAG示例Shiny APP选取了Stackoverflow中“neo4j”标签下的1000条问题和回答建立知识图谱。
如果选择了使用RAG,则在对话中会根据所提的问题在知识图谱中查找最相似的问题,返回余弦相似度>0.7
的前两个问题及其答案,作为附加材料补充进提示词中,然后指示LLM按照提示词中的上下文及附加材料回答,
并在回答的末尾作为可信的信源附上附加材料的原始链接以备查验,从而有效克服了LLM的幻觉和知识截止问题,
更适用于法律、金融、医疗等准确度要求很高的领域。
GraphRAG Agent示例,
这个GraphRAG示例Shiny APP选取了网络小说《悟空传》的前7章建立知识图谱来回答问题。 对话中Agent会根据所提的问题选择是否查询知识图谱,如果是全局性的问题,会使用知识图谱中预先生成的社区摘 要来回答问题;如果是局部性的问题,会在知识图谱中查找最相似的问题,并找到最相关的其它材料来回答问题。用户可以与Agent自由的交流,Agent会在普通对话、全局查询和局部查询之间无缝衔接,并给出知识图谱中的信息来源以供查验。
因为是要求准确的回答,LLM受到指示,如果不知道答案就回答不知道。所以RAG实际上是Prompt Engineering 的一种形式,它有效克服了LLM的幻觉、知识缺失和知识截止的问题,GraphRAG则通过使用知识图谱检索逻辑上深度相关的 附加材料,让LLM的回答更准确更有深度,更符合现实世界的客观事实与逻辑,更适用于法律、金融、医疗、教育等 准确率要求很高的领域。
软件开发文档GraphRAG聊天Agent,
这个GraphRAG示例Shiny APP基于某公司的软件开发文档建立知识图谱来回答问题。 对话中Agent会根据所提的问题决定是否查询知识图谱,以找到最相关的开发文档来回答问题。
微博热词,返回一个词频统计Excell数据表格,表格的浏览编辑由客户端的Excell等自动打开执行。
微博词云,返回一个词云统计图。在服务器端后台运行headless浏览器,测试与截图WEB应用程序,这是比较有用的自动化测试技术。
墨尔本房价分析报告,选择分析算法与异常值阀值,返回PDF格式的分析报告。调用Python模型生成数据,R markdown生成报告。