数据可视化2021年度目标与计划

朱评漫学屠龙于支离益,单千金之家,三年技成而无所用其巧。

先想好价值有多大,再决定要不要去做一件事情。

人:因我而不同

事:超越寻常,价值体现

计划一定要跟人讲出来,有人评价、讨论,这样才能确定是否合理。

否则自己埋头定、埋头想,很容易走偏。

整体来说,国内的专业基本上没有,国外也只有苗头而已。数据可视化领域现在比较窄,感觉如果把这个作为业务(一种单独的服务)的话,价值链还没有形成,增值空间会比较少,除了一些自由职业者/工作室,或者新闻媒体(Washington Post, Wall Street Journal…etc.),一般人并不那么重视。也就是说,倒退回去,既然企业的需求小,高校又怎么会开设呢?现在没有,未来说不定有可能。

2021 年工作原则

这些是我们组每个人都必须遵循的工作原则,需要时刻给大家讲解强化。

对于我们的 CKI 没有帮助的需求,不要接

必须深度参与业务方的需求制定中去

应该以我们有什么+业务方需要什么相结合的方式去做可视化,因此我们必须深度参与进业务方的需求,影响业务方的需求。

否则单纯接需求做定制化内容,很难有大的价值体现。

2020 年的血泪教训

寄希望于业务方,太被动

我们总是寄希望于业务方去使用我们的组件,但是这个事情主导权不在我们这边,是非常被动的。

1、业务方做可视化有很多选择,不一定选我们

2、和业务方建立的信任,很容易被一些细节上的需求分歧抵消掉

所以我们应该将重心转移到自主可控的产品研发上:内容生成平台。并且随着平台上内容的积累,形成我们的资产库,打造资产和技术壁垒。

明年应该分两条线:

1、经典/常规可视化:组件,自动可视化,降低成本,标准化,宣讲

2、自研产品:将大部分精力放这上面,形成自主可控的关键核心功能

没有明确划分细分领域,分人执行

做事都是一拥而上,每个人缺乏明确的方向,这样大家的工作体验很差,也无法多面开花。

比如精品可视化、工程可视化,这 2 个冲突的内容,我没有分别设置目标和策略。

游击队 VS. 深耕

这个关于平板的回答,可供我们参考:

如何看待雷军提到小米重启平板项目? - 王之葵托利的回答 - 知乎 https://www.zhihu.com/question/443334233/answer/1724395329

联想下,我们是否也面临着这个问题:游击队打别人的一个团、范围太广、逮到个尾巴、没有深耕下沉等等。

要想做得长久,靠游击队模式是绝对不行的。

还有这个回答也是类似的:

前几代平板都体现出了很强的「投机」思想,就是所谓的「浅尝辄止」。给人感觉是不见兔子不撒鹰的做法。或者说,小米平板给人感觉就是「打一枪换一个地方」,没有任何一个传承的持续的设计思路。

跟 GYS 讨论下

提前先把可视化的策略定下来。

另外顺便讨论下今年的总结、贡献度呈现问题。

2021 关键词:能力转化、整合、降低门槛、生态圈、技术圈

2021 的核心就是通过可视化搭建,将可视化相关的设计、理念、组件串起来,开发内容生成平台(短视频、图说新闻、DataV、关系可视化)。

2020 算是团队积累,我们对于可视化和相关实现技术的理解更深入了一层;对于工程化开发可视化组件也形成了规范和套路。

2021 年需要发挥出来这些积累的作用,通过可视化创造更多的业务价值,并在设计和技术上深入挖掘,通过设计和技术驱动可视化发展,形成一个良性循环。

能力转化

将我们积累的可视化能力,向着产品方向转化,包括自有产品和赋能业务方的产品。

整合

结果页面生成-梅老板

banner 生成-我

营销页生成-WYF

数据新闻生成-我

短视频生成-我

文本生成-?

这六个平台,到时组织到一起肯定是个相当牛逼的项目,就看哪边能把头挑起来了。

降低门槛

参考 lSJ 的 11 月总结,我们需要降低可视化的应用门槛,完善我们的平台工具文档等。

生态圈

可视化的画廊、可视化的资讯周报等等。

(TODO 需求)AntV 这个值得我们学习:

https://chartcube.alipay.com/

技术圈

现在梅老板、王中宝、韩如飞、ifind 都在弄可视化,我完全可以创建一个可视化技术俱乐部,大家一起琢磨研究可视化的应用。

从哪里找灵感?

我自己的可视化标签的文章,也给了我非常多的灵感,值得时不时回顾下。

《数据可视化的 TOP10 需求》

《数据可视化讨论 2020.07.29》

《可视化如何给短视频赋能》

《关于 2020 上半年工作汇报的思考》

国外的程序员论坛:

Hacker News

北大、浙大的可视化博客:

http://vis.pku.edu.cn/blog/

这里可以知道当前趋势、该看什么书、该从哪里获取信息等等。

论文

各个公司的专栏、公众号(数可视、镝数、RayData、袋鼠云)

福布斯:

https://www.forbes.com/search/?q=Data%20Visualization&sh=10cbfe87279f

我们是不是得弄一个可视化常用网页的导航页?否则每次查找不方便。

搞个 Chrome 插件也可以。

(TODO)当前用户接收信息的模式在发生什么变更?

这可能是我们可视化发展的一个契机。

公司的战略目标是什么?

可视化必须服务于公司的战略目标,和公司站在一条线上,否则方向就会出问题。

比如全球化布局,那么肯定会有很多地理空间的可视化需求。

方向

我们可视化应该通过技术前瞻性解决业务方接下去一年、三年、五年的问题,有一定的储备量。因此后续的可视化团队建设,应该往下面几个方向去考虑:

能力化

扩展更多的可视化能力

可视化设计:

https://www.amazon.com/Visualization-Analysis-Design-AK-Peters/dp/1466508914

https://www.cs.ubc.ca/~tmm/vadbook/

可视分析中一个经典的流程是 overview first,zoom and filter, then detailed on demand.

自研底层绘图库

(地图的试错案例),扩展自定义能力。

图像技术的研究和应用

比如马良、可视化评估等等。

文本可视化/自动可视化

(TO BE READ)https://geekplux.com/2017/06/26/text-data-visualization

工程化

开发效能,制定可视化组件开发的目录结构(包含设计理念、组件拆分思想)和脚手架

工程化创意设计的套路,让创意不再靠运气、不可捉摸。

平台化&服务化

直接提供可以给产品经理、设计师、运营人员使用的平台,比如短视频生成、可视化页面搭建等

(MIT)AI 化-智能创作平台-智作

结合公司的 AI 部门或者外面的 AI 技术,可能主要还是借助 AI 生产数据,然后做一些内容生成的平台。

专注于 MGC(Machine Generated Content),兼顾 UGC。

智能短视频、图说新闻、文本可视化等等。

构建体系包括:底层的资产管理+中层的数据、AI 技术、可视化技术支撑+上层的搭建与生成技术+分发应用层的 KYC。

特别是与数据结构、图相关的一些 AI 技术,可以好好琢磨下。

技术方面,公司有很多做 AI 的同事,可以找他们咨询下实现方案和可行性。

关于创新想法,目前主要想到如下几个:

www.pinterest.com、花瓣、站酷等网站,自动抓取图片,然后通过图像识别技术自动进行分类,作为我们的可视化设计的想法的源泉。

针对图片生成

(1)通过模板技术+机器学习,实现大规模自动生成、自动识别图片质量
(2)一句话生成运营图,比如你输入一句话,然后根据 NLP 识别到里面的关键信息,自动生成运营图片

现在已经有很多机器学习的图像处理应用了,比如[这个网页](有哪些你一打开,就令你惊讶的网站? - 旁门左道 PPT 的回答 - 知乎 https://www.zhihu.com/question/393259130/answer/1367002105)就介绍了很多工具。

需求文档解析这块,感觉也大有可为:

需求文档->NLP➕ 情感词频->自动可视化

https://mp.weixin.qq.com/s/EE5-s-CppAdh9CyzDHJQ-A

不光是可视化,我们的组件应用也可以这样推广,自动识别需求文档/设计稿中可以组件的部分。

文本可视化

比如你输入一句话,然后根据 NLP 识别到里面的数据、数据类型和逻辑,进而识别到用户的意图,自动分析选择最合适的可视化图表+配色方案,生成可视化结果。

了解下公司谁做这个最牛逼,看能不能跟我们一起做。

注意:这是解决可视化的设计方面的问题。

还有一个需求文档识别,是解决应该可视化,但是没有可视化的问题。

这是 2 个不同的问题,一定要分清楚,别搞混成一堆了。

智能短视频

结合问财的数据,对短视频进行数据类型上的分类(比如排行类、趋势变化类、分布类等等),然后自动匹配模板,生成视频。比如自动生成现在很火的抖音里面那种排名动画。

icon 自动搜索

利用机器学习训练模型,然后自动识别我们上传的所有 icon,给每个 icon 自动打上标签;这样用户搜索的时候,可以随便输入一句话,我们给他推荐最匹配的 icon

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
刚才会上提到的关于前端和AI结合的内容,我这里把想到的列一下(我这边想到的可能比较狭隘,都是和我们组相关的一些内容;实际上应该有很多的场景的):

1、针对图片生成
(1)通过模板技术+机器学习,实现大规模自动生成、自动识别图片质量(这个阿里马良、苏宁千变已经实现过了,我们应该可以沿用,难度上应该不会很大)
(2)一句话生成运营图,比如你输入一句话,然后根据NLP识别到里面的关键信息,自动生成运营图片(NLP可以用问财的)

2、文本可视化,比如你输入一句话,然后根据NLP识别到里面的数据、数据类型和逻辑,进而识别到用户的意图,自动分析选择最合适的可视化图表+配色方案,生成可视化结果

3、智能短视频
结合问财的数据,对短视频进行数据类型上的分类(比如排行类、趋势变化类、分布类等等),然后自动匹配模板,生成视频。比如自动生成现在很火的抖音里面那种排名动画(我们目前在做,AI部分的体现,其实是应用上面的1和2)

4、icon自动搜索
利用机器学习训练模型,然后自动识别我们上传的所有icon,给每个icon自动打上标签;这样用户搜索的时候,可以随便输入一句话,我们给他推荐最匹配的icon(iconfont已经实现了,技术上应该难度不大,网上能找到他们的技术方案介绍)

5、关系图布局算法
比如力导向的参数配置的调整,可以通过机器学习来处理

标准化

开发、管理等等的 SOP,降低管理成本,提升人员成长速度和做事标准

上面这些内容,可以让大家每个人负责一个方向去做调研,然后我们汇总讨论。

数据可视化是很重要的(手段),但不是很重要的(目的)。

核心竞争力&壁垒

我们当前的一个大问题:不专业

我们属于技术应用,壁垒是通过有意识的积累形成的,不要想着一蹴而就,也不要将其想得过于高端/低端。

目前我们组相比于其他团队的优势在于:

1、可视化的绘图技术(2D、3D)

2、可视化设计理论和原则

3、可视化创意库

4、可视化搭建技术

比如 Fabric.js

这些优势很容易被赶上来,还远远不够。我们需要在技术上钻得更深一些。

思考:一个优秀的数据可视化团队,应该具备什么样的人和能力?

5、动画技术

比如基于 Pixi.js 的短视频金融动效组件。这个可以极大增强我们短视频的表现力,是能做出彩的地方。

这也可以成为开发驱动产品的一个案例。

Pixi.js 的源码据说非常优秀。

推广问题

如何推广才能有效到达又不至于引起反感?

主动和公司策略方向结合:四大中台

找四大中台的产品经理聊一下,尽量多的把可视化应用进去。

这里我至少投入一个人吧,专职推广可视化。

分开思考:

如何与产品中台结合?

如何与运营中台结合?

如何与内容中台结合?

如何与推荐中台结合?

分析每个中台的核心和差异性,推荐不同的可视化场景、方案和组件。

PS:可视化分析决策系统是趋势,因此可视化搭建与 BI 可能会是一个应用点。

参考:https://www.zhihu.com/question/263903371/answer/274341323

另外,四大中台是机会还是坑?看准了才下手。

借力

借别人的能力去推广,比如 YLF、ZL、GYS、给我们提需求的产品经理。

用推广换新需求开发。

(?)前瞻性-5 年后的可视化会是什么样的?

5 年后的可视化会是什么样的?

如果我看不到、想不到,那就说明路不通,至少对我是不通的。

接入 KYC

马良接入 KYC

可视化搭建

可以搭建出哪些东西?

可视化搭建的数据源设计

可以参考 Google Charts:https://developers.google.com/chart/interactive/docs/datatables_dataviews

将数据源抽象为基类,提供一个规范和标准,可以自由扩展和实现。

(*)自动可视化

大数据可视化

这个可以看看,可能适用于我们的知识图谱等:

作为 VIS 重要的关联会议,LDAV 2020会议也在线上召开。首先陈述了大会论文接收情况。大会共收到 16 篇文章提交,接收其中 7 篇,接受率为 43%。接下来,来自香港科技大学的屈华民教授带来了名为《大规模可视分析中对于方法论和实践的反思》的专题报告。该报告指出,大规模可视分析流程可以解构为多个不同的环节,包括应用、任务抽象、设计目标/要求分析、可视化设计/可视分析开发和评价。进一步地,屈华民教授针对不同的环节,结合其一系列研究成果分别给出了专业的评述。报告指出可视分析流程中最关键环节是任务抽象,而设计目标/要求分析的环节应当关注可视分析流程的核心,即可视化和分析模型的交互。报告同时引入了三种新颖的可视化设计方法,包含嵌入(Embedding)、集成(Integration)和新颖的图标(Glyph)设计。在报告的最后,屈华民教授着眼于大规模可视分析未来发展方向,指出基于数据自动进行的任务和系统推荐系统是可能是一个颇有潜力的研究课题,同时认为大规模可视分析当前存在系统设计过于复杂的弊病,可以借鉴软件工程流程实现对于可视分析的质量控制。

平台化

轮子中台

现存问题:

  • 信息闭塞,制作组件没有地方推广,很多组重复造轮子
  • 想法闭塞,看看有什么组件可能会产生新的灵感

能解决的问题:

  • 相互分享,部门的轮子能输出,能看到其他部门的轮子
  • 需求推动反馈,带组件走
  • 筛选需求多、应用范围广,真正有价值的组件

cw:

愿景:

  • 类似 github,每天都可以逛逛,推荐、搜索,提供灵感
  • 添加评论、反馈需求功能

做组件的目的是为了让别人去用,然后真正落实在业务里改进业务

轮子中台一个很重要的目的就是让别人看到现在有的组件,这个平台不仅仅是针对开发,而且也针对产品,产品看到一些组件可能会产生一些新的想法来改进现有的业务或者解决某些痛点

当然也可以给组件提需求来改进这个组件,这样其实也做到了一个筛选的功能,筛选出来真正有业务价值,值得维护的轮子

另外其实可以放一些实验性的东西在上面不断探索技术方向以及与业务的结合方向

我感觉平台做大的话完全可以覆盖掉产品中台,定位也可以是探索技术结合业务的方向

lsj:

  • 组件上新 vanish 强推,通知组件更新等
  • 筛选部门内精品组件放入平台

(另外:平台需要大范围强推)

zcj:

我感觉其实可视化应该有很广阔的业务应用场景的;但是现在产品和设计面临的一个问题就是“见少识窄”,没有见过的东西,难以无中生有想出来并加以应用
其实他们很可能有需求,只是无法表达出来
我们的轮子中台应该可以在一定程度上解决这个问题

很多效果其实我们都可以做出来的,在实现上问题不大,关键在于没人能提出来需求

ML 和 Data Science 的展示终端平台

类似 Python 的 plotly:https://plotly.com/

产品化

独立产品

DataV

文档优化

Demo 优化

配置交互的优化

智能短视频

设计中台

目前不够牛逼

可视化搭建

(TODO)可以参考这个数字驾驶舱的宣讲,用高大上的方式去宣传和实现。

(TODO)还可以看下云凤蝶的实现

https://infogram.com/

https://www.visme.co/

可视化应用图表

https://flourish.studio/

(*)可视化基础组件库

http://datav.iwencai.com/platform/config.html

(往下:技术)组件库还有好几个问题没有解决,比如底层绘图库的依赖性、底层绘图库太大的问题、文档不好用的问题、Demo 不够多的问题等。

(往上:能力&业务)在功能扩展上,也有很多可以做的,比如:3D、动画、更多的图形等。

可视化研究与探索

研究不是造空中楼阁,必须要有具体业务和场景支撑。脱离了其他内容,单纯说研究可视化,是一件虚无缥缈的事情,没有明确的目的导向,最终绝对做不成。

我们应该找准一两个点,去结合业务做具体研究。

另外,应该专门绑一个人在这上面,不做其他的,就搞这个!培养一个绝对专业的细分领域的人员。

我们探索类的,可以往这 2 个方向考虑(二个中有一个符合即可):

1、是不是前沿的+我们公司没有的+可以投入实际生产应用的

2、能不能申请专利

金融逻辑中的关系探索

就是目前的知识图谱的这部分内容。做的人必须自己精通这块业务才行。

我感觉只有这个才是 Boss 真正想要的可视化,其他的都是属于可有可无的。包括去年的并购重组,其实也是属于这个范畴的,即:

金融事件如何影响后续股价走势?

解决业务方什么问题

内容创作相关的平台。

内容形式:短视频、运营类的网页、BI 分析、面子工程类(大屏)

走独立项目的方式,依托于可视化相关的核心技术(可视化设计、数据结构分析、2D 绘图技术、3D 绘图技术、可视化搭建),必须形成我们自己的产品!

解决前端什么问题

信息共享问题

现在各个组的经验、技术、工具,很难扩展到组外。

现在这个时代,酒香也怕巷子深,datav 的建设还是得继续,我们的能力展示页面也得继续开发。

文档建设也是一个问题,太分散,都不知道应该从哪里找;之前陈龙搞过百度搜索和 wiki 对接,我们其实可以更进一步,不限制文档的编写工具,但是提供一个统一的搜索平台,可以接入公司不同文档系统的搜索功能;另外可以考虑统计常用的搜索问句,这些常用的问题应该就是我们要优先解决的问题。

编码质量的问题

在程序设计方面比较欠缺。

性能问题

目前依赖于 ZRender,哪怕只用一个折线图,也要引入很大的包。我们需要一个自研的底层绘图库,把容量降下来。

更新记录

2020.11.30

2020 年我们对于可视化和相关实现技术的理解更深入了一层,对于工程化开发可视化组件也形成了规范和套路,并且也扩展了各种关系可视化、3D 可视化、可视化搭建等。

2021 年需要发挥出来这些积累的作用,通过可视化创造更多的业务价值,并在设计和技术上深入挖掘,通过设计和技术驱动可视化发展,形成一个良性循环。

目前考虑了下面几个方面:

**一、能力转化******与价值体现****

将我们积累的可视化能力,向着产品方向转化,包括自有产品和赋能业务方的产品。特别是自有产品方面,希望我们能够结合公司的 AI 部门或者现有的开源 AI 技术,可能主要还是借助 AI 生产数据,然后做一些内容生成的平台,专注于 MGC(Machine Generated Content),兼顾 UGC。构建体系包括:底层的资产管理+中层的数据、AI 技术、可视化技术支撑+上层的搭建与生成技术+分发应用层的 KYC。最终期望推出一些独立的“内容生成”类产品,包括:智能短视频平台、图说新闻平台、设计中台、文本可视化平台等。

目前已经有了一些想法,后面会去找问财部门的同事,一起探索可行性。

**二、降低可视化的门槛**

任何工具都需要被应用起来才能产生价值,因此为了推广可视化,我们需要降低可视化的应用门槛,完善我们的平台工具文档等。

这个方向分为两部分:

1、现有工具平台的优化改进

包括 DataV 平台的改进、可视化 Demo 展示页面的开发、可视化组件应用数据的统计分析

2、用更加高效的方式推广可视化

我们准备尝试下以技术驱动的方式去推广,即每个月通过 NLP+情感词典解析业务方的需求文档,识别出里面的组件需求,然后自动给其推荐对应的可视化组件或者方案。

**三、技术探索和沉淀**

包括:

1、可视化设计能力

2、自研底层绘图库

3、可视化搭建

4、图像技术的研究和应用

5、自动可视化方面的探索

四、****扩展可视化设计的灵感来源****

可视化的推广和设计,目前有一个很大的问题,就在于懂业务的人(产品经理)想不到可视化、懂设计和技术的人员又不懂业务。也就是说限制我们可视化设计水平的很大一个因素是“见少识窄”。

因此我们计划后面做一个可视化设计灵感的素材库,从www.pinterest.com、花瓣、站酷等网站,自动抓取图片,然后通过图像识别技术自动进行分类,作为我们的可视化设计的想法的源泉。然后对产品的需求文档进行解析,抽取关键标签后,从这个素材库里面搜索匹配的图片,推给产品经理和设计师,提升我们可视化设计的想象力。

上述内容会在 12 月份进行详细的规划和分解,最终形成 2021 年的可视化发展计划。

参考资料