我所专注的电信系统评估,需要调整多个参数,往往得画出数百张效能评估图来找出最佳解答。
最常面临的问题之一是所谓的「维度诅咒」(Curse of Dimensionality)。当數據的维度(亦即参数)增加后,要找到所有可能参数组合的困难度会迅速倍增至无法处理的地步。维度诅咒的挑战,正如我们在AI或大数据领域所面临的困境:当信息过于庞杂,人类必须寻找方法「降维」,才能以有限的视角理解无穷的世界。
这个问题由发明动态规划(Dynamic Programming)的理查・贝尔曼(Richard Bellman, 1920~1984)所提出。他的「维度诅咒」警告,提醒我们在多维度情境下计算与查找的困境。后续并没有单一数学家「解决」这个问题,而是透过一系列方法来部分缓解,例如降维(Dimension Reduction)、主成分分析(PCA)、随机投影等。
在众多相关学者之中,戴尔可尼司(Persi Diaconis;1945年生)的故事特别引人入胜。
他出生于音乐世家,曾在世界著名的茱丽亚学院(The Juilliard School)研修小提琴近9年。14岁时,他遇到美国魔术大师维农(Dai Vernon, 1894~1992),觉得魔术比拉小提琴更有趣,于是逃家跟随维农各处巡回表演。16岁时,他独立行走江湖卖艺。
24岁时,他深感魔术技巧进入瓶颈,应该寻求一些理论基础,以提升他的表演。因此,他在书店找到一本机率的入门书《Introduction to Probability Theory and Its Applications, Vol. I》,由斐勒(William Feller, 1906~1970)所写。结果发现难以理解,于是决定进大学学习机率。最终,他成为史丹佛大学统计系的Mary V. Sunseri讲座教授。戴尔可尼司并没有「解决」维度诅咒,但他的研究在随机性、马可夫链与高维几何方面提供降维与分析的启发,对相关领域影响深远。
当维度降到2或3时,结果就能以统计图表呈现。常用的统计图表包括圆饼图(Pie Chart)、曲线图(Line Graph)和条状图(Bar Graph)。
许多人以为圆饼图是由南丁格尔(Florence Nightingale, 1820~1910)所创,事实上,最早的圆饼图是由英国工程师暨政治经济学家普莱菲(William Playfair, 1759~1823)所发明。他曾担任发明蒸气机的瓦特(James Watt)的助理,帮忙绘制工程图,也参与不少发明。他在1801年的著作《统计学摘要》(Statistical Breviary)中首次使用圆饼图,显示土耳其帝国在亚欧非三洲所占的面积。
南丁格尔的贡献则在于善用图表来推动改革。她在克里米亚战争中观察到病死的士兵远多于战死者,但仅靠数字报告难以引起重视。于是她创造了一种玫瑰图(Coxcomb diagram),这是一种与圆饼图相似的放射状图表,用以强调护理改革的成效。她的图表设计虽然被部分统计学家批评「不易精确比较」,但在当时确实发挥巨大说服力,让英军投入更多资源改善医疗条件,拯救无数生命。
相较于圆饼图,条状图在大部分情境下表达信息更好。条状图同样是由普莱菲所发明,他常说「文不如表,表不如图」: 这句话也是我写论文时所奉行的准则。
在爱丁堡有一条楼梯小径纪念普莱菲。他的名字也取得很妙。我常说:「Playfair used graphs and charts to play fair」。