作为电子计算机和博弈论的发明人，这两项中任何一个都足够让冯·诺伊曼名垂青史。他还参与了曼哈顿计划，并且长期作为美国政府和军方的顾问，著名的兰德公司早期也是得益于他而声名鹊起。维基上冯·诺伊曼的条目里提到，他对“集合论、泛函分析、量子力学、遍历理论、几何学、流体力学、经济学、线性规划、博弈论、计算机科学、数值分析、空气动力学、统计学以及其它数学分支”都做出了贡献，以他的名字命名的包括“冯·诺伊曼代数、冯·诺伊曼结构（计算机）、冯·诺伊曼对位变换定理、冯·诺伊曼基数指派、冯·诺伊曼元胞自动机（计算机）、冯·诺伊曼稳定（博弈论）、冯·诺伊曼解释（量子力学）、冯·诺伊曼测量方案（量子力学）、序数的冯·诺伊曼定义、冯·诺伊曼熵、冯·诺伊曼等式、冯·诺伊曼悖论、冯·诺伊曼正则环、冯·诺伊曼-博内斯-哥德尔集合论、冯·诺伊曼全集、冯·诺伊曼猜想、冯·诺伊曼不等式、斯通-冯·诺伊曼定理、冯·诺伊曼迹不等式、冯·诺伊曼稳定性分析、冯·诺伊曼平均遍历定理、冯·诺伊曼-摩根斯顿效用函数、ZND爆炸模型（N为诺伊曼的首字母）……”
几条读书过程中有关冯·诺伊曼的读书札记，摘录如下，看一下真正的天才是什么样的……
据说冯·诺伊曼10岁就已经读完了 Oncken 编著的百科全书式的世界史，并且可以拿当时一战的事件与历史做比较，讨论两者的军事理论和政治策略。二战一开始，冯·诺伊曼就确信盟军将赢得战争。在他大脑中的数学模型中，盟军经过缓慢的启动过程之后，必定会因为工业的优势而取得胜利。
传说冯·诺伊曼精通匈牙利语、德语、法语、英语、希腊语和拉丁语。
冯·诺伊曼1921年在布达佩斯大学注册，同时在柏林大学注册。1923年进入苏黎世联邦理工学院攻读化学工程，1925年取得博士学位。1926年拿到布达佩斯大学的数学博士学位。尤金·维格纳是他的同学，维格纳后来说，意识到跟冯·诺伊曼相比，他自己只能成为一个二流的数学家，所以他改行去学物理了。
冯·诺伊曼可以心算八位数的除法，他还可以在大脑中虚拟编制和修改计算机程序。 冯·诺伊曼说过，人一过26岁，数学才能就会下降，仅仅是由于经验的积累，才使这种下降被掩盖起来，但也只能掩盖一小会儿而已。当他自己过了26岁之后，他又把26岁这个年限提高了。
冯·诺伊曼爱听奇闻轶事，也爱传播奇闻轶事。很多人都觉得他好像是在收集它们做统计学研究一样。要是现在，冯·诺伊曼绝对是个饭否话痨。冯·诺伊曼还爱编黄段子玩。他还坚信，女人应该学会忍受她们所爱的男人所讲的黄段子，这是夏娃的咒语。
冯·诺伊曼的祖父是个犹太银行家，钱多的没处用，买了个贵族头衔。所以冯·诺伊曼也是个世袭贵族，他自己名字里的“冯”（von）就是贵族头衔的标志。经常有业务客户送冯·诺伊曼的祖父各种小礼物，其中有纺织企业赠送的小纪念品。由于那时候纺织厂已经把穿孔纸片用在编织工艺上用于织出花纹，所以有人推测，后来的计算机穿孔纸片的灵感就来源于此。巴赫的《赋格的艺术》有若干音调没有规定用什么乐器演奏，这给年少的冯·诺伊曼留下了深刻的印象。有人猜测，这是存储程序计算机概念的一个来源。
据说普林斯顿有一则笑谈，认为冯·诺伊曼是一位半神。当然，他不是普林斯顿唯一的半神，因为普林斯顿还有爱因斯坦和哥德尔。有次爱因斯坦要去纽约，冯·诺伊曼自告奋勇开车送他去火车站，然后故意把他送上了一列相反方向的火车。冯·诺伊曼开起车来十分强悍，不顾一切。大约一年毁一辆车……请对比上一句送爱因斯坦去车站……
冯·诺伊曼非常喜欢游戏和玩具，虽然这一点由于玩具商的广告利益需要而被媒体过分夸大了。他曾经用一箱修理工玩具来研究机器能否复制它自己，但研究进展的不成功，他最后把这箱玩具送给同事的孩子了。有些时候，冯·诺伊曼的某些做法也很孩子气，他和控制论的创始人维纳有小小的不和。有一次维纳作报告时，他坐在第一排大声念纽约时报。
冯·诺伊曼在记忆力方面就是活生生的谢尔顿。他读遍了几乎所有的百科全书式的大部头的历史书，诸如罗马帝国衰亡史和全套的剑桥古代史，并且全部牢记于心。他曾经当众从头开始背诵《双城记》，直到背诵了一刻钟之后大家让他停止。某位拜占庭史专家来普林斯顿访问的时候，与冯·诺伊曼就某个历史事件的具体日期产生了分歧。结果一翻书，冯-诺伊曼是对的。
曼哈顿计划里有如此之多的匈牙利裔科学家，在统计学角度来看几乎不可能。当被问起此事时，冯·诺伊曼解释为文化因素造成的巧合。冯·诺伊曼本人帮助美国军方选定原子弹的轰炸目标，这张便签纸保存在国会图书馆，上面是冯·诺伊曼亲笔写的"东京、广岛、横滨、小仓"。后来，冯·诺伊曼因为癌症引发的巨痛而导致晚上经常说梦话。考虑到他参与了如此多的绝密计划和他那惊人的记忆力，为防止泄密，他身边所有的护理人员都是军方特工。
冯·诺伊曼决定在普林斯顿建造更好的计算机，这个想法在普林斯顿没有什么反响，爱因斯坦认为计算机无助于提出统一场论。冯·诺伊曼只好去海军，声称计算机可以预报天气，避免诺曼底登陆那样受天气影响的窘境，最终获得了军方的资助。 当冯·诺伊曼的计算机建造完成进入测试阶段的时候，需要人工计算来校核计算机的结果。于是，冯·诺伊曼和他的计算机同时开始解数学题。结果，冯-诺伊曼先得出了答案……计算机建成后，冯·诺伊曼的夫人成为了第一批程序员之一，承担了很多编程工作。
冯·诺伊曼五十年代的时候说，“跟俄国人交战不是是否的问题，而是什么时候的问题。”冯·诺伊曼还说，“如果你说明天用原子弹轰炸苏联，我会问为什么不是今天？如果今天五点去轰炸，我会问为什么不是一点就出发？”冯·诺伊曼又说，“人为什么是自私的和不守信用的根本不需要解释，就像除非电场形成回路否则磁场不会变化也不需要解释。”
冯·诺伊曼最著名的一句话，“如果你不觉得数学很简单，那是因为你不知道生活有多复杂 ”。
