非常有意思的问题。
为了讨论这个问题，我们先从指数分布的含义入手。
指数分布通常用来建模持续时间，只不过指数分布能够建模的持续时间具有比较特殊的性质，也就是所谓的“无记忆性”：
如果X是一个等待时间，假设服从指数分布，那么X>s即等待时间超过s这个事件，以上公式意味着给定我已经等待了t这么长时间，我要等的时间超过s的概率与t没有关系，只跟s-t有关系。
说人话就是，举个例子，比如我在等公交车，如果等公交车的时间服从指数分布，那么给定我已经等了5分钟，我需要继续等，到第11分钟公交车还没来的概率，与等6分钟公交车没有来的概率相等：未来我还需要等多长时间，跟我已经等了多长时间没有关系。
换个更容易理解的，无记忆性的离散版本是几何分布。比如北京的车牌，假设每次车牌抽签抽中的概率都相等，那么一个一次都没有抽签抽过的人，跟一个抽了50次的人，下一次抽签抽中的概率都是一样的，从而不管一个人抽签抽过多少次，未来还需要抽的次数的分布是一样的，这就是无记忆性。当然，现在北京车牌抽签已经改革了。
可以很简单的想到，比如寿命之类的持续时间变量一般不能用指数分布建模：如果寿命服从指数分布，意味着我还能活多久与我的年龄（已经活了多久）没有关系.....但是我们知道，年龄越大，挂的概率就越高，从而寿命必然不满足无记忆性。
实际上，我们可以使用风险函数来刻画某一刻突然暴毙的风险：
那么如果满足无记忆性，风险函数应该是怎样的呢？
直觉上，无记忆性意味着每时每刻突然到达（结束、暴毙）的可能性与已经等了多长时间没有关系，所以应该是个常数才对。那么是不是这样呢？我们不妨计算一下，如果无记忆性满足，也就是： ，风险函数是多少。
注意到：
根据无记忆性：
从而
带入到风险函数的定义，得到： ，即风险函数为一个与t无关的常数。
如果是这样，我们就得到了：
解以上微分方程，得到： ，注意到当t=0时， ，从而 ，从而：
就得到了指数分布的分布函数。
因而指数分布无非就是：
具有以上的性质，那么等待时间的分布就一定是指数分布。
实际上，对于一个连续时间、离散状态的马尔科夫过程，在任意时刻突然变换状态的“风险”都只与此时此刻的状态有关，跟之前的状态、待在这个状态的时间都没有关系，故连续时间、离散状态的马尔科夫过程中，状态之间转移的等待时间一定是服从指数分布的。
泊松过程刚好就是一个连续时间、离散状态的马尔科夫过程，所以泊松过程的等待时间也是服从指数分布，就不足为奇了。
