ガベージコレクタは、どこからも参照のなくなったインスタンスを解放します。これは逆に言うと、どこかに参照が残り続けていると解放されないことを意味します。
アプリケーションを長く実行する場合、ずっと保持し続ける変数にインスタンスを入れると、その変数を使わなくなるまでメモリを確保し続けます。
また、インスタンスを登録する仕組みはあるけど、削除する仕組みのないクラスを作ってしまうと、どんどんメモリを食い潰すことになってしまいます。
そういった際に、メモリが徐々に食い潰されていく現象を「メモリリーク」と呼びます。メモリリークが発生すると、アプリケーションが不安定になったり、強制終了したりします。