Para aparentar dispor de uma grande quantidade de memória...

movendo dados diretamente de um nível para outro qualquer na hierarquia, com base no cálculo da probabilidade de cada bloco de dados ser acessado.

movendo um dado de um nível da hierarquia para níveis inferiores imediatamente após a utilização desse dado, com base na prerrogativa de que, se um item é referenciado num determinado instante, provavelmente não será referenciado novamente em um espaço de tempo curto.

buscando uma informação em um nível de ordem n+1 da hierarquia, somente após certificar-se de que essa mesma informação não está no nível n, superior na hierarquia.

movendo dados de um nível mais próximo ao processador para um nível mais distante, abaixo na hierarquia, quando informações que estejam armazenadas na imediação desse dado forem acessadas.

fazendo um balanceamento dinâmico do número de acessos a cada nível da hierarquia, ao longo do tempo, de forma que todos os níveis tenham o mesmo número esperado de acessos.