Mesmo sem uma página inicial, ele carrega a instrução "about:blank",que na verdade é uma página vazia armazenada como recurso num arquivo do Internet Explorer. Se você exibir o código fonte dela poderá ver...

Adicione "-nohome" como parâmetro no atalho que você usa para abri-lo. Por exemplo, clique no ícone do IE que você usa com o botão direito, escolha "Propriedades". Na guia "Atalho", acrescente -nohome no final, com cuidado para deixá-lo fora das aspas. Veja:

Isso fará o IE carregar sem nada quando for chamado por esse atalho. Se você tem outros atalhos, como na barra de tarefas ou na área de trabalho, por exemplo, deverá fazer isso em cada um deles.

Saiba que... O ícone do Internet Explorer que vem como padrão na área de trabalho, não é um atalho comum, e não possui essa tela das propriedades. Se você quiser abri-lo dessa forma, deverá excluí-lo (selecione-o e tecle "Delete"), e então criar um atalho para o que fica no Iniciar. Vá em "Iniciar > Programas", clique com o botão direito no ícone do Internet Explorer e escolha "Enviar para > Área de trabalho". Assim você pode aplicar essa dica, nas propriedades desse atalho no desktop.