{ É necessário declarar Forms,
em versões unicode declare Vcl.Forms }
 
function IsChildFormExist(InstanceClass: TFormClass): Boolean;
var
  I: Integer;
begin
  with (Application.MainForm) do
    for I := 0 to MDIChildCount - 1 do
      if (MDIChildren[i] is InstanceClass) then
      begin
        Result := True;
        Exit;
      end;
  Result:= False;
end;
 
// Exemplo de uso:
procedure TForm1.Button1Click(Sender: TObject);
var
  vAux : Integer;
begin
  if IsChildFormExist(TForm1) then
    ShowMessage('O Formulário está aberto!')
  else
    ShowMessage('O Formulário não está aberto!');
end;