El truco es usar la propiedad 'Feather' (en Español creo que viene como 'Calar') de la herramienta Selección (o en los menús: Select >>> Modify >>> Feather). Un buen valor es 20. Otra opción sería crear una capa de transparencia, con la misma forma que el objeto al que se va aplicar un borde, aplicándole un degradado en los bordes.
