¿Es posible tener múltiples propiedades de colección de entidades con la misma clase base (TPH) dentro de una entidad?

En mi proyecto utilizo Entity Framework Core 2.0. El siguiente código está ligeramente simplificado. Hay tales modelos:

public class Site
{
    public int Id { get; set; } 
    public string Name { get; set; }
    public ICollection<AudioLink> AudioLinks { get; set; }
    public ICollection<VideoLink> VideoLinks { get; set; }
}

public abstract class Link
{
    public int Id { get; set; }         
    public string Href { get; set; }

    public int SiteId { get; set; }
    public Site Site { get; set; }
}

public class AudioLink : Link
{
}

public class VideoLink : Link
{
}

Utilizo Fluent API para configurar relaciones:

public class AppDbContext : DbContext
{
    public AppDbContext(DbContextOptions<AppDbContext> options) : base(options)
    {
    }

    public DbSet<Site> Sites { get; set; }
    public DbSet<AudioLink> AudioLinks { get; set; }
    public DbSet<VideoLink> VideoLinks { get; set; }

    protected override void OnModelCreating(ModelBuilder builder)
    {
        builder.Entity<Link>()
            .HasDiscriminator<byte>("LinkType")
            .HasValue<AudioLink>(1)
            .HasValue<VideoLink>(2);

        builder.Entity<Site >().HasMany(s => s.VideoLinks)
            .WithOne(l => l.Site)
            .HasForeignKey(l => l.SiteId);

        builder.Entity<Site >().HasMany(s => s.AudioLinks)
            .WithOne(l => l.Site)
            .HasForeignKey(l => l.SiteId);
    }
}

Parece que la migración y la base de datos se crean correctamente. Pero cuando creo un nuevo objeto de sitio:

var site = new Site(){Id = 1, Name = "SiteA"}
var audioLink = new AudioLink(){Id = 1, Href = "abc", Site = site};

context.Sites.Add(site);
context.SaveChanges();
context.AudioLinks.Add(audioLink);// exception occurs
context.SaveChanges();

se lanza la siguiente excepción "No se puede convertir el objeto de tipo 'ApplicationCore.Entities.AudioLink' para escribir 'ApplicationCore.Entities.VideoLink'".
¿Podrías decir qué estoy haciendo mal?