<div dir="ltr"><div>Thanks for the detailed information, this is very informative. I realize</div><div>now that this question was probably off topic for the mailing list and I</div><div>apologize to everyone for that.</div><div><br></div><div>After talking with someone about it, I realized that the problem was that</div><div>my BGP provider (<a href="http://bgp.he.net/AS20473">http://bgp.he.net/AS20473</a>) was indeed direct peering with</div><div>Comcast in a few datacenters but not all their datacenters, causing a heavy</div><div>traffic bias to a few locations. I used one of their BGP communities to AS</div><div>prepend Comcast to discourage direct peering and I'll see if that helps</div><div>spread the traffic more evenly (my guess is that it will, the IP transit</div><div>routes tend to be doing much better).</div><div><br></div><div>Thanks again!</div><div><br></div><div>This is how my bird.conf ended up looking:</div><div><br></div><div>log syslog all;</div><div><br></div><div>router id **MY_IP**;</div><div><br></div><div>protocol bgp vultr {</div><div>  local as 395409;</div><div>  source address **MY_IP**;</div><div>  import none;</div><div>  export all;</div><div>  graceful restart on;</div><div>  multihop 2;</div><div>  neighbor **BGP_IP** as 64515;</div><div>  password "**OBSCURED**";</div><div>  export filter {</div><div>    bgp_community = -empty-;</div><div>    bgp_community.add((64603,7922)); # 64603 = Prepend 3x to Comcast ASN</div><div>(7922)</div><div>    accept;</div><div>  };</div><div>}</div><div><br></div><div>protocol static {</div><div>  route <a href="http://198.51.233.0/24">198.51.233.0/24</a> via **MY_IP**;</div><div>}</div><div><br></div><div>protocol device {</div><div>  scan time 5;</div><div>}</div><div><br></div><div>protocol direct {</div><div>  interface "neocities*";</div><div>  import all;</div><div>}</div><div class="gmail_extra"><br><div class="gmail_quote">On Wed, Sep 21, 2016 at 4:41 PM, Keenan Tims <span dir="ltr"><<a href="mailto:ktims@gotroot.ca" target="_blank">ktims@gotroot.ca</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">These decisions are entirely made by Comcast's equipment - you have very little influence over their routing choices, especially because you do not peer directly with them. They do seem a bit nonsensical - Comcast's internal metrics should know that SEA is closer to PDX than LAX is, and should route accordingly, but this may be done for capacity reasons facing Choopa in Seattle or on the PDX-SEA links, an observation that the majority of Choopa traffic is destined for LA, and Seattle would be a detour, or who knows why else. You could ask Vultr to raise this with Comcast and see if you can get an adjustment or answer, some providers are responsive to this kind of request, but only from a direct customer/peer.<br>
<br>
There is one mechanism built into BGP for influencing route metrics - MED, but this is only transitive to the neighbour AS, so Comcast wouldn't see your MEDs, and it's very common to ignore them anyway.<br>
<br>
The other mechanism for influencing this kind of thing is through BGP community signalling, though this method is usually pretty blunt. Typically you can suppress announcements toward a specific AS entirely, or prepend toward them (lengthening the AS path and affecting BGP route selection); usually you can also modify the localpref of your announcement within your peer's network. The goal being, more or less, to encourage remote networks to avoid the problem AS/link entirely. If you're trying to avoid Comcast's messed up internal routing, your only real option is not to announce toward Comcast at all, and hope that Comcast will hand it off quickly to someone that routes it better. I wouldn't really count on it. Prepending might work, if Choopa and Comcast are peers, but if Choopa is a customer, Comcast will likely local-pref their routes above their peering/transit, and AS path length can't defeat this.<br>
<br>
Vultr indicates they support some BGP communities to do this kind of manipulation:<br>
<br>
<a href="https://www.vultr.com/docs/as20473-bgp-customer-guide" rel="noreferrer" target="_blank">https://www.vultr.com/docs/as2<wbr>0473-bgp-customer-guide</a><br>
<br>
Comcast might also support something similar, though it is common to strip communities before passing the routes upstream. You might be able to work with Vultr to have them signal to Comcast that your announcements are backup only or the like, or do so yourself and the Vultr/Choopa routers pass this along. But again, this has the same effect as not announcing to them at all - they will choose a *different* route that doesn't connect directly to Choopa, but it may not be better.<br>
<br>
More or less you're at their mercy.<span class="gmail-HOEnZb"><font color="#888888"><br>
<br>
K</font></span><div class="gmail-HOEnZb"><div class="gmail-h5"><br>
<br>
Quoting Kyle Drake <<a href="mailto:kyle@kyledrake.net" target="_blank">kyle@kyledrake.net</a>>:<br>
<br>
<blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
<br>
<br>
Normally you would use anycast to get you to a DNS server (which doesn't<br>
have to be that near), then a geographic DNS server to get you to the right<br>
CDN element.<br>
<br>
<br>
</blockquote>
That's what I was doing previously, but I need to control the IPs for the<br>
CDN, and I only have the budget for one /24, so I'm trying to make the best<br>
of it. Aside from some occasional weird routing, the network has worked<br>
really well. State has not been an issue for what we're doing (short-lived<br>
HTTP connections).<br>
<br>
I'm just trying to see what the extent of my powers to control weird<br>
routing are. It's odd to see Comcast cold-potatoing connections to the<br>
wrong routes, sometimes on the other side of the continent (<br>
<a href="https://gist.github.com/kyledrake/7a4cd36ea276ec3134b4a51a42a37f48" rel="noreferrer" target="_blank">https://gist.github.com/kyledr<wbr>ake/7a4cd36ea276ec3134b4a51a42<wbr>a37f48</a>). I'm<br>
wondering if there is a way to configure Bird to help steer these sorts of<br>
things a little better, even if it's on a case-by-case or region-by-region<br>
level.<br>
<br>
My apologies if these are all dumb questions. Again, not much anycast<br>
documentation out there (I'm planning to improve this later by putting<br>
together a web resource for people doing this).<br>
<br>
-Kyle<br>
</blockquote>
<br>
<br>
</div></div></blockquote></div><br></div></div>