
<html><body style="word-wrap: break-word; -webkit-nbsp-mode: space; line-break: after-white-space;" class="">Hi Stefan (and the rest of the community),<br class=""><br class="">To give you an update, two days before we upgraded one of our Route servers with Kernel version 4.9 and at the same time we upgraded Bird to version 1.6.8<br class=""><br class="">Situation became worse, the customer who reported the bug, 6 hours after the maintenance he complained for severe flapping. After checking the logs, we could clearly see that his IPv6 BGP session was flapping 3-4 times per hour. Always the same “Hold timer expired” reason. <br class=""><br class=""><br class="">We tried:<br class=""> - sysctl -w net.ipv6.route.max_size=65536<br class=""><br class=""><div class="">Apparently didn’t work much and the flapping continued. Then we tried:</div><div class=""> - <span class="">ethtool -K eth1 tx-gso-partial off. (per Stefan’s recommendation)</span><span class=""><br class=""><br class=""></span></div><div class=""><span class=""><br class=""></span></div><div class=""><span class="">That seemed to bring some stability for few hours. But during night it started crashing again and we also observed some flapping during the morning. </span></div><div class=""><span class=""><br class=""></span></div><div class=""><span class="">Now we applied the "</span>net.ipv6.route.max_size = 2147483647” in an attempt to make it more stable, after digging around the net and discovering the following thread:</div><div class=""><br class=""></div><div class=""><a href="https://bugs.debian.org/cgi-bin/bugreport.cgi?bug=861115" class="">https://bugs.debian.org/cgi-bin/bugreport.cgi?bug=861115</a></div><div class=""><br class=""></div><div class=""><br class=""></div><div class="">But this is really weird and not much in the logs to figure out the root cause. But thank’s for the tip and sorry for the late reply.</div><div class=""><br class=""></div><div class=""><br class=""></div><div class=""><br class=""></div><div class="">Best regards,<br class=""><br class="">Stavros Konstantaras | Sr. Network Engineer | AMS-IX <br class="">M +31 (0) 620 89 51 04 | T +31 20 305 8999<br class=""><a href="http://ams-ix.net" class="">ams-ix.net</a><br class=""><div class=""><br class=""></div><span class=""><br class=""></span><blockquote type="cite" class="">On 13 Mar 2020, at 09:28, Stefan Jakob <tinysammy@gmail.com> wrote:<br class=""><br class="">Hi Stavros,<br class=""><br class="">Try to disable all those low level NIC driver thingies like TCP Segment Offloading (TSO).<br class=""><br class="">F.e.<br class=""><br class="">ethtool eno1 -K tso off<br class=""><br class="">gso off<br class=""><br class=""><br class="">Rgds, SJ<br class=""><br class="">Stavros Konstantaras <stavros.konstantaras@ams-ix.net> schrieb am Fr., 28. Feb. 2020, 12:43:<br class="">Hi Bird community,<br class=""><br class="">We are investigating a weird customer issue regarding our Bird Route Servers (version 1.6.3) and a specific IPv6 session. Customer reports a sudden drop of his IPv6 session and -until now- we could not relate those drops with any issue or instability. Everything seems normal and no other customer complained at the moment of the incident. <br class=""><br class=""><br class=""><br class="">After some packet capturing at the moment of the event, we discovered that BIRD does not send a response messages to the customer’s BGP keepalive messages (see attached picture), which result to the BGP hold timer to expire and the sessions to be dropped. We observed this anomaly with both RSs but at different time slots and the tcpdump capture was running at the Interface were Bird is sending all BGP traffic for customers. At the moment of the event, we didn’t do any maintenance or other RS related work.<br class=""><br class="">Has any of you experienced this in the past? If yes, how did you solve this?<br class="">Any related feedback is welcomed. <br class=""><br class=""><br class=""><img id="m_-6863762393293666310F99EBDE9-2304-4C56-A338-4C78B8508672" src="cid:2B48E0CF-CE94-44EE-9AF9-B8491A50B723" class=""><br class=""><br class=""><br class=""><br class=""><br class=""><br class="">Best regards,<br class=""><br class="">Stavros Konstantaras | Sr. Network Engineer | AMS-IX <br class="">M +31 (0) 620 89 51 04 | T +31 20 305 8999<br class="">ams-ix.net<br class=""><br class=""><span id="cid:170d2fe16fa7596abc01"><image-2020-02-21-10-13-53-698.png></span><span id="cid:%3C%3E"><image-2020-02-21-10-13-53-698.png></span><br class=""></blockquote><br class=""></div><br class=""><br class=""><div class="">

<div dir="auto" style="caret-color: rgb(0, 0, 0); color: rgb(0, 0, 0); letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; -webkit-text-stroke-width: 0px; text-decoration: none; word-wrap: break-word; -webkit-nbsp-mode: space; line-break: after-white-space;" class=""><br class=""></div>

</div>

<br class=""></body></html>