<html>
  <head>
    <meta http-equiv="content-type" content="text/html; charset=UTF-8">
  </head>
  <body bgcolor="#FFFFFF" text="#000000">
    Hello,<br>
    <br>
    We use BIRD as route server for a long time without any problems. We
    have both fully symmetric RS for redundancy.<br>
    <br>
    Yesterday we decided to establish "internal BGP session" between
    both of them. The reason to do this is to achieve prefix symmetric
    on both RS. Some of our members hold BGP session only with one of
    our route servers.<br>
    <br>
    But after establishing this BGP session we began to see the
    following message into our logs on both RS for total random prefixes
    on absolutely random intervals.<br>
    <br>
    Here is part of my bird.log:<br>
    07-03-2014 14:19:41 R0_29: Invalid NEXT_HOP attribute in route
    178.254.232.0/21 <br>
    07-03-2014 14:19:41 R0_30: Invalid NEXT_HOP attribute in route
    178.254.232.0/21 <br>
    07-03-2014 14:18:52 R0_52: Invalid NEXT_HOP attribute in route
    79.140.156.0/22 <br>
    07-03-2014 14:18:52 R0_52: Invalid NEXT_HOP attribute in route
    79.140.148.0/22 <br>
    07-03-2014 14:18:52 R0_52: Invalid NEXT_HOP attribute in route
    79.140.144.0/20 <br>
    07-03-2014 14:18:52 R0_52: Invalid NEXT_HOP attribute in route
    79.140.152.0/22 <br>
    07-03-2014 14:18:52 R0_52: Invalid NEXT_HOP attribute in route
    79.140.144.0/22 <br>
    07-03-2014 14:18:52 R0_52: Invalid NEXT_HOP attribute in route
    79.140.156.0/22 <br>
    07-03-2014 14:18:52 R0_52: Invalid NEXT_HOP attribute in route
    79.140.144.0/20 <br>
    07-03-2014 14:18:52 R0_52: Invalid NEXT_HOP attribute in route
    79.140.148.0/22 <br>
    07-03-2014 14:18:52 R0_52: Invalid NEXT_HOP attribute in route
    79.140.152.0/22 <br>
    07-03-2014 14:18:52 R0_52: Invalid NEXT_HOP attribute in route
    79.140.144.0/22 <br>
    07-03-2014 14:16:39 R0_29: Invalid NEXT_HOP attribute in route
    178.254.232.0/21 <br>
    07-03-2014 14:16:39 R0_30: Invalid NEXT_HOP attribute in route
    178.254.232.0/21 <br>
    07-03-2014 14:01:39 R0_52: Invalid NEXT_HOP attribute in route
    95.168.66.0/23 <br>
    07-03-2014 14:01:39 R0_52: Invalid NEXT_HOP attribute in route
    95.168.68.0/23 <br>
    07-03-2014 13:52:02 R0_14: Invalid NEXT_HOP attribute in route
    151.252.198.0/24 <br>
    07-03-2014 13:51:57 R0_14: Invalid NEXT_HOP attribute in route
    151.252.198.0/24 <br>
    07-03-2014 13:29:36 R0_87: Invalid NEXT_HOP attribute in route
    85.11.144.0/20 <br>
    07-03-2014 13:29:28 R0_87: Invalid NEXT_HOP attribute in route
    85.11.144.0/20 <br>
    07-03-2014 13:29:15 R0_87: Invalid NEXT_HOP attribute in route
    85.11.144.0/20 <br>
    07-03-2014 13:29:06 R0_87: Invalid NEXT_HOP attribute in route
    85.11.144.0/20 <br>
    07-03-2014 13:28:14 R0_87: Invalid NEXT_HOP attribute in route
    85.187.120.0/22 <br>
    07-03-2014 13:28:14 R0_87: Invalid NEXT_HOP attribute in route
    85.187.120.0/22 <br>
    07-03-2014 13:19:36 R0_87: Invalid NEXT_HOP attribute in route
    85.187.120.0/22 <br>
    07-03-2014 13:19:31 R0_87: Invalid NEXT_HOP attribute in route
    85.187.120.0/22 <br>
    07-03-2014 13:19:31 R0_87: Invalid NEXT_HOP attribute in route
    85.11.144.0/20 <br>
    07-03-2014 13:19:31 R0_87: Invalid NEXT_HOP attribute in route
    85.187.120.0/22 <br>
    07-03-2014 13:19:22 R0_87: Invalid NEXT_HOP attribute in route
    85.11.144.0/20 <br>
    07-03-2014 13:13:43 R0_71: Invalid NEXT_HOP attribute in route
    46.229.194.0/24 <br>
    07-03-2014 13:13:43 R0_71: Invalid NEXT_HOP attribute in route
    46.229.192.0/23 <br>
    07-03-2014 13:13:42 R0_29: Invalid NEXT_HOP attribute in route
    46.229.194.0/24 <br>
    07-03-2014 13:13:42 R0_29: Invalid NEXT_HOP attribute in route
    46.229.192.0/23 <br>
    07-03-2014 13:06:22 R0_60: Invalid NEXT_HOP attribute in route
    193.104.73.0/24 <br>
    07-03-2014 13:03:54 R0_52: Invalid NEXT_HOP attribute in route
    178.79.61.0/24 <br>
    07-03-2014 12:54:56 R0_60: Invalid NEXT_HOP attribute in route
    89.35.114.0/24 <br>
    07-03-2014 12:54:56 R0_60: Invalid NEXT_HOP attribute in route
    86.105.150.0/24 <br>
    07-03-2014 12:54:56 R0_60: Invalid NEXT_HOP attribute in route
    46.102.181.0/24 <br>
    07-03-2014 12:54:56 R0_60: Invalid NEXT_HOP attribute in route
    46.102.176.0/24 <br>
    07-03-2014 12:54:56 R0_60: Invalid NEXT_HOP attribute in route
    37.156.69.0/24 <br>
    07-03-2014 12:54:25 R0_60: Invalid NEXT_HOP attribute in route
    188.240.70.0/24 <br>
    07-03-2014 12:54:25 R0_60: Invalid NEXT_HOP attribute in route
    188.212.157.0/24 <br>
    07-03-2014 12:34:43 R0_52: Invalid NEXT_HOP attribute in route
    91.148.106.0/24 <br>
    07-03-2014 12:27:48 R0_52: Invalid NEXT_HOP attribute in route
    91.148.118.0/24 <br>
    07-03-2014 12:16:33 R0_29: Invalid NEXT_HOP attribute in route
    178.254.232.0/21 <br>
    07-03-2014 12:16:33 R0_30: Invalid NEXT_HOP attribute in route
    178.254.232.0/21 <br>
    07-03-2014 12:09:39 R0_87: Invalid NEXT_HOP attribute in route
    85.11.144.0/20 <br>
    07-03-2014 12:09:10 R0_87: Invalid NEXT_HOP attribute in route
    85.11.144.0/20 <br>
    07-03-2014 12:08:57 R0_87: Invalid NEXT_HOP attribute in route
    85.187.120.0/22 <br>
    07-03-2014 12:08:50 R0_87: Invalid NEXT_HOP attribute in route
    85.187.120.0/22 <br>
    07-03-2014 12:08:49 R0_87: Invalid NEXT_HOP attribute in route
    85.187.120.0/22 <br>
    07-03-2014 12:02:41 R0_52: Invalid NEXT_HOP attribute in route
    212.200.0.0/21 <br>
    07-03-2014 11:47:01 R0_29: Invalid NEXT_HOP attribute in route
    178.254.232.0/21 <br>
    07-03-2014 11:47:01 R0_30: Invalid NEXT_HOP attribute in route
    178.254.232.0/21 <br>
    07-03-2014 10:55:50 R0_60: Invalid NEXT_HOP attribute in route
    91.206.209.0/24<br>
    <br>
    I had checked many times and make many tests if the next-hop is
    correct and everything looks<br>
    fine but this messages  comes permanently :)<br>
    <br>
    We managed to troubleshoot the following behavior and relationship
    and see the following effect:<br>
    <br>
    Our scenario:<br>
    <br>
    0.100                 0.200<br>
    RS1 <- iBGP -> RS2<br>
      |                       |<br>
      |                       |<br>
    TEST.AS -----------<br>
    0.252<br>
    <br>
    TEST.AS announce: 31.13.244.0/24<br>
    <br>
    RS2 learn this prefix as:<br>
    <br>
    31.13.244.0/24     via 10.1.0.252 on eth0 [R0_252 14:44] * (100)
    [AS60230i]<br>
                                 via 10.1.0.252 on eth0 [<b>R0_100</b>
    15:12 from 10.1.0.100] (100) [AS60230i]<br>
    <br>
    <br>
    As soon as we stop to announce 31.13.244.0/24 from TEST.AS to RS1,
    in the logs of RS1 begin to come the following message:<br>
    <br>
    <font style="font-family: Verdana, Arial, Helvetica, sans-serif;
      font-size: 14px; color: red; font-style: normal; font-variant:
      normal; font-weight: normal; letter-spacing: normal; line-height:
      normal; orphans: auto; text-align: start; text-indent: 0px;
      text-transform: none; white-space: normal; widows: auto;
      word-spacing: 0px; -webkit-text-stroke-width: 0px;">07-03-2014
      15:10:09<span class="Apple-converted-space"> </span><err>R0_252:
        Invalid NEXT_HOP attribute in route 31.13.244.0/24</err></font><span
      style="color: rgb(0, 0, 0); font-family: Verdana, Arial,
      Helvetica, sans-serif; font-size: 14px; font-style: normal;
      font-variant: normal; font-weight: normal; letter-spacing: normal;
      line-height: normal; orphans: auto; text-align: start;
      text-indent: 0px; text-transform: none; white-space: normal;
      widows: auto; word-spacing: 0px; -webkit-text-stroke-width: 0px;
      background-color: rgb(230, 230, 250); display: inline !important;
      float: none;"><span class="Apple-converted-space"> </span></span><br
      style="color: rgb(0, 0, 0); font-family: Verdana, Arial,
      Helvetica, sans-serif; font-size: 14px; font-style: normal;
      font-variant: normal; font-weight: normal; letter-spacing: normal;
      line-height: normal; orphans: auto; text-align: start;
      text-indent: 0px; text-transform: none; white-space: normal;
      widows: auto; word-spacing: 0px; -webkit-text-stroke-width: 0px;">
    <br>
    But when we try to shutdown (administratively ) the session between
    TEST.AS and RS1 this behavior does not occur and everything seems
    normal.<br>
    <br>
    I hope this information will be useful for resolving this strange
    issue.<br>
    <br>
    Here is our configuration set on both RS. The real AS number &
    IPs has been changed for security reason :)<br>
    <br>
    # RS2:<br>
    table T65535<br>
    <br>
    protocol pipe P65535 from iBGP_PIPES {<br>
      description "RS1";<br>
      peer table T65535;<br>
      export where RS_PIPE_OUT();<br>
    }<br>
    <br>
    protocol bgp R0_100 from iBGP {<br>
      description "0.100_iBGP_RS1";<br>
      source address 10.1.0.200;<br>
      neighbor 10.1.0.100 as 65535;<br>
      import all;<br>
      export all;<br>
      passive off;<br>
      table T65535;<br>
      route limit 10000;<br>
      gateway direct;<br>
    }<br>
    <br>
    <br>
    # RS1:<br>
    table T65535<br>
    <br>
    protocol pipe P65535 from iBGP_PIPES {<br>
      description "RS2";<br>
      peer table T65535;<br>
      export where RS_PIPE_OUT();<br>
    }<br>
    <br>
    protocol bgp R0_200 from iBGP {<br>
      description "0.200_iBGP_RS1";<br>
      source address 10.1.0.100;<br>
      neighbor 10.1.0.200 as 65535;<br>
      import all;<br>
      export all;<br>
      passive off;<br>
      table T65535;<br>
      route limit 10000;<br>
      gateway direct;<br>
    }<br>
    <br>
    # show bgp summary shows the following:<br>
    # RS2:<br>
    ---------------------------------------------------------------- adv
    / rcv / limit ---<br>
    0.100_iBGP_RS1    10.1.0.100    65535    Mar06    Established   
    4527/3235/10000   <br>
--------------------------------------------------------------------------------------<br>
    <br>
    # RS1:<br>
    ---------------------------------------------------------------- adv
    / rcv / limit ---<br>
    0.200_iBGP_RS2    10.1.0.200    65535    Mar06    Established   
    3235/4527/10000<br>
--------------------------------------------------------------------------------------<br>
    <br>
    Any ideas or thoughts are highly appreciated!<br>
    <br>
    Thanks in advance!<br>
    <br>
    -- <br>
    <div style="font-family: times new roman, new york, times, serif;
      font-size: 12pt; color: #000000">
      <div class="moz-signature"> ---<br>
        <a
href="http://cloudware.bg/?utm_source=email&utm_medium=signature&utm_content=link&utm_campaign=newwebsite"
          style="font-family:Verdana; color:#00ACE5; font-size:12px;
          text-decoration:none;" target="_blank"
data-mce-href="http://cloudware.bg/?utm_source=email&utm_medium=signature&utm_content=link&utm_campaign=newwebsite"
          data-mce-style="font-family: Verdana; color: #00ace5;
          font-size: 12px; text-decoration: none;">Find out about our
          new Cloud service - Cloudware.bg</a><br>
        <div style="font-family:Verdana; color:#A0A0A0;font-size:12px;"
          data-mce-style="font-family: Verdana; color: #a0a0a0;
          font-size: 12px;">Access anywhere. Manage it yourself. Pay as
          you go.</div>
        <hr align="left" noshade="noshade" size="1" width="400px">
        <div style="font-family:Verdana; color:#103E81; font-size:12px;"
          data-mce-style="font-family: Verdana; color: #103e81;
          font-size: 12px;"><strong>Javor Kliachev</strong><br>
          IP Engineer<br>
          <br>
          Neterra Ltd.<br>
          Telephone: +359 2 975 16 16<br>
          Fax: +359 2 975 34 36<br>
        </div>
        <a href="http://www.neterra.net" style="font-size:12px;
          font-family:Verdana; color:#00ACE5; text-decoration:none;"
          target="_blank" data-mce-href="http://www.neterra.net"
          data-mce-style="font-size: 12px; font-family: Verdana; color:
          #00ace5; text-decoration: none;">www.neterra.net</a> <br>
        <br>
        <br>
      </div>
    </div>
  </body>
</html>