Toshodai-ji została zbudowana w roku 759 przez chińskiego mnicha o imieniu Ganjin. Zaproszony został on przez władcę Japonii do nauczania chińskich przykazań buddyjskich. Mnicha nękały jednak przeciwności. Pięć nieudanych przepraw przez morze i walka z chorobą, która doprowadziła do jego ślepoty zajęły mu aż dwanaście lat zanim dotarł on do miasta Nara w roku 754. Przed jego śmiercią w 763 roku uczniowie wyrzeźbili jego postać w lakierowanym drewnie. Rzeźbę można oglądać publicznie tylko raz w roku, 6 czerwca.