2013年11月5日，日本众议院国家安全保障特别委员会上，民主党议员近藤洋介对安倍晋三提出质询，认为他长期居住在自己家中，不利于国家安全。一旦遇到大地震等紧急事态，安倍无法迅速抵达官邸实施指挥。
对此，内阁官房长官菅义伟回应：“包括骑坐摩托车在内，不管遇到什么样的紧急事态，我们都能保证首相在15分钟之内赶到官邸。首相住在家中，没有任何问题。”此言一出，惊呆了在场的所有议员，让首相坐在摩托车后座满街跑15分钟，实在太荒唐。15分钟虽然不长，万一遇到道路毁坏的情况，那又该怎么办?
自安倍晋三“梅开二度”继任日本首相至今，首相公邸就一直空荡荡的。一名在野党议员猜测认为，安倍迟迟不入住是因为里面闹鬼。2013年6月，安倍晋三在一档电视节目中提到，“(我)从森喜朗前首相那里听到过有关幽灵的事情。一般来说，幽灵是没有脚的，但是(森喜朗)看到的却没有上身只有脚。”当被问及是否惧怕幽灵出现时，他说：“没有这回事。”
一个月后，面对“还有人担心您不会进首相公邸”的疑问时，安倍却反转性地以“因为这里闹鬼，所以我不想住在这里，真的很害怕，咱们一起住在这儿吧”作答。如此反反复复，让人不禁对公邸闹鬼的传闻产生遐想。
白宫style的忍者屋
从银座经过樱田门，迈入两旁种满银杏树的大道，走到尽头，你就能看到威严雄伟的日本国会议事堂。在它对面的一处高台上，日本首相官邸(又称总理大臣官邸)屹立其中。自2002年建成至今，这座五层楼高、具备承受大地震和核打击能力的长方形建筑一直扮演着日本首相办公室的角色。
在日本，首相官邸和公邸是两个概念，官邸专指首相的办公厅舍，公邸为其住所，有时，公邸和官邸同在一个建筑里。过去日本首相官邸位于东京永田町。这座官邸有4个门，四周设有2米多高的水泥围墙，并装有4根电线，连一只小鸟落在上面，报警器都会自动发出声响。
旧官邸的内阁会议室、首相办公室及首相专车装有防弹玻璃。如果首相在公务之余去饭馆品尝美味佳肴，保安警察就会严格控制饭店的大门附近，监视周围动静。当首相外出运动时，随同前往的保安警察就得扮成风度十足的运动员，眼观六路，耳听八方，随时提防意外的发生。
由于这座老官邸是1929年落成投入使用的，陈旧的设施无法适应现代政治活动的需要。1987年，时任日本首相的中曾根康弘首次提出修建新首相官邸的建议，到小渊惠三内阁时期，总投入约为700多亿日元的新首相官邸的修建方案和计划才正式通过。
2002年4月底，位于旧首相官邸的西侧的新官邸落成。它占地2.5万平方米，总造价为647亿日元。新官邸是一座日式庭院，庭院四周种满了900多株竹子，院中还有岩石和流水。据称，宽阔庭园的设计来源于美国白宫建筑风格。
