在河南偃师的北部，邙山穿越而过，其中最高处就是首阳山，“日出之初，光必先及”而得名，意思就是当早上日出刚开始的时候，这里总能第一时间迎来晨光，意思就是首阳之山。不过首阳山真正天下扬名，则是因为商周之际的两位王子，由于他们在这里隐居，坚守君臣之道，而被天下称颂，才使得首阳山成为贤者隐者都向往的地方。
据说在商朝末年，在北海之滨有一个小国，名叫孤竹国。当时孤竹君有三个王子，伯夷为长子，叔齐是三子，和当时昏庸残暴的商纣王相比，这两位王子都非常贤明，深受国人的爱戴。到了孤竹君晚年的时候，当时要传位给下一代，孤竹君生前有意立叔齐为嗣子，继承他的事业。后来孤竹国君死了，按照当时的常礼，长子应该即位。但清廉自守的伯夷却说：“应该尊重父亲生前的遗愿，国君的位置应由叔齐来作。”于是他就放弃君位，逃到孤竹国外。大家又推举叔齐作国君。叔齐说：“我如当了国君，于兄弟不义，于礼制不合。”也逃到孤竹国外，结果在国外遇到了大哥伯夷，于是当时的孤竹国只好立中子继承了君位，这就是历史上著名的夷齐让国的美谈。
当时的孤竹国位于殷商的北方，大体上位于如今河北东北和辽宁西部一带，离开了国家的伯夷、叔齐并没有投奔当时位于中原的殷商，大概是因为的商纣王实在是不值得投奔，他们两个人听说当时在殷商的西部，有一个周的国家日新月异，蓬勃发展，于是就打算前往投奔西周。结果他们还没有走到西周，就遇到了西周武王率领的伐商大军。他们虽然对殷商也不满，但是对于伐商的西周更加不满，于是他们觐见周武王，叩马而谏说：“父死不埋葬，就动起武来，这能算作孝吗？以臣子身份来讨伐君主这能算作仁吗？”武王的卫兵要杀害他俩，军师姜尚劝解说：“这是讲义气的人呀，不要杀害他们。”就把他俩扶走了。后来周武王与商纣王大战于牧野，血流飘杵，由于商纣王阵前的奴隶兵倒戈，周武王才取得了决定性的胜利，灭掉了商朝，建立了新的王朝周朝。
当武王伐纣成功的消息传到伯夷叔齐时，伯夷叔齐认为这种做法太可耻了，发誓再不吃周朝的粮食，但是当时各地都属于周朝了。他们就相携着到首阳山上采薇菜吃。在采薇菜时，他们还唱着歌说：“上那个西山哪，采这里的薇菜。用那强暴的手段来改变强暴的局面，我真不理解这样作算是对呀？先帝神农啊，虞夏啊！这样的盛世，恐怕不会有了。我们上那里去呢，真可叹啊！我的生命就要结束了。”于是就饿死在首阳山之上。伯夷、叔齐独行其志，耻食周粟，饿死首阳山以后，在全国产生了广泛的影响。许多名人，包括著名思想家、政治家、史学家、艺术家、文人学者、帝王将相纷纷以各种形式歌颂、褒扬伯夷、叔齐，其中最为称颂的就是孔子。
当子贡问孔子“伯夷叔齐何人也？”孔子立即回答说：“古之贤人也。”又问：“他们对所作的事不觉得后悔吗？”孔子说：“他们求仁而得仁，没有什么后悔的。”后来又进一步的说：“齐景公有马千驷，死之日，民无德而称焉。伯夷叔齐饿于首阳之下，民到如今称之，其斯之谓与。”原来伯夷叔齐的行为正符合儒家的价值观。儒家认为，人生价值不在于你能获得什么功名利禄，而在于你对社会作出了什么贡献，在后世对你的评价中来体现人生价值，这就是所谓的留名千古。所以孔子强调说：“伯夷叔齐……奋乎百世之上，百世之下，闻者莫不兴起也，非圣贤而能若是乎！”
到了西汉，司马迁在《史记》中对伯夷单独列传，给予高度评价：“伯夷 为商末孤竹君之长子，姓墨胎氏。初，孤竹君欲以次子叔齐为继承人，及父卒，叔齐让位于伯夷。伯夷以为逆父命，遂逃之，而叔齐亦不肯立，亦逃之。于是伯夷、叔齐闻西伯昌善养老，尽往归焉。及至，正值西伯卒，武王兴兵伐纣，二人叩马而谏，说：「父死不葬，爰及干戈，可谓孝乎？以臣弑君，可谓仁乎？」武王手下欲动武，被姜太公制止，说：「此义人也」，扶而去之。后来武王克商后，天下宗周，而伯夷、叔齐耻食周粟，逃隐于首阳山，采集野菜而食之，及饿将死，作歌。其辞曰：「登彼西山兮，采其薇矣。以暴易暴兮，不知其非矣。神农、虞、夏忽焉没兮，我安适归矣？于嗟徂兮，命之衰矣！」遂饿死于首阳山。”