中國是一個歷史悠久的古國，據先秦史籍記載，很早以前就有了軍隊。但是，軍隊中何時開始設置參謀人員，記載卻很不一致。

據西漢劉向編撰的《說苑》記載，軍隊的參謀人員始于公元前16世紀商代，最早的參謀人員就是伊尹，他幫助湯籌劃和組織了滅夏的戰爭。湯想伐桀，奪取天下，向伊尹請教辦法，伊尹教湯先“阻乏貢職，以觀其動”，試探一下夏桀的實力再定。桀見湯不來貢，大怒，征調了九夷的軍隊，大規模的向湯興師問罪。伊尹一看桀的力量還強大，知道時機還不成熟，還不能打敗桀，便叫湯向桀“謝罪請服”。

到了第二年，叫湯“又不貢職”，再試探桀的力量。結果，夏桀雖然大怒，又要調動九夷的軍隊，伐湯問罪，但九夷已經不聽桀的調動，桀成了孤家寡人。于是，伊尹對湯說，現在可以興師討伐夏桀了。湯即起兵，在夏的都城附近，鳴條之野，一戰而把夏桀趕跑，“遷桀南巢焉”。《史記·殷本紀》中也有記載“……湯乃興師率諸侯，伊尹從湯，湯自把鉞以代昆吾，遂伐桀。”

從上述記載看，伊尹很會審時度勢，是一個很好的參謀人員，從而幫助湯一舉擊敗了夏桀。但是，據《韓非子·十過》記載，湯伐夏時軍隊不多，“戎車七十乘，必死六千人”（《二十二子·韓非子》），指揮這些軍隊作戰，指揮員可以直接指揮，似乎無必要設置參謀人員。如果把伊尹幫助湯出謀劃策，算作是軍隊參謀人員的起源，概念似乎太寬了一點。

據古兵書《六韜》的記載，在軍隊中設置參謀人員，始于公元前11世紀的周代，其職稱和職責，由開國元勛姜尚親自設計確定。據說姜尚在垂暮之年才遇到西伯（文王），由于姜尚博聞強記，學識豐富，辦法很多，深受文王和武王的器重，被尊為“師尚父”——師之、尚之、父之。（《史記·齊太公世家》）他幫助西伯征崇國、密須、犬戎。西伯死后，又幫助武王指揮隊伍推翻商紂，建立西周。《六韜》就是姜尚撰寫的一部軍事著作。在《六韜·龍韜》中詳細記載了設置參謀人員的分工與職責。“凡舉兵師，以將為命……將有股肱羽翼七十二人”。這72人就是姜尚確立的參謀班子，他們是：腹心1人，謀士5人，天文、地理各3人，兵法9人，通糧4人，奮威4人，伏旗鼓3人，股肱4人，通才2人，權士3人，耳目7人，爪牙5人，羽翼4人，游士8人，術士2人，方士3人，法算2人。分管謀略、兵法、偵察、通信、工程、氣象、地理、宣傳、糧祿、醫藥、財務等項工作。猶如現今軍隊中的司令、政治、后勤機關。但是，《六韜》設置的這些參謀人員，在《周禮》中未見記載。而從《六韜》的有些內容看，似乎是戰國時的著作。

據《三國志·魏書》記載，軍隊設置參謀人員在漢末，名稱“參軍”，在軍隊中參謀軍務，職位頗重。如東漢靈帝時，幽州刺史陶謙，曾兼任車騎將軍張溫的參軍，隨張去討伐西涼的韓遂。“陶謙……參車騎將張溫軍事，西討韓遂”。另外，曹操任丞相、總攬軍政大權時，也以參丞相府軍事的名義安排軍政人員作幕僚。

從以上記載看，在漢末，軍隊中設參謀人員是肯定的，但是，還不能排斥在此之前沒有參謀人員。因為山東銀雀山漢墓出土的文物中有《六韜》竹簡，說明《六韜》是一本漢時就有的古兵書，它記載的股肱羽翼72人，早于陶謙的參軍之職。那么，軍隊的參謀人員究競始于何時？是殷時，是周時，還是戰國，或是漢末？還有待進一步考證。