臧霸便向刘备说：“以前我之所以能自立一方，是因为我不会做这种事。我受曹公的存命之恩，不敢违其命令。不过有意于王霸之道的君主应该以义相告，不宜威迫，愿将军为我辞却这个命令。”
刘备便以臧霸所言告诉曹操，曹操叹息地向臧霸道：“这是古人仁德之事，而你能够加以奉行，这也正是孤之所愿。”于是皆以徐、毛二人为郡守。
官渡之战，曹操与袁绍相拒，而臧霸数以精兵投入青州，所以曹操不用顾念东方之事，能专心应付袁绍，所以这是臧霸决心跟随曹操，不然曹操的后方早乱了。
后曹操破袁谭于南皮，臧霸等前往祝贺。
臧霸便求遣子弟及诸将之父兄家属前往邺城，曹操道：“诸位忠心报国，但何必要如此来表现呢。昔日萧何派遣子弟入侍，而汉高祖没有拒绝，耿纯焚烧自己的房子、马车追随，而光武帝没有辜负他的好意，现在我又怎么好改变前人的做法呢！”
当时东州扰攘不止，而臧霸等执正匡义，征暴伐虐，清定海岱，其功莫大，于是皆封列侯，臧霸因功拜为都亭侯，加威虏将军。
后来昌豨在东海郡谋反，臧霸与于禁讨昌豨于东海，昌豨降，为于禁引用法令所诛，看看臧霸始终没说求情是话，他都投降曹操了，在加上昌豨自己作死，他为什么要求情。
张辽围剿陈兰时，臧霸与于禁征讨梅成，因于禁中伪降计，梅成得以率其三千余与陈兰汇合于灊山。
于是臧霸被曹操调到皖，讨伐孙权大将韩当，使孙权不得前救陈兰，韩当派兵阻拦臧霸。
双方在逢龙展开战斗，韩当另外派兵在夹石口迎击臧霸，均被臧霸击破，臧霸回军屯驻舒城。
孙权派遣了数万人的东吴援军乘船屯于舒口，分兵往救陈兰，但闻知臧霸军在舒城时，立即遁还。
臧霸引军乘夜追赶，将及天明，行百余里，向东吴军队前后夹击。
东吴军队窘急不堪，不得上船，蹈水而逃者甚众。于是，东吴的军队未能援助陈兰。
于是，张辽击灭陈兰，并获得假节。
后来臧霸从讨孙权于濡须口，与张辽同为前锋，在行军过程中遭遇了持续的大霖雨。
远在后方的曹操因为“将阵，雨甚”的天气而想让张辽、臧霸暂退。
在收到曹操的撤军令之前，前锋大军就已经先到达了，见江水上涨，敌船稍稍前进。
如果水涨泛滥成洪灾，会对缺船的曹军不利，因此，张辽、臧霸的将士们都感到不安。
因为“将阵，雨甚”、水涨而缺船，张辽意欲自作主张的撤军。
但是，臧霸坚持要执行曹操的屯驻命令而反对撤军，便劝止张辽：“曹公是那么英明的人，怎么可能会舍弃我们呢？”张辽接受了臧霸的建议，于是屯驻了下来。
等他们屯驻到了第二天，果然收到了曹操的撤军令，于是主动撤军。
《吴书》在东吴军队于合肥挨打之时到处记载着张辽之名，却在濡须地区完全没有提及臧霸、张辽之名，说明在臧霸、张辽在屯驻了至少一天以上的时间里，东吴军队只是让舟船稍稍前进而没有激战。
张辽在到达曹操的营帐后，把他和臧霸之间的对话告诉了曹操。
曹操对臧霸加以赞扬，拜臧霸为扬威将军，又对臧霸授予了假节。。
后来臧霸从讨孙权，先登入阵，再入巢湖，攻破居巢。
后来，孙权派遣徐详乞降，曹操还师，便留臧霸与夏侯惇等屯居巢。
曹丕即王位时，臧霸迁镇东将军，进爵武安乡侯，都督徐州诸军事，曹丕践阼后，进封开阳侯，徙封良成侯。
后随曹休在洞口一带征讨吴将吕范。
臧霸以轻船五百、敢死万人袭攻徐陵，烧攻城堑，杀略数千人。
随后又渡江杀到长江南岸，被全琮、徐盛等人击退，臧霸部将尹卢也敌军斩首，臧霸只好撤回。
后来，臧霸被征为执金吾，其位特进，相当于国家级顾问，解除了各种职务，但是每有军事要务，曹丕都常咨访臧霸。
《魏略》说：“臧霸又名奴寇。曹操死时，臧霸所部领的军众及青州之兵，以为天下将乱，大都鸣鼓擅自离去。曹丕即位，以曹休都督青、徐，臧霸向曹休道：“国家不肯听从臧霸而已！若能借我步骑万人，我必能横行于江表。”
曹休告诉曹丕，曹丕便疑说臧霸之军先前擅自离去，如今却竟意壮如此！于是东巡，趁臧霸来朝而夺其兵。
《魏略》的此语与臧霸本传的差异较大。