כאמור, בגמרא (ברכות לד, ב) מובא ש"המתפלל צריך שיכוין את לבו בכולן", אולם מסיימת הגמרא: "ואם אינו יכול לכוין בכולן יכוין את לבו באחת. אמר רבי חייא אמר רב ספרא משום חד דבי רבי, באבות".
ופרש"י מדוע יש לכוון דווקא בברכת האבות, מפני "שהוא תחילת התפלה רמז הוא שאין חפץ בה".
טעמים נוספים ביאר האבודרהם (עמ' ריד), וז"ל: "לפי שהיא חשובה יותר משאר ברכות, מפני שיש בה גדולת השם וזכות ראשונים וגאולת אחרונים. ועוד, מפני שאם נותן דעתו עליה יתלמד להוסיף בכוונתו".
(או"ח סימן קא): "המתפלל צריך שיכוין בכל הברכות, ואם אינו יכול לכוין בכולם, לפחות יכוין באבות. אם לא כיון באבות, אע"פ שכיון בכל השאר, יחזור ויתפלל".
אולם הרמ"א הביא את דברי הטור: "והאידנא [בזמן הזה] אין חוזרים בשביל חסרון כוונה, הואיל וקרוב הדבר שאף בחזרה לא יכוון, אם כן למה יחזיר".
ופסק במשנה ברורה (שם ס"ק ג): "ואם הוא משער שאפילו באבות לא יכוון לא יתפלל כלל עד שתתיישב דעתו שיהיה יוכל עכ"פ לכוין באבות".
ובביאור הלכה (שם ד"ה המתפלל) כתב: "משמע מלשון הרשב"א המובא בב"י (סימן סג ד"ה כתב) דיש ליזהר באבות שלא יהא לבו פונה באמצע הברכה לדברים אחרים, ואפילו אם בעת שיאמר אחר כך התיבות של הברכה יחזור ויכוון, כן משמע לכאורה שם מפשטות לשונו, אף דיש לדחות קצת. ויש לעיין לענין דיעבד, ועכ"פ לכתחילה יש ליזהר בזה מאד".
עוד הביא המשנה ברורה (שם ס"ק ד) בשם החיי אדם: "כיון דמצד הדין צריך לחזור ולהתפלל על כל פנים אם נזכר קודם שאמר ברוך אתה ה' בסוף ברכה, יחזור לומר מאלקי אברהם וכו'" [והוסיף בזה בספר שיח תפילה (עמ' סב) שאף שחוזר על כמה שמות, אין בזה איסור, היות שאינו אומר נוסח ברכה של ברוך אתה ה', אלא רק חוזר על נוסח אמצע הברכה].
בדיעבד אם לא כיוון באבות – האם התפילה נפסלה?
בדיעבד אם לא כוון באבות – כתב הביאור הלכה (שם ד"ה והאידנא) שאף אם עומד אחר סיום אתה גבור ממשיך ומתפלל. ונתן עצה שימתין לש"ץ ויתכוון לצאת ממנו בברכת אבות, ואחר כך ימשיך את תפילתו בלחש.
אולם בספר הליכות שלמה (פ"ח סע' ט) מובא בשם הגרש"ז אויערבך שדברי הביאור הלכה לדייק מהרשב"א שיזהר שלא יהא לבו פונה באמצע הברכה לדברים אחרים הם חומרא גדולה, כי מי יכול לעמוד בזה. והוסיף שגם למעשה אין נוהגים כעצת הביאור הלכה שימתין בשתיקה עד חזרת הש"ץ, ולכן ראוי לנהוג כמו שאומרים בשם החזון איש להרהר בלבו מברכת אבות ואילך עד מקום שעומד.
[וגם ישתדל לכוון היטב בברכת מודים, מכיון שלדעת כמה מהפוסקים יצא בכך בדיעבד חובת הכוונה].
נמצא שלכתחילה יש להשתדל לכוון בכל תפילת שמונה עשרה, אולם כאשר קשה לאדם לעשות זאת, עליו לרכז את עיקר מאמציו בברכת אבות, שהיא נקודת המפתח של התפילה לעניין הכוונה. ואף אם לא הצליח בכך, אין פירוש הדבר שבכל מקרה עליו להפסיק את תפילתו או לחזור ולהתפלל, אלא ישנם בזה חילוקים ודינים למעשה, כפי שנתבאר בדברי הפוסקים.