МУЛТИДИМЕНЗИОНАЛЕН ИСХОД И ДОЛГОРОЧНА ЕВАЛУАЦИЈА НА ТЕРАПИЈАТА ЗА НЕИЗБЕГНУВАЊЕ НА ПЕЛТЕЧЕЊЕТО
Евалуација со Интернационалната класификација на функционирањето, попреченоста и здравјето (ICF)

Добринка ГЕОРГИЕВА

Институт за логопедија, Факултет за јавно
здравје и спорт, Југозападен универзитет
„Неофит Рилски“, Благоевград, Р. Бугарија

MULTIDIMETIONAL OUTCOME AND LONG-TERM EVALUATION OF NON-AVOIDANCE STUTTERING THERAPY
Evaluation with International Classification of Functioning, Disability, and Health (ICF)

Dobrinka GEORGIEVA

Примено: 20.01.2015
Прифатено: 25.02.2015
UDK: 159.946.3:364-785.6-053.8(497.2)

Recived: 20.01.2015
Accepted: 25.02.2015
Original article

Вовед

Introduction

Статус на истражувањето во релевантна тема во Бугарија

Според СЗО интерпретацијата на МКФ-моделот во однос на пелтечењето како тип на нарушување на флуент­носта, наложува ин­тер­дис­ци­пли­нар­на интерпретација и компетентност (1).
Примената на МКФ е конструктивна рамка за ква­литетно дијагностицирање и ло­го­пед­ска те­ра­пија на пелтечењето во многу раз­вие­ни зем­ји на ЕУ, САД и Австралија. Познато е дека Yaruss and Quesal (2) ја адап­ти­раа ICF во согласност со потребите на ло­­го­педијата (го­ворна патологија или те­ра­пи­­ја). Нивниот пред­лог е дека кла­си­фи­ка­ци­ја­та треба да биде прифатена како рамка за сооп­штување на ефикасноста на лого­пе­д­ска­та терапија при пелтечење. Овој модел опи­шу­ва како на пел­течењето може да се гледа од позиција на следниве перспективи: (i) прет­поставена етио­логија, (ii) нарушување на телесната функ­ција (видливи знаци на пел­течење), (iii) лич­ни фактори и афек­тив­ни, бихејвиорални и когнитивни реакции, (iv) фактори од сре­ди­на­та, (v) ограничување на активностите и рес­трикции на учеството.
За жал, во Бугарија нема истражувачки и науч­но базиран систем на мерење на ло­го­пед­ските услуги со примена на МКФ-моделот. На­ционалниот научен фонд (ННФ) досега има финансирано само еден, доста успешен ис­тражувачки проект во про­фе­сио­нал­ната сфера на јавното здравје и ло­го­пе­ди­јата (2009 - 2012 год., број на договор ДТК 02/33). Проектот беше за Практика ба­зи­­ра­на врз докази при нарушувања на флуент­­нос­та и гласот, раководен од Д. Геор­­гиева, Ју­го­западен универзитет „Нео­фит Рилски“. Ре­зултатите од интезивната ло­го­педска те­ра­пи­ја на лица кои пелтечат од раз­лична воз­раст, беа објавени во прес­тиж­ни ме­ѓу­на­род­ни научни списанија (3, 4, 5). Беа при­ме­не­ти ме­ди­ци­нски третман, здрав­стве­на ко­му­ни­ка­ци­ја, социјални и пси­хо­лош­ки услуги за лица кои пелтечат со цел да се подобри ква­ли­тетот на животот на клиен­ти­те од ју­го­за­пад­ниот ре­гион на Бугарија, кој го вклучува и глав­ни­от град Софија. Дол­го­рочната цел на овој про­ект е да го пот­тик­не развојот на здрав­ствениот туризам во ре­гионот, којшто е определен како регион на здрав­је според бро­јот на проекти во рамките на Шестата и Седмата работна програма на ЕУ.
Резултатот е промена во сегашниот и идниот ста­­тус на флуентноста на клиентот што мо­же да се додаде на претходната здрав­стве­на гри­жа (6). Резултатите се однесуваат на ефек­­­тите од терапијата, програмите или по­ли­­­ти­ките кај поединци или цела популација. Ре­­­зултатите исто така може да се де­фи­ни­ра­ат како промени во статусот придружени на специ­фична интервенција или терапија.
Со оваа студија, исто така, се прави обид за вове­дувања на МКФ-стандардната практика во логопедијата и во применетите ло­го­пед­ски истражувања за мерење на различните ис­­­ход­и кај лицата кои пелтечат.

Research status in the relevant topic in Bulgaria

According to WHO the understanding of the ICF model in respect to stuttering as a type of fluency disorder requires interdisciplinary interpretation and competence (1).
The application of the ICF is a constructive framework for quality diagnostics and speech therapy of stuttering in many advanced countries in the EU, the U.S. and Australia. It is known that Yaruss and Quesal (2) adapted the ICF for the needs of Logopedics (Speech-Language Pathology or Therapy). They propose that the classification should be adopted as a framework for reporting the speech therapy efficiency in relation to stuttering. The ICF model describes how stuttering can be viewed according to the following perspectives: (i) presumed etiology, (ii) impairment in body function (observable stuttering behaviors), (iii) personal factors and affective, behavior and cognitive reactions, (iv) environmental factors, (v) activity limitations and participation restrictions.
Unfortunately, in Bulgaria there are no research and science-based measurements of speech and language treatment services with the use of the ICF model. The National Scientific Fund of Bulgaria (the NSF) has funded only one highly successful research project in the professional field of Public Health and Logopedics (2009-2012, contract number DTK 02/33). It was about Evidence-Based Practice in Fluency and Voice Disorders, directed by D. Georgieva, South-West University “Neofit Rilski”. The outcomes of intensive speech therapy with people of all ages who stutter were published in peer reviewed international journals (3, 4, 5). Medical treatment, health communication, social and psychological services for people who stutter were applied to enhance the quality of life of clients from the South-western region of Bulgaria, which include the capital, Sofia. A long term goal of the study was to encourage the development of health tourism in the area, which is defined as a region of health in a number of projects under the Sixth and Seventh EU Framework Program.
The stuttering outcome is a change in the client’s current and future fluency status that can be attributed to antecedent health care (6). Outcomes refer to the effects of therapy, programs or policies in individuals or popu­la­tion. Outcomes may also be defined as chan­ges in status attributed to a specific in­ter­vent­ion or therapy.
Within the proposed study below, an attempt is made aiming to introduce this ICF standard practice in Logopedic and Logopedic applied research for measuring the multiple outcomes in individuals with stuttering.

Важност на научните проблеми во Бугарија и во Европа

Статистичката класификација на ЕУ беше при­фа­тена во Бугарија во 2008 год. Според Ста­тистичката класификација на ЕУ од 1999 и нејзиниот методолошки прирачник ISCED 97, логопедијата се смета за професија од здрав­ството и е заведена во про­фе­сио­нал­ни­те упатства 726: физиотерапија и ре­ха­би­ли­та­ци­ја. Како нов член на ЕУ, Бугарија не­сом­нено ќе се придржува кон овие правила. Во јули 2009 год., Програмата за терапија на го­ворот на Југозападниот универзитет во Бла­гоевград, Бугарија, успешно ја заврши офи­цијалната процедура за акредитација и ева­луација како дел од професиите на зд­рав­стве­ните науки. Со ова се создадоа пот­реб­ни­те услови за спроведување на значајни ис­тра­жу­вања во полето на логопедијата кои го сле­дат моделот.
Неколку статистички податоци за ко­му­ни­ка­цис­ките, говорните и јазичните нарушувања во Бугарија: 2,5% од вкупната популација, или 150.000 ли­ца, пелтечат или имаат некој друг тип дис­флуентност. Четири проценти од децата од училишна воз­раст страдаат од пелтечење (7). Бу­гар­ски­от систем за здрав­ств­ена заштита не опфаќа ло­гопедски трет­ман за адолесценти и воз­рас­ни лица кои пел­течат. Во бројни ме­ѓу­на­род­ни пуб­ли­ка­ции и на конгреси на светско ниво, земјата е кри­ти­кувана поради тоа што не им нуди ло­го­педски услуги на лицата кои пел­течат (8–11). Кри­тиката упатена кон бугарската прак­ти­ка ги наметна европските стандарди за обез­бе­ду­ва­ње на квалитетни логопедски ус­лу­ги и раз­вој на инструменти за мерење на ква­­л­и­те­тот на животот на лицата со на­ру­шу­ва­ња во ко­муникацијата како целина.
Бу­га­рија успешно учествуваше во мрежниот про­­ект на 65 европски универзитети, фи­нан­си­­ран од Европскиот социјален фонд, под нас­­лов „Мрежа за синхронизирање на стан­дар­­дите и квалитетот на образовните про­гра­ми за логопедите во Европа“ 2010–2013, број на проектот 177 075-LLp-1-2010-1-FR-EARSMUSENWA (12) и му беше доделен гра­нт во 2013 година „Практика базирана на до­ка­зи преку акустични и елек­тро­гло­то­гра­фич­­ки карактеристики на мерењето на пел­те­­че­њето и нарушувањето на гласот“, един­стве­ни­от истражувачки проект за логопедија во Бугарија издејствуван од авторот на ста­ти­ја­ва (13). Во рамките на овие проекти, но­ва­та парадигма „практика базирана на до­кази“ беше препорачана со МКФ-моделот.
Новиот концепт за примена на МКФ-кла­си­фи­ка­цијата во полето на нарушувањето на ко­му­никацијата (во контекстот на темава: пел­­течење) им е непозната на бугарските ло­го­­пе­ди. Оваа парадигма се однесува на пе­рио­­дот во кој моменталните квалитативни ис­­тра­жувања се обидуваат да обезбедат ин­фор­ма­ции не само за задоволството на клиен­­тите од логопедската услуга, туку и ин­­формации за нивниот квалитет на жи­во­тот. Таа е во основата на науката и те­ра­пи­ја­та на говорот во неколку земји во ЕУ, САД, Авс­­тралија и Канада. Генерално, во Бугарија нема објавени систематски публикации фо­ку­­си­рани на овој проблем, и покрај тоа што во европските (CPLOL) и ин­тер­на­цио­нал­ни­те (IALP) логопедски организации, овој мо­дел е определен како стандард.
Медицинскиот модел на пелтечењето трага по причините и соодветна терапија на лица со нарушување во комуникацијата. Об­ја­ве­ни­­те научни студии во САД, Канада, Ав­стра­­л­и­ја, Англија го насочуваат вниманието кон дијагностиката на надворешните, вид­ли­ви ка­рак­теристики на пелтечењето и дава ми­но­рен акцент на евалуацијата на ис­кус­тво­то на лицето кое пелтечи, како говорител (14–17). Социјалниот, психолошкиот и ло­го­п­ед­скиот модел се фокусираат на ин­клу­зи­јата на лицата кои пелтечат во оп­штес­твото, а исто така и на квалитетот на нив­ни­от жи­вот.
Прегледот на бугарската литература ука­жу­ва на недостаток на знаење и примена на МКФ-моделот во земјата (види табела 1).

Relevance of scientific problems in Bulgaria and Europe

The EU Statistics Classification was accepted in Bulgaria in 2008. According to the EU Statistics Classification of 1999 and its methodological handbook ISCED 97 Logopedics (Speech Language Therapy) is considered a health profession and is located in professional direction 726 physiotherapy and rehabilitation. As a new member of the EU, Bulgaria undoubtedly adheres to these rules. In July 2009, the Speech Language Therapy program at South-West University in Blagoevgrad, Bulgaria successfully completed the official procedure of accreditation and evaluation as part of the health sciences professions. This act created the required conditions for conducting significant research in the field of Speech Language Pathology following the ICF model.
Some statistical data on communication, speech and language disorders in Bulgaria:2.5% of the country’s total population, or 150 000 people, are affected by stuttering or other dysfluency type. 4% of school aged children suffer from stuttering (7). The Bulgarian healthcare system offers no logopedic treatment for adolescents and adults who stutter. In a number of international publications and world cong­resses, the country is being criticized for not offering speech therapy service to adult persons who stutter (8–11). The criticism, directed at the Bulgarian practice, enforced European standards for the provision of quality speech therapy and development of instruments for measuring the quality of life of persons with communication disorders as a whole.
Bulgaria participated successfully in a network project of 65 European universities, funded by the European Social Fund entitled "Network for Tuning Standards & Quality of Educational Program for Speech Language Therapists in Europe" 2010–2013, Project number 177 075-LLp-1-2010-1-FR-EARSMUSENWA (12) and was awarded a Fulbright research grant 2013 "Evidence-Based Practice through Acoustic and Electroglottographic Characteristics Measuring in Stuttering and Voice Disorders" - the only research project in the field of speech therapy in Bulgaria won by the author of the present article (13). In the frame of those projects the new paradigm “evidence-based practice” in accordance with the ICF model was strongly recommended.
The new concept for the application of the ICF classification in the field of communication disorders (in the context of this current topic: stuttering) is not known by Bulgarian speech language therapists. It is fundamental with respect to speech language pathology science and therapy in some countries of the European Union, the USA, Australia and Canada. This new paradigm refers to an approach in which the current, highly qualitative research practiceс attempt to provide data not only about the clients' satisfaction from the comprehensive speech service, but also about the clients' quality of life. In Bulgaria, in general, no systematic publications on the problem have been published, even though in the European (CPLOL) and international (IALP) speech language pathology organizations this model is specified as a standard.
The medical model of stuttering seeks to reveal the causes and to provide proper therapy for the persons with this communication disorder. Published scientific studies in the U.S., Canada, Australia; England draw attention to the diagnosis of the external, visible characteristics of stuttering and puts minor emphasis on the evaluation of the experience of the person who stutters as a speaker (14–17). The social, psychological and logopedical model focuses on the inclusion of the person who stutters in the society and also emphasizes the quality of his/her life.
The review of the Bulgarian literature indicated a lack of knowledge of the ICF model in the country (see Table 1).

Табела 1: Примена на Интернационалната класификација на функционирањето, попреченоста и здравјето - МКФ, СЗО, (1) во странство и Бугарија, компаративна анализа во однос на изучување на пелтечењето

Table 1.Application of the International Classification of Functioning, Disability, and Health - ICF, WHO, (1) abroad and in Bulgaria, comparative analyses regarding the stuttering disorder studies

Поради овој факт, научниците, особено логопедите ја препознаваат потребата од поширока примена на процената базирана на докази и терапија за овие комплексни нарушувања во комуникацијата.
Целта на оваа студија беше да го развие МКФ-моделот за процена, терапија и евалуација на применетите третмани во случаите на возрасни што пелтечат.

This fact makes the scientists and especially speech language therapists recognize the need for broad-based implementation of evidence-based assessment and therapy for this complex communication disorder. The purpose of the current study was to develop an ICF model of assessment, therapy and evaluation of the efficacy of the applied treatment approach in adult stuttering cases.

Методологија на истражување

Ова научно истражување се базира на МКФ-моделот, којшто е стандарден за логопедите според директивата на IALP за почетното образование по логопедија и стандардите за практикување на клиничка логопедија (42–44).

Методи

Беше применет методот за неизбегнување на Van Riper за интензивна терапија (ИТ) на возрасни (45). Целосен и детален опис на процедурите на истражувањето беше објавено од Georgieva и Fibiger (3), Georgieva (4) и Georgieva (5).

Present Study Methodology

This research study was built on the ICF model (1), which is a standard for speech therapists, according to the IALP guidelines for initial education in Speech-Language Pathology and the standards for practicing the clinical Logopedic profession (42–44).

Methods

Charles Van Riper’s non-avoidance approach for an intensive therapy (IT) format for adults was applied (45). Full and detailed description of the study procedures were published by Georgieva and Fibiger (3), Georgieva (4) and Georgieva (5).

Основни осврнувања

Конструкцијата на терапевтската програма беше внимателно елаборирана од страна на Steen Fibiger и беше базирана на следните убедувања и размислувања:

• Примена на методот за модификација на пелтечењето на Van Riper.
• Тимот на логопеди ја сметаат мотивацијaта како главен елемент во терапијата на возрасни кои пелтечат (AST). Недостатокот на мотивација беше забележан кај еден од учесниците. Евентуалното образложение беше рефлексија на обесхрабреност поради „слабите“ резултати од претходна терапија.
• WASSP Summary Profile беше приложен како еден начин на измерување промени во чувствата, мислите и однесувањето, како и планирање на справување со пелтечењето во иднина (35, 36). Целта на овој профил е да евидентира како лицето кое пелтечи го доживува своето пелтечење на почетокот и на крајот на еден блок логопедска терапија. WASSP е индикатор за подобрување на квалитетот на животот по терапијата.
• AST има потреба од вклучување на 4 логопеди.
• Официјалниот јазик на спроведената терапија беше бугарски, но сите учесници течно говореа англиски.

Специфичните логопедски методи за дијагностицирање (SSI-3) и терапија на пелтечењето кај возрасни, како и мерењето на ефективноста од логопедските интервенции, исто така беа спроведени (46).
Се приложи и акустичка анализа на гласот кај возрасни кои пелтечат, преку употребата на компјутеризирана говорна лабораторија (КГЛ) и специфични софтвери, како RTP (Real Time Pitch) и EGG (електроглотограф), (47, 48). Оваа процедура не е задолжителна како при нарушувања на гласот, но се препорачува.
Употребата на различни алатки за применетото истражување во сферата на јавното здравје - логопедијата е за да се достигне планираната цел и имплементација на специфичната цел (за детален опис, погледни ја табелата 2, долу).

Basic considerations

The design of the therapy program was elaborated by Steen Fibiger and was based on the following considerations:

• Van Riper’s stuttering modification approach was applied.
• The team of speech therapists consider motivation as a major element in the adult stuttering therapy (AST). A lack of motivation was observed for one adult. The possible explanation was a reflection of discouragement because of the ‘poor” results of the precedent treatment.
• WASSP Summary Profile was applied as a way of measuring change in feelings, thoughts and behaviors and planning future management (35, 36). This profile aims to record how the person who stutters perceives his or her stuttering at the beginning and the end of a block of speech and language therapy. WASSP is an indicator for improvement in the quality of life after the therapy period.
• The AST requires involvement of four speech language therapists.
• The official training language was Bulgarian, but all of the participants were fluent in English.

Specific therapy methods for assessment (SSI-3) and treatment of stuttering in adults, as well as measurement of the effectiveness of Logopedic interventions (46) were also conducted.
The application of voice acoustic analysis of the voice of adults who stutter has also been planned using computerized speech laboratory (CSL) and specific softwares as RTP (Real Time Pitch), and EGG (electroglottography), (47, 48). To take these measures in voice disorders is not obligatory but advisable.
It is intended to use these various tools in the field of Public Health - Logopedics to achieve fluent speech (for a detailed description see Table 2 below).

Табела 2: МКФ-компоненти кои даваат детален опис на пелтечењето во актуелново истражување

Table 2.ICF components, providing a detailed stuttering description in the current research

Специфични истражувачки активности

Главната цел на ова истражување е да ги ана­лизира резултатите од терапијата, ко­рис­теј­ќи разновидни мерила на пелтечењето ба­зи­ра­ни на приодот за интензивната терапија на Van Riper. Второто истражување беше спро­ве­дено за да се утврдат промените ус­вое­ни во различни говорни ситуации (во фа­за­та на стабилизација) и да се покаже дека про­мените се одржуваат по терапијата (1, 2 и 3 години по терапијата).
Мерењата за возрасни вклучуваат од­ре­ду­ва­ење на индекс на нефлуентност (ИН) – бро­јот на моменти на пелтечење поделен со бро­јот на слогови, и времетраење на не­флуент­носта (ВНс) - во секунди, трите нај­дол­ги моменти на пелтечење.
Специфични мерки на пелтечењето: при­ла­га­ње на SSI – 3, разработен од Riley (46) - (ви­ди табела 2 и табела 3).

Specific research activities

The main goal of the present study was to assess therapy outcomes using a variety of stuttering measurements based on Van Riper’s intensive therapy approach. Second research was conducted to specify any changes that are adopted in different speech situations (in the stabilization phase), and to demonstrate that changes are maintained after the therapy (1, 2, and 3 years after the treatment).
Measurement for adults includes determination of index of dysfluencies (ID) - the number of stuttering events divided by the number of syllables, and duration of dysfluences (DDs) - in seconds, for the three longest stuttering events.
Specific stuttering measurements: Application of SSI - 3 developed by Riley (46) – (Table 2 and Table 3).

Табела 3: Инструмент за мерење степен на тежина кај возрасни - резултати од оценката пред интензивната терапија

Table 3.Stuttering Severity Instrument for Adults – results after the assessment before the intensive treatment

Учесници: 15 возрасни кои пелтечат со про­сеч­на возраст од 25,2 години. Сите од нив ис­ку­силе терапија за оформување на флуент­но­ста пред оваа интензивна терапија за мо­ди­фи­ка­ци­ја на пелтечењето (просечно 12,6 години пред сегашново истражување; ди­јапазон = 4 - 23 години). Еден од учес­ни­ци­те имал терапија за модификација на пел­те­че­њето, една година пред учеството во ин­тен­зивниот курс).
Инклузивен критериум: за да учествуваат ли­ца­та што пелтечат требаше (i) да бидат пос­та­ри од 20 години, (ii) да учествувале во прет­ход­ни трет­мани, (iii) да покажуваат се­риоз­ни на­ру­шу­вања на говорот, со што при­ме­ро­кот би бил реп­резентативен.
Собирање податоци: Досието на секој кли­ент беше прегледано (извештаи од процена и из­веш­таи за напредок). Три вида на до­сие­ја се за­бе­лежани за време на првичната про­це­на: на по­че­токот на ИТ, на крајот од пет­днев­ната ин­те­зивна терапија и 1, 2, 3 години по ИТ.
Мерење: (i) Промени во говорната флуент­ност - прва, втора и трета година после ин­тен­зив­на­та терапија на возрасни кои пел­те­чат. Ева­луа­ци­јата на степенот на тежина бе­ше базирано на честотата на пелтечење за вре­ме на читање наг­лас и спонтано го­во­ре­ње. Гореспоменатите се­рии содржат две мер­ки базирани на флуент­ност и афек­тив­ност, кои беа одредени пред и вед­наш по ин­тен­зивната терапија, како и една, две и три го­ди­ни по ИТ.
Прецизноста на мерењето се однесува на точ­нос­та со која може да се измери пел­те­че­ње­то.
Веродостојност на мерките: по ИТ и по се­ко­ја фаза на стабилизација беше добиено пет­минутно видео со слободен спонтан го­вор од секој учесник. Секој примерок на го­вор содржи најмалку 300 - 400 слогови за по­ве­родостојни резултати. Беше обезбедена и надворешна процена од лекар која покажа 95% „поклопување на мерките“.
Валидност: предвидливата валидност (ва­лид­ност на критериумот) е златен стандард, би­дејќи се однесува на способноста да се пред­видат идни мерки. На крајот на ин­тен­зив­ната терапија, возможно беше прецизно да се предвиди дека клиентите ќе ги одр­жу­ваат своите достигнувања.
Практика базирана врз докази: добрата кли­ни­ч­ка практика, треба и мора да биде ба­зи­ра­на на докази. WASSP-профилот на клиен­ти­те беше анализиран индивидуално.

Participants: Fifteen adults who stutter participated (average age was 25.2 years). All of them had experienced fluency shaping therapy prior to the current intensive stuttering modification therapy (averaging 12.6 years prior to the present study; range = 4–23 years). One participant had stuttering modification therapy (one year prior to participation in the intensive course).
Inclusion criteria: To participate, adults who stutter had to (i) be older than 20 years; (ii) have taken part in a previous treatment trial, and (iii) have exhibited a range of stuttering severities that ensured the sample was representative.
Data collection: Each client’s files were reviewed(assessment reports and progress reports). Three types of files were recorded during the initial assessment, at the onset of IT, and the end of the five day intensive therapy, 1, 2, and 3 years after the IT.
Measurements: (i) Changes in speech fluency the 1st, 2nd and 3^rd year after the intensive treatment with adult stutterers. Evaluation of stuttering severity was based on stuttering frequency during oral reading and spontaneous speaking. The data collection mentioned above consists of two fluency and affective-based measurements, which were assessed before intensive treatment and immediately after the intensive treatment, as well as 1, 2, and 3 years after the IT.
Precision of measures refers to the exactness with which stuttering dysfluencies can be measured.
Reliability of measures: After the IT and each of the stabilization phase sessions, a five-minute video-recorded spontaneous speech sample was obtained from each of the participants. Each speaking sample contains at least 300-400 syllables to ensure reliable results. External independent evaluation was provided by an independent clinician. He reported “measurement agreement” 95%.
Validity: predictive validity (criterion validity) is a gold standard because it refers to the ability to predict future measures. At the end of the intensive adult stutterers' therapy we could accurately predict whether clients would maintain their gains.
Evidence-based practice: A good clinical practice should and must be based on evidence. The clients’WASSP profiles were analysed individually.
The study offers a quantitative measure not necessarily requiring normative comparisons regarding 2011 and 2012 – the so-called post treatment period.
Statistics methods: The data obtained were calculated using the Wilcoxon signed-ranks test for hypotheses testing.

Резултати и дискусија

Промени во говорната флуентност

Results and discussion

Changes in speech fluency

Слика 1.Времетраење на нефлуентностите во секунди, на почетокот спроти крајот на интензивната терапија, па по една, две и три години по интензивната терапија за субјектот 4

Figure 1.Duration of dysfluencies in seconds at the beginning versus end of the intensive treatment, and one, two and three years after the intensive treatment for subject 4

На почетокот на третманот времетраењето на нефлуентност беше 3,8 секунди и веднаш по ИТ овој параметар се намали на 0,8 секунди. Некои промени во времетраењето на флуентноста беа забележани и во првиот и вториот месец по ИТ. На овој клиент му беше тешко да задржи некои од модифицираните техники на зборување како на пример, извлекување или откажување. Подготвителните техники беа успешно применети и усвоени од клиентот по 6 месеци од ИТ. Времетраењето на нефлуентноста од 0,5 секунди незначително се зголеми по три години од ИТ.
По тестирањето на ученикот обично кај него се јавува срам, страв и бес. Тие ги карактеризираат таканаречените образовни недостатоци на клиентот 4 и се поврзани со неговите слаби постигнувања во тој период.

At the beginning of the treatment DD was 3.8 seconds and immediately after IT this parameter reduced to 0.8 sec. Some changes in DD were observed over the first and second months after the IT. For this client it was difficult to maintain some of the new speech modification techniques like pull-out and cancellation. The preparatory set technique was applied successfully and stabilized by the client after 6 months of training after the IT. The 0.5sec DD increased slightly 3 years after the IT.
Embarrassment, fears and anger were typically presented after the student exam session. They characterized the so-called educational disadvantages of client 4 and they are related to his poor educational achievements in that period.

Слика 2.Времетраење на нефлуентностите во секунди, на почетокот спроти крајот на интензивната терапија, па по една, две и три години по интензивната терапија за сите учесници (n=15), (5, 13)

Figure 2.Duration of dysfluencies in seconds at the beginning versus end of the intensive treatment, and one, two and three years after the intensive treatment for all participants (n=15), (5, 13)

Според тестот на Wilcoxon се потврдува дека има намалување во времетраењето на нефлуентностите од почетокот до крајот на интензивната терапија (Z – 3, 408; p <r; 0,001):

• Пред ИТ и 1 година по ИТ (Z – 3, 408; p <r; 0,001)
• Пред ИТ и 2 години по ИТ (Z – 3, 409; p <r; 0,001)
• Пред ИТ и 3 години по ИТ (Z – 3, 408; p <r; 0,001)

Постигнато е одржување на намалувањето во времетраењето на нефлуентностите (p < 0,001). Има значително намалување во просечното времетраење на нефлуентностите.
Има статистички значајна редукција на времетраењето на нефлуентноста:

• По ИТ и 1 година по ИТ: (Z – 0.692; p <r; 0.489)
• По ИТ и 2 година по ИТ: (Z – 0.684; p <r; 0.494)
• По ИТ и 3 година по ИТ: (Z – 1.329; p <r; 0.184).

The Wilcoxon signed ranks test confirmed that there was a reduction of DDs before and after intensive treatment (Z – 3. 408; p <r; 0.001):

• Before IT and 1 year after IT (Z – 3. 408; p <r; 0.001)
• Before IT and 2 years after IT (Z – 3. 409; p <r; 0.001)
• Before IT and 3 years after IT (Z – 3. 408; p <r; 0.001).

Sustained reduction in DDs was achieved (p < 0.001). There was a significant reduction in the average duration of fluency disruptions.
There was a statistically significant reduction of DDs:

• After IT and 1 year after IT: (Z – 0.692; p <r; 0.489)
• After IT and 2 years after IT: (Z – 0.684; p <r; 0.494)
• After IT and 3 years after IT: (Z – 1.329; p <r; 0.184).

Слика 3.Индекс на нефлуентност во % на почетокот спроти крајот на интензивен третман, па по една, две и три години по интензивниот третман за субјектот 4

Figure 3.Dysfluency index in % at the beginning versus end of the intensive treatment, and one, two and three years after the intensive treatment for subject 4

Забележано е намалување на ИН од 38% на 6% по терапијата. Два месеца по ИТ, во фазата на стабилизација клиентот покажува ниско ниво на различни видови нефлуентност со само 0,3% варијација на индексот на нефлуентност. Ова значи дека тој манифестира течен говор. Има период на нестабилност и варијација на ИН кога клиентот се враќа на нефлуентниот говор (движење меѓу 0,3% и брзо растење до 11,5%). Од досието на клиентот може да се види дека тој покажува фрустрација во периодот меѓу 2. и 4. месец по ИТ која е поврзана со здравствени пробеми. Може да се забележи и одржување на течниот говор и 3 години по терапијата. Како заклучок може да се каже дека на клиентот му е потребно време да го консолидира новоусвоениот говор кога се применети нови техники на говор во чувствителниот период. Се покажува дека продолжениот третман, како и психолошката и социјалната поддршка се исто така потребни долго време, со цел да се стабилизира новото однесување стекнато во текот на терапијата. Таквата долгорочна поддршка овозможува продолжување на стабилизацијата и помага во справувањето со претходните однесувања на пелтечење.

Marked decreases from 38% DI before the IT to 6% after the treatment course. Two months after the IT in the stabilization phase the client manifested low level of different types of disfluences with – only 0.3% variation in DI. This means that he manifested fluent speech. There was a period of instability and variation of the DI curve where the participant reverted to dysfluent speech (movements between 0.3% and a rapid increasing to 11.5%). From the client's files it was possible to show that he reported strong frustration between the 2nd and 4th months after the IT, related to associated health problems. Subsequently, the curve demonstrated strong maintenance of the fluent speech behavior and stabilization of fluency 3 years after the IT. To summarize, the client needed a prolonged period of time to consolidate the newly established speech behavior when the totally new speech techniques were applied in this sensitive period. The overall pattern showed that in order to stabilize the new stuttering behaviors acquired during the IT, continued treatment and psychological and social support for a long period are needed. Such long term support allows stabilization to continue and helps manage relapses to the old stuttering behaviors.

Слика 4. Индекс на нефлуентноста на почетокот, спроти крајот на интензивениот третман, па по една, две и три години по интензивниот третман за сите учесници (n=15), (5, 13)

Figure 4. Dysfluency Index at the beginning versus end of the intensive therapy and one, two and three years after the intensive therapy for all participants (n=15), (5, 13)

Утврдени се значителни промени во однос на намалувањето на индексот на нефлуентност, пред и по интензивната терапија (Z – 3.408; p<r; 0.001). Индексот на нефлуентност пред и по ИТ ги покажа следниве резултати:

• Пред и по првата година (Z – 3.411; p <r; 0.001)
• Пред и по втората година (Z – 3.408; p<r; 0.001)
• Пред и по третата година (Z – 3.408; р<r; 0.001).

Индекс на нефлуентност на крајот на ИТ и по 1, 2 и 3 години по ИТ покажува:

• По ИТ и по првата година (Z – 3.068; p <r; 0.002)
• По ИТ и по втората година (Z – 3.408; p<r; 0.001)
• По ИТ и по третата година (Z – 3.202; р<r; 0.001).

Significant changes regarding reduction of disfluency index were found before and after intensive therapy (Z – 3.408; p <r; 0.001). DI before and after the IT show the next results:

• Before and after the 1st year (Z – 3.411; p <r; 0.001)
• Before and after the 2nd year (Z – 3.408; p <r; 0.001)
• Before and after the 3rd year month (Z – 3.408; р <r; 0.001).

DI after the IT and after 1, 2, 3 years post therapy show:

• After IT and after the 1st year (Z – 3.068; p <r; 0.002)
• After IT and after the 2nd year (Z – 3.408; p <r; 0.001)
• After IT and after the 3rd year month (Z – 3.202; р <r; 0.001).

WASSP индивидуални резултати

Индивидуалните резултати за субјектот 4 и дис­кусијата за нив се презентирани во овој дел. Почетниот SSI – 3 резултат беше 46 (99%) - многу тешко пелтечење. WASSP- профилот е прикажан на слика 5.
WASSP-профилите солидно го евалуираат инди­видуалното нефлуентно однесување (индивидуалните карактеристики на пелтечење­то) пред и по интензивната терапија, а ис­то така, и афективните, емоционалните, когни­тив­ните и социјалните аспекти. Во ин­диви­дуал­ниот случај на клиент 4 (со многу тежок сте­пен на пелтечење) се забележаа зна­­­­­чајни про­мени во говорната не­флуент­ност, веднаш по ИТ во одност на сите ис­тра­жувани осум па­ра­метри. Само еден од ис­тра­жу­ваните па­ра­мет­ри на WASSP-про­фи­лот не се промени по ин­тензивниот курс (не­га­­тивни мисли во текот на зборувањето). Што се однесува до сег­ментот „неиз­бег­ну­ва­ње“, промените беа многу импресивни. Сегашниот метод за „не­из­бег­нување“ на Van Riper бара промени во ти­пич­ното по­ве­де­ние на „избегнување“, преку де­­сен­зи­би­ли­за­ци­ја во различни говорни си­туа­ции. Лесно е за искусниот терапевт да за­бе­ле­жи пад на ста­вот за избегнување во сите 4 об­лас­ти: на збо­рови (од 6 на 3); на ситуации (од 4 на 1); го­вор­ење за пелтечењето со други (од 5 на 1) и признавање на проблемите пред се­бе­си (од 7 на 1). Како заклучок, клиентот 4 при­ка­­жа видлива промена во прогресот и ре­дук­ци­­ја­та на резултатите за сите 5 субскали на WASSP (со два исклучоци во одделот дру­ги).

WASSP Individual case results

Subject 4’s individual results and their discussions are presented in this section. The initial SSI – 3 score was 46 (99%) which reflects very severe stuttering. The WASSP profile is shown in Figure5.
The WASSP profiles strongly support the observation of changes in the individual stuttering behaviors before and after the IT as well as affective, emotional, cognitive and social changes. In the individual case of client 4 (with very severe initial stuttering) remarkable speech dysfluency changes were observed immediately after the IT concerning all eight of the parameters examined. Only one of the examinees’ WASSP profile parameters did not change after the intensive course (negative thoughts during speaking). This could be explained by the client’s inability to admit how severe his stuttering was, as well as feelings and avoidance at the beginning of the course. The changes were also impressive concerning Avoidance. The present Van Riper’s non-avoidance approach requires changes in the typical avoidance behavior through desen­si­ti­zation in different speech situations. For the expe­rienced clinician it is easy to observe dec­rease of the avoidance attitude in all 4 areas: of words (from 6 to 3); of situations (from 4 to 1); talking about stuttering with others (from 5 to 1), and admitting problems to yourself (from 7 to 1). To conclude, client 4 reported a chan­ge of progress and reduction of scores for all five subscales in WASSP.

Слика 5. Профилот на Wright & Ayer за самопроценување на пелтечењето - резиме за клиентот 4

Figure 5. Wright & Ayer Stuttering Self-rating Profile (WASSP) summary of the client 4

Неговите објаснувачки коментари во последната супскала во неговиот профил укажуваат дека тој веќе развил реални очекувања за резултатите од пелтечењето. За клиентот 4, методот за оформување на флуентност имал мал или краткотраен ефект пред да партиципира во методот за модификација на пелтечењето - дел од претставеново истражување. „Неизбегнувањето“ како метод за модификација на пелтечењето, првенствено е феноменолошка терапија, за којашто е тешко да се направи квантитативна евалуација.

His explanatory comments in the last section of his profile revealed that he had developed realistic expectations about stuttering outcomes. For client 4, the fluency shaping approach had little or no lasting effect which contrasted with the results of the non-avoidance approach in the present study. The non-avoidance stuttering modification approach is primarily a phenolmenological treatment, which is difficult to evaluate in quantitative terms.

WASSP-групни резултати

Резултатите од поставените WASSP-супскали покажаа позитивни промени што треба да се разгледаат како одговор на учеството во терапевтскиот курс за повеќето учесници. Тоа вклучува однесувања, мисли, чувства, избегнување и недостаток на скали. Тие покажаа видлива промена во прогресот во сите пет супскали на WASSP-профилот. Повеќето клиенти беа силно мотивирани и го намалија својот степен на пелтечење од почетокот на интензивната терапија. Останатите параметри на WASSP се променија на позитивен начин.

WASSP Group results

The set of WASSP subscales results revealed considerable positive changes in response to participation in the therapy course for the majority of the participants. It includes behaviors, thoughts, feelings, avoidance and disadvantage scales. They reported a visible change of progress in all five subscales of the WASSP. The majority of clients were strongly motivated and reduced their degree of stuttering from the beginning of the intensive therapy. The rest of the WASSP parameters changed in positive way.

Заклучок

Позитивните промени во говорната флуентност пред и по интензивната терапија и во периодот што следува (една, две и три години по интензивната терапија), беа постигнати во однос на два суштински параметри: (1) времетраење на нефлуентностите, и (2) индекс на нефлуентноста (5, 13).
Беше забележано подобрување во времетраењето на пелтечењето веднаш по завршувањето на интензивната терапија. Истото беше одразено во статистички значајно намалување на бројот на нефлуентни искази во минута. Овие позитивни промени беа стабилно одржувани во периодот на деветмесечната фаза на стабилизација, потоа една, две и три години по терапијата.
Иако терапијата беше со ограничено времетраење, овој приод за неизбегнување на пелтечењето во интензивната терапија им дава на клиентите нови суштински искуства и чувства што им овозможуваат да напредуваат потпирајќи се на сопствените напори.
Бугарските логопеди обично преферираат да го применуваат методот на оформување на флуентноста, а и повеќе се запознаени со него. Методот за „неизбегнување“ е класичен пример на метод за модификација на пелтечењето во терапијата на истото, но, е само една варијанта од многу терапии за модификација на ова нарушување на флуентноста на говорот. Можеби, едноставно учеството во конкретниов тип на групна интервенција при пелтечење, може да биде доволно да се постигнат забележаните позитивни промени на типот и магнитудата (5, 13).
Резултатите од ова истражување докажуваат дека Меѓународната класификација на функционирање, инвалидитет и здравје е конструктивна работна рамка за квалитативна дијагностика и терапија во логопедијата, во однос на терапијата на пелтечењето. Ова истражување за првпат и го претстави моделот за модификација на пелтечењето на бугарската логопедска практика и стана добар пример на мерење на резултати од терапијата, базирани врз докази.

Conclusion

The positive changes in speech fluency before and after the intensive therapy and in the follow up period (one, two and three years after the intensive therapy) were obtained regarding the two essential parameters: (i) duration of dysfluencies, and (ii) index of dysfluency (5, 13).
Improvement in stuttering duration was observed immediately upon completing the intensive therapy. This was reflected in a statistically significant reduction in the number of stuttered utterances per minute. In the period of nine months stabilization phase, one year, two years and three years after the therapy these positive changes were maintained.
Although therapy was for a limited time, this stuttering non-avoidance approach intensive therapy provided the clients with new key experiences and feelings that allowed them to progress based on their own effort.
Usually, Bulgarian speech therapists prefer to apply fluency shaping approach and are much more familiar with it. While the non-avoidance approach is a classic example of stuttering modification approach to stuttering therapy, it is only one variant of many stuttering modification therapies. We do not know whether these results can be generalized to other stuttering modification approaches. Perhaps simply participating in the present type of group stuttering intervention may be sufficient to bring about the positive changes of the type and magnitude that we observed (5, 13).
Results from this study showed that International Classification of Functioning, Disability, and Health are a beneficial framework for quality assessment and therapy in logopedics regarding stuttering. This study introduced for the first time in Bulgarian logopedical practice stuttering modification approach and represents a good example of therapy outcomes evidence-based measurement.

Благодарност

Ова истражување е финансирано во рамките на Југозападен универзитет „Н. Рилски“, Благоевград, Бугарија, истражувачки проект: Управување и мерење на пелтечењето базирано на докази: Резултати за Camperdown третман за пелтечење (2015).

Acknowledgement

This study was funded in the frame of the South-West University “N. Rilski”, Blagoevgrad, Bulgaria research project: Evidence-based stuttering management and measurement: Outcomes for a Camperdown stuttering treatment (2015).

Конфликт на интереси

Авторот изјавува дека нема конфликт на интереси.

Conflict of interests

Author declare that have no conflict of interests.

Citation: Georgieva D. Multidimetional outcome and long-term evaluation of non-avoidance stutterung therapy. J Spec Educ Rehab 2015; 16(1-2): 36-54. doi: 10.1515/JSER-2015-0003

Литература/References

1. International Classification of Functioning, Disability, & Health. Geneva: World Health Organization. 2001.
2. Yaruss JS, Quesal RW. Overall Assessment of the Speaker’s Experience of Stuttering (OASES): documenting multiple outcomes in stuttering treatment. J Fluency Disord 2006; 31: 90-115.
3. Georgieva D, Fibiger S. Intensive Non-avoidance Group Therapy with Adults Stuterers: Experience from Bulgaria. Dansk Audiologopaedi (Denmark). 2010 Sept; 3: 24–30.
4. Georgieva D. Intensive Non-Avoidance Group Therapy with Adults Stutterers: Preliminary Results. Proceeding of the International Conference of Stuttering (Editor Giacomo Soncini), Prima edizione, 7-9 June, Roma: Omega Edizioni; 2012; 163–171.
5. Georgieva D. Intensive Non-Avoidance Group Therapy with Adults Stutterers: Follow up Data. Proceedings from the 10th Oxford Dysfluency Conference, St. Catherine college, Oxford, UK; 2015, July (in press).
6. Golper LA, Frattali CM. Outcomes in Speech Language Pathology. Second edition. NY: Thieme, 2013. Ivanov V. Logopedics. Sofia: Nauka i izkustvo, 1973 (in Bulgarian).
7. Georgieva D, Goranova E. The treatment of fluency disorders: experience in Bulgaria. Presentation at the 7th Oxford Dysfluency Conference; 2005.
8. Georgieva D. Speech situations, increasing the degree of stuttering in persons aged 13–16 – PhD thesis, Sofia University, Bulgaria; 1996.
9. Fibiger S, Peters H, Euler H, Neumann K. Health and human services for persons who stutter and education of logopedists in East-European countries. J Fluency Disord 2008; 33: 66–71.
10. Fibiger S, Peters H, Touzet, BB, Neumann K. Therapy for persons who stutter: Eastern Europe and Latin America. In: 5th World Congress on Fluency Disorders, 25-28th July; 2006, Dublin, Ireland.
11. NetQues Project. Network for Tuning Standards & Quality of Educational Program for Speech Language Therapists in Europe funded by ERASMUSENWA Life Long Learning Programme [online] 2010-2013 [cited 2014]. Available from: http://www.Netques.eu/?page _id=44
12. Georgieva D. Non-avoidance Group Therapy with Adults Stutterers: Preliminary Results. CoDAS, J of Sociedade Brasiliera de Fonoaudiologia; 2014; 26 (2): 112–120.
13. Andrews G, Guitar B, & Howie P. Meta-analysis of stuttering treatment. J Speech Hear Disord 1980;45: 287–307.
14. Cordes AK, Ingham RJ. editors. Treatment efficacy for stuttering: a search for empirical bases. San Diego: Singular Publ. Group; 1998, 213–242.
15. Prins D, & Ingham R. Evidence-based treatment and stuttering – historical perspective. J Speech Lang ∓ Hear Res 2009; 52: 254–263.
16. Thomas C, & Howell P. Assessing efficacy of stuttering treatment. J Fluency Disord 2001; 26: 311–333.
17. Conture EG. Stuttering: Its nature, diagnosis, and treatment. Needham Heights, MA: Allyn and Bacon. 2001.
18. Johnson W. Stuttering and what you can do about it. Danville, IL: Interstate; 1961.
19. Riley GD. Stuttering severity instrument (4th edition). Austin, Texas: PRO-ED; 2009.
20. Yairi E & Ambrose N. A longitudinal study of stuttering in children: A preliminary report. J Speech Hear Res 1992; 35: 755–760.
21. Chang SE, Erickson KI, Ambrose NG, Hasegawa-Johnson MA & Ludlow CI. Brain anatomy differences in childhood stuttering. NeuroImage 2008; 39: 1333–1344.
22. Foundas AL, Bollich AM, Corey DM, Hurley, M, & Heilman, KM. Anomalous anatomy of speech-language areas in adults with persistent developmental stuttering. Neurology 2001; 57: 207–215.
23. Cooper EB. Chronic perseverative stuttering syndrome: A harmful or helpful construct? Am J Speech Lang Path 1993; 2(3):11–15.
24. Manning WH. Clinical decision making in fluency disorders (3rd ed). Clifton Park, New York: Delmar/Cengage Learning. 2010.
25. Shapiro DA. Stuttering Intervention. A Collaborative Journey to Fluency Freedom (2nd ed). Austin, Texas: Pro-ed; 2011.
26. Sheehan JG. Stuttering: Research and therapy. New York: Harper and Row; 1970.
27. Van Riper C. The nature of stuttering (2nd ed). Englewood Cliffs, New Jersey: Prentice Hall; 1982.
28. Watson JB. Exploring the attitudes of adults who stutter, J Com Disord 1995; 28: 143–164.

29. Craig A, Hancock K, Tran Y, & Craig M. Anxiety levels in people who stutter: A randomized population study. J Speech Lang Hear Res 2003; 46: 1197–1206.
30. Klein JF & Hood SB. The impact of stuttering on employment opportunities and job performance. J Fluency Disord 2004; 29(4): 255–273.
31. Brutten GJ & Shoemaker DJ. A two-factor learning theory of stuttering. In Travis LE (Ed), Handbook of speech pathology and audiology. Englewood Cliffs, NJ: Prentice Hall; 1971: 1035–1072.
32. Ornstein A & Manning W. Self-efficacy scaling by adult stutterers. J Com Disor 1985; 18: 313–320.
33. Woolf G. The assessment of stuttering as struggle, avoidance and expectancy. British J Disord Com 1967; 2: 158–171.
34. Wright L, Ayre A. WASSP: Wright and Ayre Stuttering Self-rating Profile. Bicester: Speechmark; 2000.
35. Ayre A, Wright L. WASSP: an international review of its clinical application. Intern J Speech Lang Path 2009;11(1): 83–90.
36. St Louis KO, Filatova Y, Coskun M, Topbas S, Ozdemir S, Georgieva D, McCaffrey E, George R. Public Attitudes Toward Cluttering and Stuttering in Four Countries. Chapter in book “Psychology of Stereotypes”, Nova Science Publishers, Inc, New York, 2011; 81-115.
37. Yaruss JS. Assessing quality of life in stuttering treatment outcomes research. J Fluency Disord 2010; 35: 190–202.
38. Craig A, Blumgart E, & Tran Y. The impact of stuttering on the quality of life in adults who stutter. J Fluency Disord 2009; 34 (2): 61–71.
39. Klompas M & Ross E. Life experience of people who stutter, and the perceived impact of stuttering on quality of life: Personal accounts of South African individuals. J Fluency Disord 2004; 29(4): 275–305.
40. St. Louis KO, Filatova Y, Coskun M, Topbas S, Ozdemir S, Georgieva D, McCaffrey E, George R. Identification of cluttering and stuttering by the public in four countries. Intern J Speech-Language Pathology; 2010;12 (6): 508–519.
41. IALP International Association of Logopedics and Phoniatrics. Guidelines for initial education in logopedics (speech/language pathology/ therapy, orthophony, etc.): Folia Phoniat Logop 1995; 47: 296–301.
42. IALP (2010) Education Guidelines (September 1, 2009): Revised Guidelines for Initial Education in Speech-Language Pathology. Folia Phoniat Logop; 2010;62:210–216.
43. Standing Liaison Committee of Speech and Language Therapists or Logopedists of the European Union: CPLOL, Paris, [online] 1998; [cited 2014] Available from: http://www.cplol.eu/images/Documents/educa-tion/Revised_Min_Standards _2007_la.pdf
44. Van Riper C. The treatment of stuttering. New Jersey: Prentice-Hall; 1973.
45. Riley G. Stuttering severity instrument for children and adults. 3rd edition. Austin: Pro-Ed; 1994. 47. Georgieva D. Acoustic and Electroglottographic Voice Characteristics in Stuttering: Data From Two Cases. Proceedings of the 10th International Conference on Advances in Quantitative Laryngology, Voice and Speech Research, June 3-4, Cincinnati, Ohio, USA. 2013a; 83–84.
46. Georgieva D. Acoustic and Electroglottographic Voice Characteristics in Stuttering: Group Study. Proceedings of the 10th International Conference on Advances in Quantitative Laryngology, Voice and Speech Research, June 3-4, Cincinnati, Ohio, USA; 2013b; 85–86.
47. Yaruss JS. Measuring multiple outcomes in stuttering treatment. In: 7th Oxford Dysfluency Conference, Oxford, 2005; 5–11.
48. Yaruss JS. Describing the consequences of disorders: Stuttering and the International Classification of Impairment, Disability, and Handicaps. J Speech Lang Hear Res 1998; 49, 249–257.
49. Andrews G, Cutler J. Stuttering therapy: The relation between changes in symptom level and attitudes. J Speech Hearing Disord; 1974, 34: 312–319.
50. Ornstein A, Manning, W. Self-efficacy scaling by adult stutterers. J Com Disord 1985;18, 313–320.
51. Crowe TA, Cooper EB. Clinician attitudes toward and knowledge of stuttering. J Com Disord 1977;10: 343–357.
52. Yaruss JS, Quesal RW. Stuttering and the International Classification of Impairment, Disability, and Health (ICF): An update. J Com Disord 2004; 37: 35–52.