Integrating cipp with the logic model to represent technology-based r&d programs
Figures 5, 6, and 7 present the results of integrating the CIPP model with the logic model framework. The hybrid model provides technology-based innovation program sponsors and project managers with an operational role for evaluation, from building relevance to tracking impacts.
In Figure 5, the logic model highlights three additional elements:
The CIPP evaluation activities are juxtaposed around the project activities box, connected respectively to its objectives, structure, and process.
The project activities box is expanded to show R-D- P projects and their relations. Note the KT bridges within the project process and how they link methodological outputs vertically and horizontally. Note also the initial gate before the R phase, where we can avoid the time and expense involved in sponsoring new research if the necessary knowledge already exists in the literature base inside or outside the field of application.
The KT bridges go outward from outputs to outcomes; note the forked KT symbols going to outcomes. Here, KT happens in two ways: a general KT and a more focused KT. The first case involves delivering outputs to all stakeholders with potential interest. In the second case, KT may be limited to a specific group, organization, or individual, such as a manufacturer, positioned to treat the knowledge as input to the next method.
Малюнок 4 Наслідки ТЗ для логічної моделі: проста версія. Малюнок 4 розширює Малюнок 3 шляхом введення ТЗ або трансляції знань в план операції, що протікає через програму досліджень і розробок (чи її логічну модель). Він показує серію з шести текстових блоків, розміщених поруч один з одним і послідовно з’єднаних стрілками. Зліва направо, ці блоки пропонують ланцюгову дію за участю шести основних компонентів програми таким чином: перший блок посилається на введення ресурсів та коштів, отриманих в рамках програми. Другий блок відноситься до діяльності, здійснюваної в рамках фінансованого проекту, третій блок відноситься до продукції або негайних результатів проектів програми. Цей блок підключається послідовно до четвертого і п’ятого блоків, які відповідно відносяться до короткострокових та середньострокових результатів (від поширюваних результатів). Подовжені блоки, розташовані над цими двома блоками та пов’язані з ними, показують, що результати відносяться до ефектів або змін в цільовій аудиторії і системі. Основні блоки закінчуються шостим в правому куті, який відноситься до програмних цілей або довгострокових результатів у вигляді спричиненого впливу. Другий подовжений блок поміщається під трьома блоками наслідків і відноситься до результатів та оцінки впливу; він відноситься до оцінки і документування переваг і ризиків, пов’язаних з програмою. Блок підключається до овалу нижче, що свідчить: «спонсор програмної бази даних», припускаючи його за рецептора оцінки даних. Наявність трансляції знань в програмі операцій показано розташуванням «ТЗ» поруч з стрілками між відповідними полями; ТЗ має місце у всьому і присутня скрізь, за винятком проміжку між діяльністю і результатом.
ТЗ являє собою більш активний та індивідуальний підхід до об’єднання нових знань будь-якого стану, ніж відносно пасивний підхід поступової дифузії або поширення наукової інформації. ТЗ також більш широка, оскільки цільова аудиторія включає кілька груп зацікавлених сторін, а не колег в галузі дослідження і практики. Стрілка, що сполучає ТЗ з блок вхідних даних з блоком діяльностей є нагадуванням про те, що зусилля ТЗ для забезпечення оптимального відношення до розв’язуваної проблеми – і тим самим передбачуваним користувачам знання повинні починатися ще до концептуалізації НДДКР-програми. Ця грантно-пріоритетна точка зору вбудована в модель КВПП через оцінку контексту, яка охоплює програмні пріоритети (більш широкий контекст) і потреби користувачів проекту (конкретні умови) та фокус логічної моделі на впливові результати. Поєднання цих двох моделей відносить передбачуваний вплив проекту на більш широку програму спонсорських цілей, що, як стверджують деякі автори, повинно бути відмінною рисою будь-яких фінансованих державою програм, що мають намір принести користь суспільству.
Результати
Інтеграція моделі КВПП з логічною моделлю для представлення технологічних НДДКР-програм
На рисунках 5, 6 і 7 представлені результати інтеграції моделі КВПП зі структурою логічної моделі. Гібридна модель надає спонсорам та керівникам проекту технологічно інноваційних програм оперативну оціночну роль, від створення відношення до відстеження наслідків.
На малюнку 5, логічна модель виділяє три додаткові елементи:
1. Діяльність щодо оцінки КВПП зіставляється навколо блоку проектної діяльності, відповідно пов’язані її цілі, структура та процес.
2. Блок діяльності за проектом розширюється, щоб показати ДРВ-проекти і їх відносини. Зверніть увагу на ТЗ в рамках проектного процесу і як вона пов’язує методологічні матеріали по вертикалі і горизонталі. Зверніть увагу також на початковий вхід до фази Д, де ми можемо уникнути витрат часу та коштів беручи участь у фінансуванні нового дослідження, якщо необхідні знання вже існують в літературній базі всередині або за межами області застосування.
3. ТЗ йде в напрямі від результатів до наслідків; відзначте роздвоєні символи ТЗ, що йдуть до результатів. Тут ТЗ відбувається двома способами: загальною ТЗ і більш цілеспрямованою ТЗ. Перший випадок включає в себе проведення заходів для всіх зацікавлених сторін з потенційним інтересом. У другому випадку, ТЗ може бути обмежена певною групою, організацією або особистістю, такою, як виробник, налаштований ставитися до знань як до внеску в наступний метод.
Figure 5 The bridging role of KT in technology-based R&D. Figure 5 explicates the bridging action of knowledge translation (KT) in the logic model of a technology-based research and development (R&D) program. The diagram shows six adjacent columns and the model elements in labeled text boxes, placed either inside or around the columns. Arrows connecting boxes and columns suggest the following model dynamics. Connection of context evaluation (box above the columns) to project objectives (second column) suggests the importance of needs analysis and program priorities to knowledge generation. This represents the first KT bridge. While resource assessment from input evaluation (first column) leads to project structure (second column), optimizing procedures though process evaluation (first column) is vital for project process (second column). Interaction within this process suggests a KT path between three distinct processes of research (R), development (D) and production (P) and the stage gate (G); this includes bridges from G to R to G to D to G to P. Outgoing arrows from R, D and P connect these three processes to their respective outputs in the third column: research findings (Discovery), prototype (Invention) and device/service (Innovation). In parallel, the output column also connects to product or output evaluation (box below the columns) which assesses output quality and value, first to improve it (formative evaluation box) and then to document it (summative evaluation box). The output column then leads sequentially to the fourth and fifth columns of short- and mid-term outcomes, and finally to the long-term impact or program goal column. These connections are KT bridges of continued knowledge communication. In parallel, outcomes and impact evaluation (box below the outcome columns) assess column content and send data to the sponsor program database (box below outcome and impact evaluation). This marks the documentation of evidence of project impact, facilitated and solidified by the bridging action of knowledge translation.
Figure 6 then extends the logic model over time. It shows the part of the model where the outputs cause effects in the form of actions by stakeholders (labeled as outcomes). Figure 6 presents the sequence of outcomes resulting from outputs of the R, D, and P activities separately. It also shows two outcome chains in each KT case—general KT versus focused KT. The programs/projects are expected to sequentially obtain outcomes, such as changing the state of stakeholder knowledge from unaware to aware, then on to interest in the knowledge, and eventually to implementation. Implementation should result in changes to practice (e.g., evidence-based applications, prototype construction and testing, commercial device and service manufacturing) or to policy changes (e.g., regulation and reimbursement of devices and services).
The time and effort required to progress through this sequence is partly dependent on the path taken. In Figure 6, one can trace paths of differing length from the output of any method (R, D, or P) to the outcome and impact. The timeframe for research outputs to achieve impacts—particularly for technology-based projects—is extended due to the need to pass through the two downstream methods of development and production. For research projects, achieving impact is likely beyond the scope of funding and beyond the project’s timeframe. This is an important point for project and program accountability. Because accountability requirements only extend to the termination of the funding timeframe, it is not feasible for research projects to demonstrate impact during the award. At best, they can demonstrate the downstream plan through which they or other stakeholders will complete the development and/or production activities and thereby transform outputs into impacts.
Малюнок 5 Сполучна роль ТЗ в основі технологічних НДДКР. Малюнок 5 розкриває подолання дій трансляції знань (ТЗ) в логічній моделі програм технологічних досліджень і розробок (НДДКР). На схемі показано шість суміжних колонок та елементи моделі в помічених текстових полях, розташовані всередині або навколо колонок. Стрілки, що з’єднують блоки і колонки, пропонують наступні моделі динаміки. Підключення оцінки контексту (колонка вгорі) до цілей проекту (друга колонка) показує важливість аналізу потреб і пріоритетів програми до створення знань. Це перший міст ТЗ. У той час як оцінка ресурсів від оцінки вхідних даних (перша колонка) приводить до структури проекту (друга колонка), оптимізація процедур через процес оцінки (перша колонка) є життєво важливим для проекту процесу (друга колонка Взаємодія в рамках цього процесу передбачає ТЗ між трьома окремими процесами дослідження (Д), розвитку (Р) і виробництва (В) та етапу затвору (З), що включає в себе мости від З до Д до З до Р до З до В. Стрілки, що відходять від Д, Р і В під’єднують ці три процеси до відповідних виходів в третій колонці: результати дослідження (Відкриття), прототип (Винахід) і пристрій/послуги (Інновації). Паралельно з цим, вихідна колонка також підключається до продукту або оцінки результатів (поле під колонкою), яка оцінює якість продукції і його значення, спочатку заради покращення (блок суммарної оцінки), а потім заради документування (блок підсумкової оцінки). Вихідна колонка потім призводить послідовно до четвертої і п’ятої колонки коротко-і середньострокових результатів, і, нарешті, до колонки довгострокових наслідків або цільових програм. Ці зв’язки є мостами ТЗ з постійного сполучення знань. Паралельно з цим, результати та оцінка впливу (поле нижче результуючої колонки) оцінюють вміст колонки і відправляють дані в базу даних спонсорів програми (поле нижче результатів і оцінки впливу). Це знаменує документаційні свідчення впливу проекту, сприяння і затвердження дій трансляції знань.
Малюнок 6 розширює логічну моделі в часі. Він показує частину моделі, де результати викликають наслідки у вигляді дій зацікавлених сторін (помічені як наслідки). На малюнку 6 представлена послідовність наслідків створення результатів окремо Д, Р та В-діяльності. Він також показує два ланцюги результатів в кожному випадку ТЗ – загальній ТЗ та цільовій ТЗ. Програми/проекти, як очікується, будуть послідовно отримувати результати, такі як зміна стану суб’єктів знань від незнання до знання, потім на інтерес до знань, і в кінцевому підсумку до його здійснення. Впровадження повинно привести до змін у практиці (наприклад, будівництво і тестування прототипу, комерційних пристроїв та обслуговування виробництва) або зміни в політиці (наприклад, регулювання та відшкодування пристроїв і послуг).
Час і зусилля, необхідні для прогресу цієї послідовності частково залежить від обраного шляху. На Малюнку 6 можна простежити шлях різної довжини з виходу будь-якого методу (Д, Р або В) за підсумками і впливом. Терміни результатів досліджень для досягнення впливу – особливо для технологічних об’ектів – подовжується у зв’язку з необхідністю пройти через два вхідних методи розробки і виробництва. Для науково-дослідних проектів, досягнення впливу, ймовірно, виходить за рамки фінансування та за межі строків проекту. Це важливий момент для проектів та програм підзвітності. Оскільки підзвітні вимоги поширюються тільки на терміни припинення фінансування; для науково-дослідних проектів не представляється можливою демонстрація впливу в ході конкурсу. У кращому випадку, може бути продемонстрований нисхідний план, через який дослідні проекти або інші зацікавлені сторони завершать розробку та/або виробничу діяльність і тим самим трансформують результати в наслідки.
Figure 6 Progression of R-D-P outputs through outcomes to impact. Figure 6 summarizes the progression of research (R), development (D) and production (P) outputs of a technology based research and development program towards outcomes and impacts, via knowledge translation (KT). Five adjacent columns sequentially connected by forward arrows show program progress. Arrows leading out of output boxes R, D and P, arranged one below the other in column one, connect to short term outcomes (column two) and represent knowledge translation (KT) to knowledge user (KU) groups. The forked arrows suggest alternate paths of effects generated on the KUs, as represented by alternate rows of boxes across columns. Rows 1, 3 and 5 refer to the first path: awareness of discovery (for R), invention (for D) or innovation(for P) in the short term (column two); interest and use, as well as policy and practice changes in the midterm (columns three and four); and impact in the long term (column 5). Rows 2, 4 and 6 show the alternate effect path. Here the KUs have taken the output to the next stage of technological innovation in the short term- i.e., R to D; D to P; or P to launch. This knowledge-to-action (KtA) effort is represented by 3 return arrows from column two to column one. The resulting path of effects shown in the last row of boxes: innovation launch in the short term; KU satisfaction, tracked market success, and sustained practice and policy changes in the midterm. These effects are more advanced in relation to long term impacts (last column) than the corresponding effects in the first, third and fifth rows. The time to impact is longest in the first row and shortest in the last. It can be verified by the outcomes and impact evaluation (box below columns) and documented through program database (box at bottom of diagram).
Figure 7 combines all of the prior components into a comprehensive diagram to show how the role of evaluation spans the entire innovation process and how KT serves to bridge the components. It shows the links between R, D, and P methods and how they combine to create and deliver a technology-based innovation to the marketplace. It shows the mechanisms involved in generating the socioeconomic benefits expressed in public policies and supported through government programs.
Figure 7‘s integrated logic model emphasizes the importance of performing context evaluation prior to initiating any efforts intended to generate technology-based innovations. This is an opportune point to apply two forms of context evaluation: (1) project context—the needs and opportunities analysis specific to the project’s immediate context, which provides information necessary for defining project objectives; and (2) program context—the analysis of the broader situational context around the project’s identified problem, which informs funding priorities and request for proposals. Through this approach, the project objectives and the program priorities all become evidence-based.
Малюнок 6 Прогрес результатів Д-Р-В від наслідків до впливу. На Малюнку 6 показаний прогрес Досліджень (Д), Розробок (Р) і Виробництва (В) технологічних результатів на основі програми досліджень і розробок по відношенню до наслідків і впливів за допомогою трансляції знань (ТЗ). П’ять сусідніх колонок, послідовно з’єднаних стрілками, показують прогрес програми. Стрілки, що ведуть з вихідних блоків Д, Р і В, розташованих один під одним у першій колонці, підключаються до короткострокових результатів (колонка два) і представляють трансляцію знань (ТЗ) до груп користувачів знань (КЗ). Роздвоєні стрілки пропонують альтернативні шляхи ефектів, генерованих на КЗ, як це показано альтернативними рядами блоків по стовпцях. Рядки 1, 3 і 5 відносяться до першого шляху: усвідомлення відкриття (для Д), винаходи (для Р) або інновації (для В) в короткостроковій перспективі (колонка два); інтерес і використання, так само як політичні і практичні зміни в середньостроковій перспективі (колонки три і чотири), а також вплив у довгостроковій перспективі (колонка 5). Рядки 2, 4 і 6 показують альтернативне спрямування ефектів. Тут КЗ задіюють результат в наступному етапі технологічних інновацій в короткостроковій перспективі, тобто Д до Р, Р до В, або В до запуску. Зусилля знань-до-дії (ЗдД) представлені 3 стрілками, що повертаються від колонки 2 до колонки 1. У результаті спрямування ефектів показане в останньому рядку блоків: запуск інновацій в короткостроковій перспективі; задоволення КЗ, наглядний успіх на ринку, стійкі практичні і політичні зміни в середньостроковій перспективі. Ці ефекти є більш продвинутими по відношенню до довгострокових наслідків (остання колонка), ніж відповідні ефекти в 1, 3 і 5 рядках. Час впливу є найдовшим в першому рядку і найкоротшим у останньому. Це можна перевірити результатом і його оцінкою (див. вставку під колонкою) і документально через базу даних програми (блок в нижній частині діаграми).
Малюнок 7 поєднує в собі всі попередні компоненти в комплексну схему, показуючи, як роль оцінки охоплює весь інноваційний процес і як ТЗ служить для поєднання компонентів. Він показує зв’язок між Д, Р, В і методами, їх об’єднання для створення і доставки технологічних інновацій на ринок. Він показує як механізми, що беруть участь у формуванні соціально-економічної вигоди, виражаються в державній політиці та підтримуються в рамках державних програм.
Інтегрована модель логіки на Малюнку 7 підкреслює важливість виконання контекстної оцінки до початку будь-яких зусиль, призначених для створення технологічних інновацій. Слушним буде застосувати дві форми контекстної оцінки: (1) проектний контекст – потреби і можливості аналізу, характерні для безпосереднього контексту проекту, що надають інформацію, необхідну для визначення цілей проекту, і (2) програмний контекст – аналіз більш широкого ситуаційного контексту навколо визначених завдань проекту, в яких повідомляються пріоритети фінансування і попит відповідно до пропозицій. Завдяки такому підходу цілі та пріоритети програми отримують в основу фактичні дані.
Figure 7 Planning and evaluating technology-based R&D: role of KT from beginning to end. Figure 7 presents an overview of planning and evaluating a technology-based research and development (R&D) program, explicitly summarizing the role of knowledge translation (KT) in increasing the likelihood of getting the intended beneficial impacts from its project outputs. It integrates the concepts presented earlier in Figures 5 and 6. It is structured around six columns sequentially connected by arrows suggesting progressive motion. Columns 1 and 2 refer to project activities and project output; the interactions between the column contents and the evaluation activities around the columns were detailed in Figure 5; it showed how knowledge translation (KT) is embedded in those interactions that result in outputs from research (R), development (D) and production (P) processes. Columns 3, 4, 5 and 6 were the primary focus in Figure 6 which presented a detailed view of the KT connections through the progression of outputs (column 2) into long-term impact (column 6), taking two alternate effect paths that cut across short term (column 3), midterm (columns 4 and 5) outcomes. It showed the difference in speed between the two paths in getting impact from an R output: one where knowledge users (KUs) just become aware of the output in the short term and one where they further proceed to take the knowledge to action (KtA) and begin the next process in the technologicalinnovation. Figure 7 captures the above concepts to show the role of KT in effective planning of technology based R&D programs for impacts. The reader is directed to Figures 5 and 6 for details.
At the program level, evidence-based information about socioeconomic needs amenable to technology- based innovations helps funding agencies assess grant proposals for relevance, define indicators of impact, and determine how to monitor and evaluate funded projects. The context evaluation ensures that needs remain central to funding priorities and project deliverables.
At the project level, the evidence-based needs analysis aligns the project deliverables with the sponsor’s mission, while ensuring the relevance of project outputs to the intended knowledge users, prior to initiating activities. Figure 7 shows why that approach is preferable to the end-of-grant or integrated approaches to KT for those programs and projects intending to result in beneficial socioeconomic impacts from technology-based innovations [12]. Given the option to do so, why would programs pursue any other path?
Figure 7 integrates key concepts and creates connections to guide construction of integrated logic models for utilization-focused R&D. As a static graphic, it is of necessity simple and linear in form. Yet it can serve as a basis for constructing nonlinear and complex models, as needed, to incorporate and explicate elements that have a bearing on the causal sequence represented by this simple model. It can be readily expanded by individual programs and projects to reflect their unique program characteristics and contexts.
Малюнок 7 Планування і оцінка технологічних НДДКР: роль ТЗ від початку до кінця. Малюнок 7 представляє планування та оцінки програм технологічних досліджень і розробок (НДДКР), коротко підсумовуючи роль трансляції знань (ТЗ) у підвищенні ймовірності отримання передбачуваного бенефіціарного впливу від результатів проекту. Він об’єднує концепції, представлені раніше на малюнках 5 і 6. Шість послідовно з’єднаних стрілками колонок представляють собою прогресивний рух. Колонки 1 і 2 відносяться до діяльності проекту та виконання проекту; взаємодії між змістом колонок та оцінкою діяльності колонок були зображені на малюнку 5; він показував, як трансляція знань (ТЗ) входить в ці взаємодії в результаті результування процесів дослідження (Д), розробки (Р) та виробництва (В). Колонки 3, 4, 5 і 6 були в центрі уваги на Малюнку 6, в якому представлений детальний огляд поднання ТЗ через прогрес результатів (колонка 2) у довгострокову дію (колонка 6), взявши два альтернативні шляхи, що проходять через короткострокові (колонка 3) та середньострокові (колонки 4 і 5) результати. Він показує різницю у швидкості між двома шляхами в отриманні ефекту від результатів Д: один, де користувачам знань (КЗ) лише відомо про результати короткострокової перспективи, і той, де вони в подальшому функціонують в режимі від-знань-до-дії (ВЗДД) і починають наступний процес технологічних інновацій. На малюнку 7 зображені вищеописані поняття та показується роль ТЗ в ефективному плануванні на основі впливових технологічних НДДКР-програм. За деталями читач спрямовується до малюнків 5 і 6.
На програмному рівні, фактична інформація про соціально-економічні потреби, що відповідає технологічним інноваціям, допомагає фінансуючим установам оцінити актуальність заявок на отримання грантів, виявити показники впливу і визначити, як проводити моніторинг та оцінку фінансованих проектів. Оцінка контексту гарантує, що для фінансування пріоритетів та результатів проекту потреби залишаються на центральному місці.
На рівні проекту, на основі фактичних даних аналізу потреб вирівнює результати проекту з місією спонсора, забезпечуючи при цьому значимість результатів проекту з передбачуваним користувачам знання, до початку діяльності. Малюнок 7 показує, чому такий підхід переважніше кінця грант або комплексного підходу до КТ для тих програм і проектів, маючи намір привести до корисної соціально-економічних наслідків від технологічних інновацій [12]. Враховуючи можливість зробити це, то чому б проводити програми будь-який інший шлях?
Малюнок 7 інтегрує ключові поняття і створює з’єднання для керівництва будівництвом моделей для комплексної логіки для використання орієнтованих НДДКР. У статичної графіки, це необхідністю простих і лінійних форм. Тим не менш, він може служити в якості основи для побудови нелінійних і складних моделей, у міру необхідності, включати і пояснювати елементи, які мають відношення до причинного послідовності, представленої в цій простій моделі. Це може бути легко розширена за рахунок окремих програм і проектів з урахуванням їх унікальних особливостей програми та контекстів.
The main point of this integration is to champion the cause of relevance, alongside rigor, through a continuous KT effort that starts at the very beginning of an R&D effort. Future efforts will address how to better integrate government and academic R&D programs supported with public revenues, with privately funded industry efforts to implement the outputs from R&D in technology-based innovations. The outcomes in the commercial marketplace are necessary as incentives for companies to generate the desired socioeconomic benefits. These incentives include revenues from sales paid to corporations to cover their costs (e.g., salaries, materials, and facilities) and profits to owners and shareholders. Of course, a portion of these revenues are paid to the government as taxes (profits to companies, income to employees, taxes on sales), which cycle back through the public coffers to be allocated as public funds used to sponsor R&D. Profitable companies benefit their home nations, so the balance of trade translates directly into national R&D capacity.
Conclusion
This paper addresses the low level of outcomes and impacts from funded R&D projects, supported by programs expressly intending to generate technology-based innovations with beneficial impacts. This issue is at the heart of accountability for evidence of outcomes and impacts from publicly funded R&D programs. Pointing out that relevance is as important for knowledge utilization as methodological rigor, the paper advocates for starting KT activities at project conceptualization stage when decisions about research and development are open to question, rather than assuming that research (or development) is a required element of any innovation effort. In effect, we are calling for designing utilization- focused R&D, rather than research-driven KT.
The paper argues that government-sponsored technology- oriented R&D projects, intending to generate innovations with socioeconomic benefits, should orient their efforts and direct their outputs toward the commercial marketplace. This venue is where a return on the public investment can be realized through three outcomes: broad and economical diffusion of the innovation to target audiences, revenue from sales captured as profit returned to the innovation producer, and generation of new tax revenue back to the government. The narrative explains that such projects necessarily involve three types of activities (i.e., research, development, and production), each with their own methods and knowledge states. These projects are utilization focused in principle, so the models had to capture key concepts that drive the logic of programs and projects that involve such a comprehensive range of sectors, methods, and activities. The narrative culminated in a conceptual framework that can guide logic-modeling processes for such innovation programs and projects.
The proposed framework integrates elements from the CIPP model of evaluation into the basic, linear logic model format that currently guides program planning and evaluation practice. What links the two models in this framework is the provision of a context evaluation activity prior to initiating any activity. This prior-to-grant perspective elevates the quality of relevance to parity with the quality of rigor—an orientation encompassing the stakeholders who determine success or failure of the entire effort. As a result, funding agencies can focus program goals to ground project objectives in the context of validated needs. The framework also clarifies the roles of process and product evaluations that strengthen the merit and worth of project outputs. The role of outcome evaluations beyond the traditional measures of outputs (i.e., publications, patents) is to assess the actual socioeconomic impacts and deliver those evidence-based results to funders and stakeholders alike.
The next step for expanding the proposed framework in the direction of a well-constructed program theory is an examination of its current simple and linear version. Clearly, the contexts of initiatives for generating technology-based innovations are far from simple and linear. They involve networks of stakeholder interactions that move outputs to outcomes to cause the intended impacts. Often, the interactions are iterative and involve stakeholders in multiple roles (e.g., implementation, managerial, regulatory, evaluative, advisory), so they are not strictly linear. These nonlinear relations should be reflected in an expanded logic model, once the basic concepts and the underlying paradigm are understood and embraced.
Given the possible nonlinear nature of relationships between variables in a technology-based innovation program, it is also useful to think of a systems approach to the creation of logic models. In fact, Rogers and Williams point out the "need to explore systems-based alternatives to the traditional linear logic models used to demonstrate the program theory" [63]. According to them, one way to help people reflect constructively and deeply on the assumptions that underpin the theory as well as the program under study is to incorporate aspects of systems, group dynamics, and learning and cultural theories.
On another level, systems-based thinking may also allow policy makers to appropriately position the logic model within a broader context of the decision-making space in which the funding agency is embedded. For example, it might permit exploration of the model’s link to indicators in the broader system by situating it within the Innovation Systems Framework (ISF) proposed by Jordan, Hage, and Mote [64]. In the ISF framework, the indicators relate to the micro-level, where funds allocation by arena and profile takes place, while analysis of performance by sectors and arena takes place at the meso level of the overall system. Such a systemic approach to the logic model might also explicitly represent and clarify the current distribution of responsibilities regarding accountability within organizations—such as data collection, performance monitoring, and agency oversight—whereby it will address and align the organizational practice with the needs for generating impact-oriented research.
Суть цієї інтеграції є чемпіоном причина актуальності, поряд строгості, завдяки безперервним зусиллям KT, який починається на самому початку НДДКР зусиль. Подальші зусилля будуть розглянуті, як краще інтегрувати урядових і академічних НДДКР програм, підтримуваних з державним доходам, з приватним фінансуванням галузі зусилля по здійсненню виходу з НДДКР в області технологій на основі інновацій. Результати на комерційному ринку необхідні як стимули для компаній, для отримання бажаних соціально-економічні вигоди. Ці стимули включають в себе доходи від продажу приділяється корпорацій для покриття своїх витрат (наприклад, заробітна плата, матеріали та обладнання) і прибутку для власників та акціонерів. Звичайно, частина цих доходів сплачують державі у вигляді податків (прибуток для компаній, доходи працівників, податки на продаж), який циклу назад через державну скарбницю, які будуть виділені як державні кошти використовувалися, щоб спонсорувати НДДКР. Прибуткові компанії користь своїх народів будинку, так що торговий баланс перекладається безпосередньо в національну НДДКР потенціал.
Висновки
У цьому документі розглядається низький рівень результатів і наслідків від фінансованих НДДКР проектів, підтримуваних програм явно маючи намір створити на базі технологій інновацій сприятливий вплив. Це питання знаходиться в центрі звітності для доказу результатів і наслідків від фінансованих державою НДДКР програми. Відзначивши, що ставлення настільки ж важливо для використання знань в якості методологічної основи, папір виступає за початок KT діяльності на проектній стадії концептуалізації при прийнятті рішень про наукових досліджень і розробок відкритим питання, а не припускаючи, що дослідження (або розвиток) є обов’язковим елементом будь-яка інновація зусиль. По суті, ми закликаємо до розробки використання орієнтованих НДДКР, а не дослідницько-KT.
У документі стверджується, що спонсоровані урядом орієнтованих на технології НДДКР проектів, маючи намір генерувати інновації з соціально-економічної вигоди, повинні орієнтувати свої зусилля і спрямувати їх виходу на комерційний ринок. Це місце, де віддача від державних інвестицій може бути реалізований через три результати: широкі і економічні дифузії інновацій для цільової аудиторії, дохід від продажу захоплених в якості прибутку повернувся до інновацій виробників, і створення нових податкових надходжень назад в уряд . Оповідання пояснює, що такі проекти обов’язково включати три види діяльності (наприклад, дослідження, розробки та виробництво), кожен зі своїми власними методами і знаннями держави. Ці проекти використання зосереджені в принципі, так що моделі були захопити ключові поняття, які управляють логікою програми і проекти, які включають такі широкий спектр галузей, методів і заходів. Оповідання завершилися концептуальні засади, якими можна керуватися логікою моделювання процесів для таких інноваційних програм і проектів.
Пропонована структура об’єднує елементи з CIPP модель оцінки в основний, лінійний формат модель логіки, яка в даний час веде планування та оцінки програм практиці. Що пов’язує цих двох моделей в цьому контексті є забезпечення діяльності контексті оцінки до початку будь-якої діяльності. Це до-до-грант перспективі підвищує якість відношення до паритету з якістю строгості, орієнтація охоплює зацікавлені сторони, які визначають успіх чи провал найбільше зусиль. В результаті, фінансові установи можуть зосередитися цілей програми обгрунтувати цілі проекту в контексті підтверджено потреби. У цих рамках також уточнюються ролі процесу та оцінки продуктів, які зміцнюють гідність і цінність результатів проекту. Роль оцінки результатів за рамки традиційних заходів виходами (наприклад, публікації, патенти) є оцінка фактичного соціально-економічних наслідків і надання цих доказів на основі результатів спонсорів та зацікавлених сторін однаково.
Наступним кроком для розширення пропонованої системи в напрямі добре побудована програма теорії є розгляд поточної простий і лінійний варіант. Очевидно, що контекст ініціатив для створення на базі технології інновації далеко не простий і лінійний. Вони включають в себе мережу зацікавлених сторін взаємодій, які переміщуються продукції на результати викликають передбачуваного впливу. Часто взаємодії ітеративний і залучення зацікавлених сторін у кілька ролей (наприклад, впровадження, управлінський, нормативно оціночні, консультаційні), тому вони не є строго лінійними. Ці нелінійні відносини повинні бути відображені в розширеній логічної моделі після того, як основні поняття і основні парадигми розуміння і обнялися.
Враховуючи можливий нелінійний характер відносин між змінними в базі технологій інноваційної програми, це також корисно подумати про системний підхід до створення логічних моделей. У самому справі, Роджерс і Williams вказують на "необхідність вивчення систем на основі альтернативи традиційній лінійній моделі логіки використовується для демонстрації програми теорії" [63]. На їх думку, одним із способів, щоб допомогти людям відображати конструктивно і глибоко на припущеннях, що лежать в основі теорії, а також програма під дослідження є включення аспектів системи, групова динаміка, і навчання та культурної теорії.
З іншого боку, системи на основі мислення може також дозволити політикам належним положення логічної моделі в більш широкому контексті прийняття рішень простір, в якому фінансування агентства впроваджений. Наприклад, він може дозволити вивчення посиланням моделі з показниками в більш широкої системи, поміщаючи її в рамках інноваційних систем (ISF), запропонований Йорданією, Хадж, і Моте [64]. В рамках ISF, показники відносяться до мікро-рівні, де виділення коштів на арену і профілем має місце, в той час як аналіз діяльності по галузях і арені відбувається на мезорівні системи в цілому. Такий системний підхід до логічної моделі можуть також явно представляти і роз’яснити нинішній розподіл обов’язків щодо підзвітності в рамках організації, такі як збір даних, моніторинг продуктивності, і наглядового органу, в якому він буде розглядати та погоджувати організаційні практики з урахуванням потреб для створення ударно-орієнтованих досліджень.
It is clear from the foregoing that building a useful integrated model calls for a joint effort of the evaluator with all the relevant stakeholders involved in the planning of the program. The task calls for dual expertise and clearly is not an either/or proposition. In this sense, the framework proposed in this paper establishes an initial foothold on which a team of planning and evaluation experts could build program theories in their specific contexts of interest.
Finally, efforts to improve society while competing economically necessarily include programs that support technology-based innovations. Quality-of-life issues are paramount in the fields of medicine and healthcare. The process through which scientific knowledge is translated, and technological knowledge is transferred, should be accurately modeled for planning, implementation, and evaluation purposes. Describing the mechanisms underlying technology-based innovations and tracking the indicators of progress are necessary for establishing coherent milestones and accomplishing systematic results. If successful, sponsoring organizations will shift their perspective from the solution-driven "bench to bedside” to the need-driven "bedside to bench and back.”
The appropriate balance of relevance and rigor across all three methods of research, development, and production will help optimize the return on public investment in STI programs. The processes of KT and technology transfer are key to ensuring the progression of knowledge through the various states of conceptual discovery, tangible prototype, and commercial device. A coherent and comprehensive model of the technology- based innovation process is essential for the effective expenditure of public resources through government agencies for the expressed purpose of generating new knowledge with socioeconomic impacts beneficial to society.
Summary
This paper’s exercise in modeling the technology-innovation process generates five key points:
Ensuring awareness and support for—as well as effective implementation of—technology-based outputs from research and/or from development by external stakeholders calls for a targeted and active intervention using KT, rather than a more general and passive dissemination/diffusion effort.
The issue of relevance is a critical factor in the decision by stakeholders to adopt and apply knowledge from external sources that involves their commitment to apply internal resources, so it is as important as the issue of rigor during knowledge creation through research and/or development.
Prior-to-grant KT with its demand-pull orientation represents a better opportunity to build relevance into innovation-focused R&D programs than do either end-of-grant or integrated models of KT. As a strategy for achieving intended impacts, it is effective for achieving optimal downstream knowledge implementation and efficient for focusing resources and activities on the specified need and the values of the downstream stakeholders responsible for transforming outputs into outcomes and impacts.
Both the CIPP model and the logic model can individually serve as planning tools for achieving intended change, but integrating them can provide a more complete framework, particularly for designing and tracking innovation-focused R&D involving a prior-to-grant KT perspective.
The integrated framework presented in this paper considers the implementation focus implied in innovation policies and for those R&D programs oriented toward technology-based innovations intended to generate beneficial socioeconomic impacts. It links the underlying key concepts from scientific research, engineering development, and industrial production. The authors intend this generic model format to be widely applicable for the construction of logic models underlying the unique attributes of technology-based innovation programs and their supporting policies.
Як видно з вищевикладеного випливає, що побудова інтегрованої моделі корисні закликає до спільних зусиль по оцінці з усіма відповідними зацікавленими сторонами, що у процесі планування програми. Завдання вимагає подвійного досвіду і, очевидно, не чи / або пропозиції. У цьому сенсі, рамки, запропоновані в цій статті встановлює початковий плацдарм, на якому команда планування і оцінки експертів можна побудувати програму теорій в їх конкретних контекстах інтересів.
Нарешті, зусилля по поліпшенню суспільства, в той час як конкуруючі економічно обов’язково включають в себе програми, які підтримують технологію на основі інновацій. Якість їхнього життя питання мають першорядне значення в області медицини і охорони здоров’я. Процес, за допомогою якого наукове знання перекладається, і технологічні знання передаються, повинна бути точно розрахована для планування, реалізації та оцінки. Описуючи механізми, що лежать в основі технологічних інновацій та відстеження показників прогресу необхідні для створення когерентного віхи і досягнення систематичних результатів. У разі успіху, організаціями-спонсорами зрушиться з їхньої точки зору рішення керованої "лавка до ліжка" на необхідність керованої "прикроватной до лавки і назад".
Відповідний баланс актуальність і точність на всіх трьох методів досліджень, розробки і виробництва сприятиме оптимізації віддачі від державних інвестицій в STI програм. Процеси KT і трансферу технології є ключем до забезпечення прогресії знань через різні стани концептуальної Відкриття, матеріального прототипу, і комерційні пристрої. Послідовної та всеосяжної моделі на базі технологій інноваційний процес має важливе значення для ефективного витрачання державних ресурсів через державні установи для висловила метою одержання нових знань з соціально-економічними наслідками корисні для суспільства.
У підсумку
Ця стаття вправи в моделюванні технології інноваційного процесу створюється п’ять основних пунктів:
1. Забезпечення обізнаності та підтримки, а також ефективної реалізації технології на основі виходів з дослідження та / або від розвитку зовнішніх зацікавлених сторін вимагає цілеспрямованого і активного втручання з використанням КТ, а не більш загальний і пасивного поширення / дифузії зусиль.
2. Питання про значущість є вирішальним чинником у вирішенні зацікавлені сторони прийняти і застосовувати знання із зовнішніх джерел, що включає в себе їх зобов’язання застосовувати внутрішні ресурси, тому це так само важливо, як питання про суворість при створенні знань шляхом проведення наукових досліджень і / або розробок.
3. До-до-KT надасть своїм попиту тягнути орієнтація являє собою кращу можливість побудувати актуальність в інноваційно-орієнтованих НДДКР програм, ніж будь-який кінець грант або інтегрованої моделі KT. В якості стратегії для досягнення передбачуваного впливу, вона ефективна для досягнення оптимального вниз за течією реалізації знаннями та ефективними для цілеспрямованого використання ресурсів і заходів на вказаному необхідності і значення нижче за течією зацікавлених сторін відповідає за перетворення виходу на результати і наслідки.
4. Обидві моделі CIPP і логічної моделі в індивідуальному порядку можуть служити в якості інструментів планування для досягнення передбачуваних змінах, але їх інтеграції може забезпечити більш повне рамках, зокрема, за розробку та супровід інноваційно-орієнтованих НДДКР з участю до-до-KT надасть перспективу.
5. Комплексної основи, представлені в цій статті розглядається реалізація уваги мається на увазі в інноваційної політики і для тих, НДДКР програми орієнтовані на базі технології інновації призначені для створення корисної соціально-економічні наслідки. Він пов’язує основні ключові поняття від наукових досліджень, конструкторських розробок і промислового виробництва. Автори мають намір це загальний формат модель буде широко застосовується для побудови логічних моделей, що лежать в основі унікальних властивостей технології на основі інноваційних програм і підтримують їх політики.